SubQ: Ein neues LLM mit 12 Millionen Token Kontext, das Claude & ChatGPT Konkurrenz macht

Am 5. Mai 2026 trat ein in Miami ansässiges Startup namens Subquadratic mit 29 Millionen Dollar Seed-Finanzierung und einer einzigen, sehr lauten Aussage aus dem Stealth: Es hat das erste Spitzen-LLM gebaut, das nicht auf quadratischer Attention beruht. Sein Modell, SubQ, erscheint mit einem Kontextfenster von 12 Millionen Token, läuft bei 1 Million Token rund 52x schneller als FlashAttention und kostet etwa ein Fünftel dessen, was Claude Opus oder GPT-5.5 für vergleichbare Arbeitslasten verlangen.

Wenn diese Zahlen halten, ist das die bedeutendste architektonische Verschiebung bei Sprachmodellen seit dem ursprünglichen Transformer-Paper von 2017. Wenn nicht, reiht es sich in eine lange Liste subquadratischer Experimente ein, die die Welt versprachen und im großen Maßstab leise enttäuschten.

Diese Review geht durch, was SubQ tatsächlich ist, wie sein Mechanismus Subquadratic Sparse Attention (SSA) funktioniert, was die Benchmarks zeigen, wozu glaubwürdige Forschende skeptisch sind und wie du es einordnest, wenn du heute mit KI baust.

Das Wichtigste in Kürze

• Gestartet am 5. Mai 2026 von Subquadratic, gegründet von CEO Justin Dangel und CTO Alex Whedon (ehemals Head of Generative AI bei Meta).
• 29-Mio.-$-Seed-Runde mit Geldgebern wie Justin Mateen (Tinder-Mitgründer), Javier Villamizar (ex-SoftBank Vision Fund) und frühen Investoren bei Anthropic, OpenAI, Stripe und Brex.
• Kontextfenster von 12 Millionen Token im Forschungsmodell, 1 Million Token in der Produktions-API.
• SSA-Architektur skaliert linear mit der Kontextlänge statt quadratisch und senkt die Attention-Rechenlast bei 12M Token um rund das 1.000-Fache.
• Benchmarks: 95,0 % auf RULER 128K, 65,9 % auf MRCR v2 bei 1M Token, 81,8 % auf SWE-Bench Verified.
• Drei Produkte in privater Beta: SubQ API, SubQ Code (CLI-Agent) und SubQ Search (kostenloses Recherche-Tool für langen Kontext).
• Die Skepsis ist hoch. Der vollständige technische Bericht ist nicht erschienen, die Gewichte sind nicht offen, und frühere subquadratische Architekturen (Mamba, RWKV, DeepSeek Sparse Attention) haben Transformer im Spitzenmaßstab wiederholt unterboten.

Was SubQ tatsächlich ist

SubQ ist ein Large Language Model mit geschlossenen Gewichten, trainiert auf einem brandneuen Attention-Mechanismus, den das Unternehmen Subquadratic Sparse Attention oder SSA nennt. Standard-Transformer-Attention vergleicht jedes Token einer Sequenz mit jedem anderen Token. Das macht sie mächtig, und das macht Kontextfenster auch teuer. Verdoppelst du die Eingabe, vervierfacht sich die Rechenlast.

SSA ersetzt das durch inhaltsabhängige Token-Auswahl. Für jedes Query-Token wählt das Modell eine kleine Teilmenge von Positionen in der Sequenz, die tatsächlich zählen, und berechnet dann nur über diese die exakte Attention. Die Rechenlast skaliert linear mit der Kontextlänge statt mit ihrem Quadrat.

Das ist nicht dasselbe wie die Sparse Attention mit festem Muster, die in Longformer oder BigBird genutzt wird, wo die Sparsamkeit per Position fest verdrahtet ist. Es ist auch nicht der State-Space-Ansatz von Mamba oder RWKV, die Attention komplett durch rekurrente Dynamik ersetzen. SSA behält die Attention, lässt sie aber wählen, wohin sie schaut.

Subquadratic behauptet, das gebe dem Modell drei Eigenschaften auf einmal: lineare Kosten, inhaltsbewusstes Routing und die Fähigkeit, aus beliebigen Positionen in der Sequenz abzurufen. Bislang haben Sparse-Attention-Designs meist zwei dieser drei getroffen.

Wie SSA funktioniert

Das Unternehmen veröffentlichte einen technischen Beitrag, der den Mechanismus und die Trainings-Pipeline aufschlüsselt. Die Kurzfassung:

1. Vortraining legt das grundlegende Sprachmodellieren und Langkontext-Repräsentationen über sehr lange Sequenzen an.
2. Überwachtes Fine-Tuning ergänzt das Befolgen von Anweisungen und das Verhalten bei der Code-Generierung.
3. Reinforcement Learning zielt speziell auf Fehlermodi beim Langkontext-Abruf, jene, bei denen das Modell eine plausibel aussehende Antwort produziert, die aus einer 200-seitigen Eingabe leise die falsche Tatsache fallen lässt.

Das Infrastruktur-Stück zählt so viel wie die Mathematik. Lineare Speicherskalierung und verteilte Sequenzparallelität lassen Subquadratic stabil auf Sequenzen von einer Million Token oder mehr trainieren, etwas, das die meisten Labore meiden, weil die GPU-Speicherkosten unter Standard-Attention brutal sind.

Hardwareseitig werden die gemeldeten Wall-Clock-Beschleunigungen auf Nvidia B200 gemessen, mit FlashAttention-2 als Basislinie:

Je weiter du gehst, desto größer die Lücke. Bei 12 Millionen Token behauptet Subquadratic, die Attention-Rechenlast sinke gegenüber Standard-Transformern um fast das 1.000-Fache, die Schlagzeilenzahl, die überall wiederholt wird.

Die Benchmark-Zahlen

Subquadratic veröffentlichte zum Start drei Benchmark-Ergebnisse. Keines ist durchweg spitze, aber jedes erzählt eine etwas andere Geschichte.

Zwei Dinge stechen hervor. Erstens ist RULER bei 128K im Grunde gesättigt, sodass SubQs Gleichstand mit Opus eher darum geht, nicht abzurutschen, als zu gewinnen. Zweitens unterscheiden sich die MRCR- und SWE-Bench-Zahlen, die Subquadratic für Opus verwendet, zwischen seiner Pressemitteilung und seinem eigenen technischen Beitrag, was seltsam und erwähnenswert ist. So oder so liegt SubQ bei MRCR hinter Opus, wenn du den Zahlen aus dem technischen Beitrag glaubst, und schlägt es, wenn du den Pressezahlen glaubst.

Was nicht strittig ist, sind die Kosten pro Ergebnis. Auf RULER 128K sagt Subquadratic, SubQ erreiche 95,0 % Genauigkeit bei 8 $ Rechenlast, gegenüber rund 2.600 $ für Opus, um 94,8 % zu erreichen. Das ist eine 300-fache Kostensenkung bei gleicher Genauigkeit, der Teil der Geschichte, der für alle am meisten zählt, die produktive KI-Arbeitslasten ausliefern. Unser KI-Preisvergleich zeigt, wie diese Art von Stückkosten-Verschiebung in der Praxis quer über die großen Anbieter aussieht.

Was 12 Millionen Token dir tatsächlich bringen

Ein 12M-Token-Fenster sind rund 9 Millionen Wörter oder etwa 120 Bücher an Text in einem Prompt. Das reicht, um unterzubringen:

• Eine ganze Codebasis eines mittelgroßen Unternehmens, inklusive Tests und Dokumentation.
• Jeden Schriftsatz in einem komplexen Rechtsfall.
• Ein volles Jahr an Kundensupport-Transkripten für ein SaaS-Produkt im Mittelstand.
• Die gesamte King-James-Bibel rund neunmal.

Die praktische Folge, falls SubQ liefert, ist, dass Retrieval-Augmented Generation (RAG) für eine viel breitere Menge an Problemen optional wird. Heute betreibt fast jeder ernsthafte KI-Einsatz eine Retrieval-Pipeline, weil man die relevanten Daten nicht in den Kontext bekommt. Einbetten, chunken, neu ranken, hineinstopfen, generieren. SubQs Pitch ist, dass du für viele dieser Arbeitslasten diesen ganzen Stack überspringen und die Dokumente einfach hineinlegen kannst.

Das eliminiert RAG nicht, aber es verkleinert den Anwendungsfall. Statische Wissensbasen, interne Codebasen und Dokumentprüfung sehen wie die offensichtlichen frühen Ziele aus. Echtzeitdaten, sich schnell ändernde Informationen und nutzerspezifische Personalisierung brauchen weiterhin Retrieval.

Die drei Produkte

Subquadratic startete drei Produkte gleichzeitig, alle in privater Beta seit dem 5. Mai.

SubQ API ist der Einstiegspunkt für Entwickler. Sie stellt das 1M-Token-Produktionsmodell über OpenAI-kompatible Endpunkte mit Tool-Nutzungs-Unterstützung bereit. Das 12M-Kontextfenster ist vorerst auf Forschung und ausgewählte Enterprise-Partner beschränkt.

SubQ Code ist ein CLI-Coding-Agent, der ganze Codebasen in den Kontext lädt und über sie hinweg reasont. Subquadratic positioniert es auch als Langkontext-Schicht für bestehende Tools und behauptet Kompatibilität mit Claude Code, Codex und Cursor. Was Cursor selbst kostet, siehst du in unserem Cursor-Preis-Guide. Ihre veröffentlichten Zahlen behaupten eine 25 % niedrigere Rechnung und 10x schnellere Exploration, wenn SubQ Code unter diesen Agenten sitzt. Das ist die am direktesten testbare Aussage des Starts und die, die SubQ am wahrscheinlichsten entweder bestätigt oder entlarvt.

SubQ Search ist ein Langkontext-Recherche-Tool, das Verbrauchern kostenlos angeboten wird. Subquadratic nutzt es als Land-and-Expand-Keil gegen Perplexity und die ChatGPT-Suche. Die Rechnung geht vermutlich auf, weil die Attention-Kosten bei 1M+ Token auf ihrem Stack günstig und auf jedem anderen brutal teuer sind.

Die Preise für die API wurden über die allgemeine Aussage hinaus, rund ein Fünftel der Kosten führender Spitzenmodelle zu betragen, noch nicht offengelegt.

Warum Forschende skeptisch sind

Innerhalb von Stunden nach dem Start spaltete sich die KI-Forschungsgemeinschaft. Der Fall gegen SubQ ist nicht persönlich. Er ist historisch.

Subquadratische Attention ist einer der am intensivsten erforschten Bereiche im maschinellen Lernen. Mamba, RWKV, Hyena, RetNet, BASED, DeepSeek Sparse Attention und Kimi Linear versuchten sich alle unterschiedlich am selben Problem. Jedes zeigte lineare Skalierung auf Benchmarks. Jedes lief gegen dieselbe Wand: Reine subquadratische Architekturen ziehen im kleinen und mittleren Maßstab mit dichter Attention gleich, unterbieten sie dann bei nachgelagerten Benchmarks im Spitzenmaßstab sichtbar oder landen in Hybrid-Konfigurationen, die den reinen Skalierungsvorteil verlieren.

Ein viel geteilter LessWrong-Beitrag zu dieser Abstammung argumentierte, dass fast alle bisherigen subquadratischen Aussagen „inkrementelle Verbesserung Nummer 93595 an der Transformer-Architektur“ seien, weil praktische Implementierungen in den entscheidenden Bereichen quadratisch bleiben und die Attention nur um einen konstanten Faktor verbessern.

Zwei konkrete Bedenken tauchten schnell auf.

KI-Ingenieur Will Depue schrieb, SubQ sei „fast sicher ein Sparse-Attention-Finetune von Kimi oder DeepSeek“, was bedeutet, dass das beeindruckende Basismodellverhalten von bestehenden Open-Source-Gewichten kommt und der SSA-Beitrag die obendrauf gesetzte Sparse-Attention-Schicht ist. Subquadratic hat das weder verneint noch bestätigt und weder Gewichte noch einen vollständigen technischen Bericht veröffentlicht.

KI-Kommentator Dan McAteer brachte die binäre Stimmung auf den Punkt: „SubQ ist entweder der größte Durchbruch seit dem Transformer oder es ist das KI-Theranos.“ Das ist keine ernsthafte technische Kritik, aber es ist der richtige Rahmen dafür, wie das Feld das liest. Entweder ist das Modell, was Subquadratic sagt, oder die Kluft zwischen Marketing-Benchmarks und Produktionsverhalten wird schnell sichtbar, sobald Außenstehende es in die Hände bekommen.

Der klarste Weg zur Glaubwürdigkeit sind der technische Bericht, die Gewichte oder eine detaillierte Architekturbeschreibung und unabhängige Benchmarks von Laboren, die das Unternehmen nicht bezahlt. Subquadratic sagt, alle drei kommen. Sie sind noch nicht da.

Wie sich SubQ mit anderen Langkontext-Modellen vergleicht

Langkontext ist kein neues Schlachtfeld. Gemini liefert seit über einem Jahr 2M-Token-Fenster. Claude schob letzten Herbst über 1M hinaus. Der interessante Vergleich betrifft die Kosten bei Kontext, nicht die reine Kontextlänge.

Der Vergleichspunkt ist nicht, ob SubQ bei der Genauigkeit gewinnt. Bei den meisten Benchmarks führen Opus oder Gemini weiterhin. Der Punkt ist, ob die Kosten pro korrekter Antwort bei langem Kontext wirklich 50x bis 300x niedriger sind, denn wenn ja, ändert sich die Wahl für jede dokument- oder codelastige Arbeitslast.

Was das für Entwickler bedeutet

Für die meisten, die Produkte auf LLMs aufsetzen, hier die praktische Lesart.

Wenn SubQs Aussagen unabhängigen Tests standhalten, ändern sich drei Dinge. RAG wird für viele Anwendungsfälle optional. Coding-Agenten auf Codebasis-Ebene werden wirtschaftlich tragfähig. Und die Modellauswahl-Schicht, die Produkte wie Fello AI bündeln, bekommt eine weitere starke Option, denn der Wert, eine einzige Mac- und iPhone-Oberfläche zu jedem Spitzenmodell zu haben, wächst nur, wenn die Modelle beginnen, sich auf verschiedenen Achsen zu spezialisieren (Kosten, Tempo, Kontext, reines Reasoning).

Wenn SubQs Aussagen nicht standhalten, ist das wahrscheinlichste Ergebnis, dass der SSA-Mechanismus trotzdem eine nützliche Komponente in Hybrid-Architekturen wird, ähnlich wie Mixture-of-Experts über ein paar Jahre von Skepsis zur Standardpraxis wurde. Die 1.000x-Zahl wird zurückgenommen, die 50x-Zahl überlebt wahrscheinlich in engeren Bereichen.

Das Konkreteste, was du heute tun kannst, ist, auf den technischen Bericht zu warten, deine eigenen Evaluierungen über SubQ Code an einer echten Codebasis auszuführen, die du gut verstehst, und die Marketing-Benchmarks als Ausgangspunkt statt als Urteil zu behandeln.

Preise und wie du auf SubQ zugreifst

Alle drei Produkte sind in privater Beta. Subquadratic nimmt Zugangsanfragen über Formulare auf seiner Website entgegen. Das Unternehmen hat noch keine öffentliche Preisseite veröffentlicht. Auf Basis von Start-Interviews solltest du erwarten:

• SubQ API: rund 1/5 der Kosten pro Token von Claude Opus oder GPT-5.5 bei vergleichbaren Kontextlängen.
• SubQ Code: lizenziert pro Entwicklerplatz, wobei die Langkontext-Schicht als direkt einsetzbarer Kostensenker für Teams beworben wird, die bereits Claude Code, Codex oder Cursor nutzen.
• SubQ Search: für Verbraucher während der Beta kostenlos.

Wenn du SubQ neben anderen Spitzenmodellen nutzen willst, ohne separate Konten zu jonglieren, kann ein Aggregator wie Fello AI vor mehreren Anbietern auf Mac, iPhone und iPad sitzen. SubQ ist derzeit nicht in Fello AI verfügbar, weil es in privater Beta ist, wird aber hinzugefügt, sobald es öffentlich erscheint, oder früher, falls sich ein Frühzugang öffnet.

Abschließendes Urteil

SubQ ist der architektonisch interessanteste LLM-Start seit DeepSeek V3, und das gilt, ob die 1.000x-Zahl den Kontakt mit unabhängigen Prüfern übersteht oder nicht. Ein linear skalierender Attention-Mechanismus, der auf RULER, MRCR und SWE-Bench standhält, ist wirklich neu, und das Team dahinter (ex-Meta-, Google-, Oxford-, ByteDance-, Cambridge-Forschung) ist glaubwürdig genug, um es ernst zu nehmen.

Die ehrliche Lesart ist, dass das Marketing den Belegen voraus ist. Die Lücke schließt sich im nächsten Quartal in eine von zwei Richtungen. Entweder bestätigen der technische Bericht, die Gewichte und die unabhängigen Benchmarks die Schlagzeilenzahlen, in welchem Fall SubQ dauerhaft verändert, wie Langkontext-KI gebaut wird, oder die Lücke wird zur Geschichte, und SubQ reiht sich in die lange Liste von Architekturen ein, die in einem Paper wunderbar funktionierten und in der Produktion enttäuschend.

Für den Moment verdient SubQ eine aufmerksame Beobachtung, eine Frühzugangsanfrage, wenn du Langkontext-Arbeitslasten betreibst, und eine gesunde Portion „warte auf den technischen Bericht“, bevor du etwas Ernsthaftes darauf setzt.

FAQ

Was ist SubQ?

SubQ ist ein Large Language Model, das am 5. Mai 2026 von Subquadratic gestartet wurde, einem in Miami ansässigen KI-Startup. Es nutzt einen neuen Attention-Mechanismus namens Subquadratic Sparse Attention (SSA) und unterstützt in seiner Forschungskonfiguration ein Kontextfenster von 12 Millionen Token.

Was ist Subquadratic Sparse Attention?

SSA ist ein Attention-Mechanismus, der linear mit der Kontextlänge skaliert statt quadratisch. Für jedes Query-Token wählt das Modell eine kleine Teilmenge von Positionen, auf die es sich inhaltsbasiert statt nach festen Mustern konzentriert, und berechnet dann nur über diese die exakte Attention.

Wie groß ist SubQs Kontextfenster?

Das Forschungsmodell unterstützt 12 Millionen Token, rund 9 Millionen Wörter. Die Produktions-API stellt ein Kontextfenster von 1 Million Token bereit.

Ist SubQ Open Source?

Nein. SubQ hat geschlossene Gewichte und ist nicht Open Source. Subquadratic hat gesagt, ein technischer Bericht stehe bevor, sich aber nicht zur Veröffentlichung der Gewichte verpflichtet.

Wie schlägt sich SubQ gegen Claude oder GPT?

Bei Langkontext-Benchmarks wie RULER 128K ist SubQ mit Claude Opus 4.6 konkurrenzfähig. Auf MRCR v2 bei 1M Token erreicht es 65,9 %, hinter GPT-5.5s 74,0 %. Der Unterscheidungsfaktor sind die Kosten: Subquadratic behauptet rund 300x niedrigere Kosten bei gleicher Genauigkeit auf RULER 128K und 50x niedrigere Kosten als Spitzenmodelle bei 1M Token.

Kann ich SubQ heute nutzen?

Der Zugang ist nur private Beta. Die SubQ API, SubQ Code (CLI-Agent) und SubQ Search (kostenloses Recherche-Tool) erfordern alle eine Zugangsanfrage über subq.ai. SubQ Search ist der einfachste Einstiegspunkt.

Ist SubQ seriös oder Hype?

Es ist zu früh, um es mit Sicherheit zu sagen. Das Unternehmen hat Benchmark-Ergebnisse und einen technischen Beitrag veröffentlicht, der SSA erklärt, aber weder Gewichte noch einen vollständigen technischen Bericht noch unabhängige Benchmarks. Mehrere Forschende, darunter Will Depue, haben öffentlich in Frage gestellt, ob SubQ ein Sparse-Attention-Finetune eines bestehenden Open-Source-Modells statt einer vollständig neuen Architektur ist. Eine unabhängige Überprüfung in den nächsten Wochen wird es entscheiden.