Inkling-Small im Test: ein Viertel der Größe, fast genauso schlau

Inkling-Small in 30 Sekunden

Was Inkling-Small tatsächlich ist

Das Interessante steckt in der Architektur, und sie erklärt beide Seiten der Ergebnisse.

Inkling-Small ist ein reiner Decoder-Transformer mit 42 Schichten und einem spärlichen Mixture-of-Experts-Feed-Forward-Stack. Jedes Token wird an 6 von 256 Experten geroutet, plus 2 geteilte Experten, die bei jedem einzelnen Token feuern. Die Gesamtzahl der Parameter liegt bei 276B, davon sind pro Token nur 12B aktiv. Die Model Card bestätigt hybride lokale und globale Attention-Schichten, BF16- und NVFP4-Numerik sowie Training auf NVIDIA-GB300-NVL72-Systemen.

Zum Vergleich das Elternmodell: Inkling hat insgesamt 975B und 41B aktive Parameter über 66 Schichten, die Routing-Struktur ist also dieselbe, aber mit etwa einem Viertel der Gesamtmasse und unter einem Drittel der aktiven Masse. Thinking Machines beschreibt das Ergebnis als „vergleichbare Leistung wie Inkling bei einem Viertel seiner Größe".

Dieses Verhältnis ist die ganze Geschichte hier. Ein großes Verhältnis von Gesamt- zu aktiven Parametern macht ein Modell günstig im Betrieb, und eine kleine Gesamtparameterzahl macht es vergesslich. Inkling-Small hat stark auf Ersteres gesetzt und dafür beim Zweiten bezahlt. Die allgemeine Version dieses Mechanismus, ohne all die Benchmark-Tabellen, behandelt maßgeschneiderte KI-Modelle.

Es nimmt Text, dann Bilder (40 bis 4096 Pixel funktioniert am besten) und Audio als WAV bei 16 kHz, idealerweise unter zwei Minuten. Die Ausgabe ist ausschließlich Text. Der Reasoning-Aufwand ist ein Regler von 0 bis 0,99, wobei niedrig bei 0,2 liegt, mittel bei 0,7 und maximal bei 0,99, sodass man pro Aufruf Denk-Tokens gegen Latenz eintauschen kann.

Native Audio-Eingabe ist das Seltenste auf dieser Liste, weshalb dieses Modell in Gesprächen über Sprache immer wieder auftaucht. Die Einschränkung sollte man kennen: Audio geht rein, Text kommt raus, es gibt hier also überhaupt keine Sprachsynthese. Anbieter, die diesen Kreis schließen, werden in KI-Sprachunternehmen behandelt.

Für welche Aufgabe eignet sich Inkling-Small?

Die Antwort ändert sich stark je nach Workload, und für jede davon liefert die Tabelle des Herstellers selbst die Belege. Wähle die Aufgabe aus, die du tatsächlich hast:

Die Benchmarks: Es schlägt sein Elternmodell wirklich

Ein destilliertes oder verkleinertes Modell landet normalerweise etwas hinter dem Flaggschiff, aus dem es hervorgegangen ist. Inkling-Small tut das nicht, zumindest nicht bei den Kategorien, für die die meisten Leute ein Modell kaufen.

Beim Coding gewinnt es SWEBench Verified mit 80,2% gegen 77,6%, dann SWEBench Pro mit 55,9% gegen 54,3%, mit Terminal Bench 2.1 bei 64,7% gegen 63,8%. Auf der agentenhaften Seite gewinnt es Toolathlon Verified mit 54,4% gegen 45,5% und MCP Atlas mit 79,6% gegen 76,0%, dazu ein GDPval-AA-v2-Elo von 1269 gegen 1238. Beim allgemeinen Reasoning gewinnt es GPQA Diamond mit 89,5% gegen 87,2% und Humanity's Last Exam mit 31,6% gegen 29,7% (nur Text).

Es liefert außerdem Zahlen, die die Card des Elternmodells gar nicht erst nennt. SciCode 48,7%, CritPt 8,3%, dann ARC-AGI-1 mit 84,0% und ARC-AGI-2 mit 40,1%. Beim Befolgen von Anweisungen liegt IFBench bei 82,2% gegen 79,8%, und das ist wichtiger, als es klingt, für alles, was einem System-Prompt zuverlässig gehorchen muss. Wenn das die Achse ist, die dich interessiert, erklärt KI-Agent gegen regelbasierten Chatbot, warum in der Praxis Gehorsam mehr zählt als rohe Intelligenz.

Die Verluste auf der Reasoning-Seite sind real, aber gering. AIME 2026 fällt von 97,1% auf 95,5%. Tau 3 Banking fällt von 23,7% auf 15,5% – der schärfste Rückgang im gesamten agentenhaften Block, und relevant, wenn dein Workload strukturierten Finanzabläufen ähnelt.

Ein weiteres Ergebnis verdient einen Hinweis, weil es leicht übersehen wird. Global-MMLU-Lite, der mehrsprachige Test, sinkt von 88,7% auf 86,7%. Ein Rückgang um zwei Punkte, also nichts Dramatisches, aber er zeigt in dieselbe Richtung wie die Faktentreue-Zahlen: Die Kürzung ging auf Kosten der Breite. Wer mehrere Sprachen bedient, sollte in jeder einzelnen testen statt dem Durchschnitt zu vertrauen, und mehrsprachige Support-Agenten zeigt, wie so ein Test in der Praxis aussieht.

Unabhängig davon bewertet Artificial Analysis es mit 40 Punkten im Intelligence Index auf Rang #15 von 101, gegenüber 41 Punkten und Rang #13 für das volle Inkling. Nur ein Indexpunkt Unterschied, bei einem Viertel der Größe. Dass Hersteller- und unabhängige Drittbewertung zum selben Schluss kommen, ist ungewöhnlich, und es ist das Stärkste an diesem gesamten Test.

Die eine Zahl, die einen stutzig machen sollte

Hier kommt der Teil, der es nicht in den Launch-Post geschafft hat.

SimpleQA Verified, das prüft, ob ein Modell kurze faktische Antworten kennt, liegt bei 20,6% für Inkling-Small gegenüber 43,9% für Inkling. Weniger als die Hälfte. Und AA Omniscience, das richtige gegen selbstbewusst falsche Antworten aufrechnet, liegt bei -9,0, während das Elternmodell +2,1 erreicht.

Ein negativer Omniscience-Wert bedeutet, dass das Modell mehr falsche Dinge selbstbewusst behauptet als richtige. Das ist kein Modell, das sagt „ich bin mir nicht sicher". Es ist ein Modell, das die Lücke füllt. Thinking Machines selbst listet das unter bekannten Einschränkungen auf und nennt „Halluzination (das Erzeugen von plausiblen, aber faktisch falschen oder nicht belegten Inhalten)" sowie „verschlechterte Leistung bei langen Mehrfach-Turn-Gesprächen", und rät ohne weiteres Fine-Tuning von medizinischen, rechtlichen oder sicherheitskritischen Einsätzen ab. Das muss man anerkennen: ein ehrlicherer Abschnitt zu Einschränkungen, als sich die meisten Labore die Mühe machen zu veröffentlichen.

Für einen Coding-Agenten spielt das kaum eine Rolle, weil der Compiler den Faktencheck übernimmt. Bei allem, was Kundenkontakt hat, spielt es dagegen eine große Rolle, und ich habe dieses Fehlerbild selbst in der Produktion gesehen. Ein Support-Team, mit dem ich gearbeitet habe, hatte eine Wissensdatenbank, die besagte, man unterstütze alle Fahrzeugmodelle, woraufhin ihr Bot munter auch Abdeckung für Automarken bestätigte, die gar nicht in ihrer Datenbank standen. Nichts im dramatischen Sinne halluziniert. Das Modell hat einfach eine Lücke mit etwas Plausiblem gefüllt. Dieses Team beschrieb sein anfängliches Setup als „Trial and Error am Anfang".

Ein Modell mit -9,0 bei Omniscience ist genau dasselbe Fehlerbild, nur lauter. Die Gegenmaßnahmen sind bekannt und wenig aufregend: Retrieval über selbst kontrollierte Quellen, überprüfbare Zitate und ein Ablehnungspfad. KI-Halluzinationen im Support deckt das gesamte Set ab, die kürzere praktische Version ist Prävention von KI-Halluzinationen.

Preis und Geschwindigkeit: der eigentliche Grund, sich dafür zu interessieren

Hier verdient sich das kleine Modell seinen Platz in der Welt.

Output-Tokens kosten 3,4x weniger und kommen 1,5x schneller an, für einen Indexpunkt Intelligenz. Für Agenten-Loops, wo Output-Tokens die Rechnung dominieren und sich Latenz über Dutzende Turns aufsummiert, ist das kein marginaler Unterschied. Er schlägt sich auch in den Zahlen nieder, über die ein Support-Team tatsächlich berichtet, denn schnellere erste Tokens bewegen die Erstlösungsquote mit sowie die daraus folgenden Kundenservice-Kennzahlen insgesamt.

Zwei Vorbehalte, bevor man damit ans Budgetieren geht. Die Input-Preise sind noch nicht fix: Artificial Analysis nennt $0,30 pro 1M, während der OpenRouter-Eintrag $0,45 zeigt und die API $0,50 zurückgibt – also die eigene Route prüfen. Außerdem gibt es bisher nur zwei Anbieter gegenüber vier beim Elternmodell, was dünn ist, wenn man Failover braucht.

Der zweite Vorbehalt ist der überraschendere. Die Model Card nennt 1M Kontext. OpenRouter liefert derzeit 524.288 Tokens, also genau die Hälfte. Die Gewichte unterstützen das volle Fenster, die geroutete API zeigt es nur noch nicht. Wenn eine Million Tokens der Grund war, dieses Modell zu wählen, dann selbst hosten oder zuerst mit dem eigenen Anbieter verifizieren. Größe des Kontextfensters erklärt, warum die beworbene und die nutzbare Zahl so oft auseinandergehen.

Das eigentliche Geschäft von Thinking Machines ist Tinker, ihre gehostete LoRA-Fine-Tuning-Plattform, und Inkling-Small wird dort unterstützt. Checkpoint-Speicher kostet $0,10 pro GB-Monat; Preise pro trainiertem Token sind auf der Übersichtsseite nicht veröffentlicht.

Inkling-Small selbst betreiben

Self-Hosting ist das klarste Upgrade gegenüber dem Elternmodell, und hier liegen die Zahlen nicht eng beieinander.

Unsloths Zahlen setzen Inkling-Small bei 543 GB in BF16 an, dann 132 bis 170 GB bei 4-Bit, 128 GB bei 3-Bit und 89 GB bei 2-Bit. Das volle Inkling braucht 1.900 GB bei BF16 und verlangt selbst bei 1-Bit-Quantisierung noch 270 bis 285 GB. Die Model Card fasst dasselbe in Hardware-Begriffen: 600 GB aggregierter VRAM für BF16 (4x B300 oder 8x H200), sinkt auf 180 GB für den NVFP4-Checkpoint, also ein B300 oder zwei H200.

Die 89-GB-Zahl ist diejenige, die verändert, wer das betreiben kann. Das passt in eine Maschine mit 128 GB Unified Memory, also eine Workstation-Anschaffung und keine für ein Rechenzentrum. Und weil pro Token nur 12B Parameter aktiv sind, bleibt ein stark quantisierter Build nutzbar, statt zu kriechen.

Empfohlene Sampling-Einstellungen sind Temperatur 1,0, top_p 1,0 und min_p 0,0, bei einem Kontext von 1.048.576 Tokens. Der Support ab Tag eins umfasst transformers, vLLM, SGLang, TokenSpeed, Unsloth und Docker Model Runner, quantisierte Builds über llama.cpp, Ollama, LM Studio und Jan. Ein Punkt, den man im Auge behalten sollte: llama.cpp braucht PR #25731 gemerged. Breitere Self-Hosting-Optionen finden sich unter beste Open-Source-KI-Agenten.

Vor- und Nachteile

Was gut ist

• Schlägt ein 3,5x so großes Modell bei Coding und Tool-Nutzung, plus beim Befolgen von Anweisungen
• $1,20 pro 1 Mio. Output-Tokens, also 3,4x günstiger als das Elternmodell
• 131 Tokens pro Sekunde, ein spürbar schnelleres Tempo
• Apache 2.0, kommerzielles Self-Hosting also nicht eingeschränkt
• Läuft mit 89 GB quantisiert, innerhalb von Workstation-Bereich
• Native Audio- und Bildeingabe, bei diesem Preis immer noch ungewöhnlich
• Ein ehrlicher Abschnitt zu Einschränkungen vom Hersteller selbst

Was es nicht ist

• SimpleQA Verified bei 20,6%, weniger als die Hälfte des Elternmodells
• AA Omniscience bei -9,0, also mehr selbstbewusst falsche als richtige Antworten
• 1M Kontext auf dem Papier, aber heute 524K über OpenRouter
• Nur zwei API-Anbieter, was Failover dünn macht
• Tau 3 Banking fällt von 23,7% auf 15,5%
• Audio-Werte liegen bei allen drei Tests leicht hinter dem Elternmodell
• Nur Textausgabe, also keine Bild- oder Audiogenerierung

Was die Community sagt

Die Reaktion fiel deutlich leiser aus als beim Launch des Flaggschiffs, der über 1.200 Punkte auf Hacker News eingebracht hatte. Der eigene Thread von Inkling-Small kam auf 33 davon. Die Einordnung gegenüber dem Feld war der erste Reflex:

"better than haiku 4.5 smaller than nemotron 3 ultra"

tosh, Hacker News

Der andere Kommentar stellte es dem naheliegenden Open-Weights-Rivalen gegenüber und stellte fest, es sei "About the same size as DeepSeek Flash 4, but also supports audio and image input." Eine faire Einordnung. DeepSeek V4 Flash ist pro Token günstiger und nur textbasiert, weshalb die Audio- und Bildunterstützung hier das eigentliche Unterscheidungsmerkmal ist, und die Details des direkten Vergleichs stehen im Flash-Test.

Der schärfste Kommentar kam schon, bevor die Quants überhaupt verfügbar waren, im Hugging-Face-Beitrag:

"I didn't see a gguf yet, going to be most interesting if there's a quant that fits nicely into about 90 [GB] so it can run in 128GB unified memory. It's 12B active so should hopefully be pretty fast at 2 bit quant if it fits"

andy99, Hacker News

Unsloths 2-Bit-Build landete bei 89 GB. Die Local-Inference-Community hat die Zielzahl vorhergesagt, bevor die Veröffentlichung überhaupt existierte, und traf ins Schwarze. Im ersten Monat verzeichnete das Hugging-Face-Repository 15.500 Downloads.

Eine Sache ist mir aufgefallen: Niemand in diesen Threads erwähnte den Rückgang bei der Faktentreue überhaupt. Beim Launch ging es um Geschwindigkeit und Größe, und genau darüber wurde diskutiert.

Was das bedeutet, wenn es Tickets beantworten soll

Hier werde ich direkt, weil das genau mein Job ist.

Ein günstiges, schnelles Modell wirkt für den Support wie ein offensichtlicher Gewinn. Das Ticketvolumen ist hoch, die Antworten sind kurz, und 1,20 US-Dollar pro 1 Mio. Output-Tokens gegenüber 4,05 sind bei entsprechendem Volumen echtes Geld. Genau das ist die Rechnung hinter Kosten des KI-Kundenservice, und dieselbe Rechnung treibt den Vergleich mit menschlichen Agenten an. Teams, die das als Stückkosten tracken, landen meist bei den Kosten pro Lösung.

Aber Support ist genau der Workload, bei dem -9,0 bei Omniscience zur disqualifizierenden Zahl wird statt zur Fußnote. Ein Coding-Agent, der sich eine API ausdenkt, bekommt einen Stack Trace zurück. Ein Support-Agent, der sich eine Rückgabefrist ausdenkt, schickt sie stattdessen an einen Kunden, schriftlich, mit dem eigenen Logo darauf. Käufer, mit denen ich spreche, wissen das bereits, und es ist der Einwand, der als Erstes kommt. Eine CX-Leitung einer DTC-Nahrungsergänzungsmarke brachte es ziemlich unverblümt auf den Punkt:

"The AI will never be able to answer 100% of the questions... I need an AI who is only handling the tickets that it's confident to handle and all the other ones, leave them alone."

a DTC supplements CX lead, from an eesel sales call

Das ist eine Bitte um eine Schicht, nicht um ein Modell. Vier Dinge müssen zwischen jedem Modell und der eigenen Warteschlange sitzen:

1. Retrieval über selbst kontrollierte Quellen, damit Antworten aus dem eigenen Helpcenter und vergangenen Tickets kommen statt aus den Gewichten. KI-Wissensdatenbank-Chatbot behandelt das Muster, auf der Tool-Seite gibt es beste KI-Wissensdatenbank-Tools.
2. Confidence-Routing, damit das Modell beantwortet, was es sicher weiß, und den Rest eskaliert. Die Routing-Seite ist KI-Eskalationsmanagement, die saubere Übergabe an einen Menschen ist Agent-Übergabe.
3. Ein Trockenlauf vor dem Go-live, simuliert gegen die eigenen historischen Tickets statt gegen irgendjemandes Benchmark-Suite. Das ist der Schritt, den Teams gerne überspringen, und auch derjenige, der die selbstbewusst falschen Antworten abfängt.
4. Begrenzte Autonomie, beginnend als Copilot, der Entwürfe schreibt, bevor er selbstständig antwortet. KI-Copilot ist die Einstiegsrampe, Tier-1-Deflection ist das Ziel, gemessen an der Deflection-Rate.

Erledigt man diese vier Dinge, hört die Faktentreue-Lücke von Inkling-Small auf, ein Risiko zu sein, weil die Fakten dann nicht mehr aus dem Modell selbst kommen. Überspringt man sie, hat man eine schnelle, günstige und selbstbewusste Quelle plausibler Antworten gekauft. Das ist der Unterschied zwischen einem KI-Helpdesk-Agenten und einem rohen API-Key, und es ist dieselbe Schlussfolgerung, zu der KI-Agenten gegen KI-Chatbots aus der anderen Richtung kommt.

Es ist auch der Grund, warum eine gute Support-Schicht modellagnostisch bleibt. Inkling-Small ist nicht das erste Modell dieses Jahres, das zur offensichtlich günstigen Standardwahl wird, und es wird nicht das letzte sein. Alles, was fest an ein einziges Modell gebunden ist, muss jedes Mal neu gebaut werden, wenn sich das Leaderboard bewegt, was eine schlechte Art ist, Kundenservice-Automatisierung zu betreiben.

Fazit

Für die meisten Aufgaben ist Inkling-Small der bessere Kauf gegenüber seinem eigenen Elternmodell, und preislich ist es nicht mal knapp. Dieselbe Intelligenzklasse laut unabhängiger Bewertung. Besser bei Coding und Tool-Nutzung laut den eigenen Zahlen des Herstellers, 3,4x günstiger beim Output, 1,5x schneller, Apache 2.0, und klein genug, um es auf einer Workstation selbst zu hosten. Fünfzehn Tage nach dem Flaggschiff hat das kleine Modell das Flaggschiff schwer zu rechtfertigen gemacht.

Das Sternchen dabei ist konkret und leicht zu benennen: Es weiß messbar weniger und verhält sich nicht entsprechend. Gib ihm einen Compiler, eine Tool-Loop oder eine Retrieval-Schicht, und es ist exzellent. Verlange von ihm, die Quelle der Wahrheit zu sein, und es wird selbstbewusst falsch liegen.

Wer es für Code oder Agenten will, sollte heute zugreifen. Wer es in Kundennähe einsetzen will, sollte die Schicht darüber budgetieren, nicht nur die Tokens.

Für das breitere Feld dessen, was sonst noch in diese Lücke passt, lohnt sich der Einstieg über Inkling-Alternativen. Der engste Rivale bei Preis und Größe bekommt eine eigene Aufschlüsselung im Kimi-K3-Test.

Und wenn die eigentliche Aufgabe darin besteht, ein Postfach zu sortieren statt Code zu schreiben, ist Support-Ticket-Triage die nützlichere Lektüre, mit Ticket-Deflection für das, was nach dieser Triage passiert.

Try eesel

Inkling-Small ausgewählt und jetzt soll es echte Tickets sicher beantworten? Genau diese Lücke schließt eesel. Es lässt sich in wenigen Minuten mit Zendesk, Freshdesk, Gorgias oder dem eigenen Helpdesk verbinden, lernt aus gelösten Tickets und dem Helpcenter statt aus den Gewichten des Modells, und beantwortet dann nur, was es sicher weiß, während es den Rest dem eigenen Team überlässt. Bevor es an eine echte Warteschlange geht, lässt es sich gegen die eigene Ticket-Historie simulieren, sodass man die tatsächlichen Antworten sieht, die es gesendet hätte – genau die Prüfung, die ein Faktentreue-Wert von -9,0 unverzichtbar macht. Es bleibt außerdem modellagnostisch, sodass das nächste günstige Modell nur eine Einstellungsänderung ist und kein Neubau.

Kostenlos zum Ausprobieren und nutzungsbasiert abgerechnet, sodass man die Preise vorab prüfen kann. Try eesel oder ansehen, wie es als KI-Kundenservice-Software passt.

Sources

• Inkling-Small model card
• Introducing Inkling-Small
• Inkling model card
• Inkling-Small on Hugging Face
• Artificial Analysis: Inkling-Small
• Artificial Analysis: Inkling
• Unsloth: running Inkling locally
• OpenRouter: Inkling-Small
• Tinker fine-tuning platform
• Hacker News: Inkling-Small
• Hacker News: Hugging Face submission