Inkling-Small erklärt: ein 276B-Modell, bei dem 12B die Arbeit machen

Was Inkling-Small tatsächlich ist

Thinking Machines Lab ist Mira Muratis Firma, und ihr Geschäftsmodell ist, die Gewichte zu verschenken und das Tooling drumherum zu verkaufen. Inkling-Small ist das zweite Modell, das die Tür verlässt: Apache 2.0, veröffentlicht auf Hugging Face als thinkingmachines/Inkling-Small, und in seinem ersten Monat rund 15.500 Mal herunterladen.

Der Hersteller nennt es "ein Viertel der Größe" des Originals, und ausnahmsweise stimmt die Marketingzahl. Das übergeordnete Modell hat 975B gesamt / 41B aktiv über 66 Schichten. Dieses hier hat 276B gesamt / 12B aktiv über 42 Schichten. Das kommt bei beiden Werten wirklich nah an ein Viertel heran.

Die Architektur ist ein recht aggressives Mixture-of-Experts. Jede Schicht hält 256 Experten, und der Router wählt pro Token 6 davon aus, plus 2 gemeinsame Experten, die immer aktiv sind. Die Attention ist hybrid und wechselt zwischen lokalen und globalen Schichten, und die Gewichte werden sowohl in BF16 als auch in NVFP4 ausgeliefert. Trainiert wurde auf NVIDIA-GB300-NVL72-Hardware.

Die praktische Konsequenz dieser Form: du zahlst 276B im Speicher und 12B im Rechenaufwand. Das ist der ganze Trick, und deshalb kann ein Modell mit einem Viertel einer Billion Parameter schneller bedienen als ein dichtes Modell mit einem Zehntel seiner Größe. Falls dir das MoE-Vokabular neu ist, gelten die Mechanismen für die meisten aktuellen Open-Source-KI-Agenten.

Es gibt auch einen Reasoning-Effort-Regler, der von 0 bis 0,99 läuft, mit den vom Hersteller vorgeschlagenen Stufen 0,2 für niedrig, 0,7 für mittel und 0,99 für maximal. Das ist ein Regler dafür, wie lange das Modell nachdenkt, bevor es antwortet, und er verändert deine Token-Rechnung mehr als jede andere Einstellung, an der du drehst.

Was hineingeht, und was herauskommt

Das ist der Teil, den die Leute am häufigsten falsch verstehen, also lohnt es sich, hier deutlich zu sein.

Inputs sind Text, Bilder zwischen 40 und 4096 Pixeln und Audio als 16-kHz-WAV unter zwei Minuten. Output ist nur Text. Es gibt in diesem Modell keine Sprachsynthese.

Das ist wichtig, falls du eine Telefonleitung geplant hast. Ein Modell, das Audio hört, aber nicht sprechen kann, ist nur eine Hälfte einer Sprachpipeline, und du brauchst trotzdem noch Text-zu-Sprache, Telefonie, Barge-in-Handling und Turn-Detection dazu. Wenn das dein Projekt ist, ist die Anbieterlandschaft bei KI-Sprachunternehmen ein besserer Ausgangspunkt als ein rohes Modell.

Audioverständnis ist außerdem die einzige Fähigkeit, bei der das kleine Modell durchgehend Boden gegenüber seinem übergeordneten Modell verloren hat: VoiceBench 90,1 gegenüber 91,4, Audio MC 54,9 gegenüber 56,6, MMAU 77,0 gegenüber 77,2. Die Abstände sind klein, zeigen aber alle in dieselbe Richtung.

Das Kontextfenster, über das sich niemand einig ist

Hier ist ein überprüfbarer Befund, der zwei Minuten gedauert hat und dir einen Nachmittag erspart.

Die Modellkarte sagt, das Kontextfenster liegt bei 1M Tokens. OpenRouter, einer von nur zwei Anbietern, die es hosten, stellt es mit 524.288 Tokens bereit. Das ist genau die Hälfte, was zeigt, dass es sich um eine bewusste Hosting-Entscheidung handelt, nicht um einen Tippfehler.

Keine der beiden Zahlen ist gelogen. Die eine beschreibt, was die Architektur adressieren kann, die andere, was ein bestimmter Endpunkt heute akzeptiert. Das Fehlerbild besteht darin, eine Dokumente-Stopf-Pipeline gegen die Zahl der Karte zu designen und dann in der Produktion an eine Wand zu stoßen. Wenn du etwas baust, das sich auf ein großes Fenster stützt, lies die Obergrenze am Endpunkt ab, den du tatsächlich aufrufst. Die gleiche Falle erwischt Leute bei Coding-Agenten, weshalb ich Kontextfenstergröße separat aufgeschrieben habe.

Die Anzahl der Anbieter ist die andere dünne Stelle: 2 Anbieter, gegenüber 4 beim übergeordneten Modell. Für ein Modell, das fünf Tage in seiner zweiten Woche ist, ist das zu erwarten, bedeutet aber weniger Spielraum bei einem Ausfall.

Was es kostet

Die Output-Preisgestaltung ist geklärt. 1,20 $ pro 1M Output-Tokens, bestätigt vom Hersteller, Artificial Analysis und OpenRouter. Gegenüber den 4,05 $ des übergeordneten Modells ist das die Schlagzeile.

Die Input-Preisgestaltung ist nicht geklärt, und ich sage dir das lieber, als eine Zahl zu wählen und selbstsicher zu wirken:

Wenn du mit 0,50 $ kalkulierst, überrascht dich nichts. Auf Blended-Basis setzt Artificial Analysis Inkling-Small bei 0,22 $ pro 1M an, gegenüber 0,72 $ beim übergeordneten Modell, also grob ein Drittel der Kosten für dieselbe Intelligenzklasse.

Geschwindigkeit ist die unterschätzte Hälfte des Deals. 131,1 Output-Tokens pro Sekunde gegenüber 84,8 beim übergeordneten Modell, mit einer Time-to-First-Token von 1,65 s gegenüber 1,82 s. Auf seinem Intelligence Index erzielt das kleine Modell 40 Punkte und liegt auf Platz 15 von 101, gegenüber 41 Punkten und Platz 13 beim übergeordneten Modell. Gleiche Klasse, schneller, günstiger. Das ist eine ungewöhnliche Kombination und der Hauptgrund, sich für dieses Release zu interessieren.

Fine-Tuning läuft über Thinking Machines' eigene Tinker-Plattform, die das Modell unterstützt. Preise pro Token für das Training sind nirgends veröffentlicht, wo ich sie finden konnte, und die Preisseite unter tinker-docs.thinkingmachines.ai/pricing liefert derzeit einen 404-Fehler. Checkpoint-Speicherung kostet 0,10 $ pro GB und Monat. Wenn Fine-Tuning der Plan ist, steht der Trade-off gegenüber Retrieval unter RAG versus Fine-Tuning.

Es selbst betreiben

Hier wird das "kostenlos" bei kostenlosen Gewichten auf die Probe gestellt. Die quantisierten Builds von Unsloth liefern echte Zahlen dazu, und die 2-Bit-Zahl ist die interessante: 89 GB, was in eine 128-GB-Unified-Memory-Box passt.

Es gibt hier ein schönes Detail in der Launch-Diskussion. Ein Hacker-News-Kommentator, andy99, sagte, er habe sich etwas um 90 GB erhofft, bevor irgendwelche Quants veröffentlicht waren. Unsloth landete bei 89.

Zwei Hinweise zur Haushaltsführung, falls du lokal fährst. Sampling sollte Temperature 1,0, top_p 1,0, min_p 0,0 sein, was ungewöhnlich genug ist, um es aufzuschreiben. Und die llama.cpp-Unterstützung kam über PR #25731, also prüfe, dass dein Build sie enthält, bevor du Phantomprobleme debuggst.

Wo es passt, und wo wirklich nicht

Auf der eigenen Vergleichstabelle des Herstellers schlägt das kleine Modell sein 975B-Elternmodell bei fast allem, was man als Ausführung bezeichnen würde. SWEBench Verified 80,2 gegenüber 77,6, SWEBench Pro 55,9 gegenüber 54,3, Terminal Bench 2.1 bei 64,7 gegenüber 63,8, Toolathlon 54,4 gegenüber 45,5, MCP Atlas 79,6 gegenüber 76,0, GPQA 89,5 gegenüber 87,2, IFBench 82,2 gegenüber 79,8.

Dann kommt die andere Spalte. AIME rutscht von 97,1 auf 95,5. Global-MMLU-Lite fällt von 88,7 auf 86,7, was du dir merken solltest, falls du einen mehrsprachigen Support-Agenten darauf aufbauen wolltest. Und Tau 3 Banking fällt von 23,7 auf 15,5, die schärfste einzelne Verschlechterung auf dem Blatt, bei einem Benchmark, der speziell mehrstufigen Tool-Einsatz in einem kundenorientierten Setting abbildet.

Das Paar, das für alle, die an Support-Arbeit denken, am wichtigsten ist, ist SimpleQA Verified bei 20,6 % gegenüber 43,9 % beim übergeordneten Modell, zusammen mit einem Omniscience-Score von -9,0 gegenüber +2,1 beim übergeordneten Modell. Ein negativer Omniscience-Score bedeutet, dass das Modell selbstbewusster falsch als richtig liegt. Niemand in den Launch-Threads hat das erwähnt, was schade ist, denn es ist die entscheidungsrelevanteste Zahl im gesamten Release.

Ich möchte hier fair sein, denn das ist eine Designentscheidung und kein Defekt. Ein Modell mit 12B aktiven Parametern hat weniger Platz, um die Welt zu memorieren, als eines mit 41B aktiven Parametern, und Thinking Machines hat diesen Platz offensichtlich in Reasoning und Tool-Nutzung investiert statt anderswo. Wenn dein Modell ohnehin nachschlagen wird, ist memoriertes Trivialwissen totes Gewicht. Das ist die richtige Wette für einen Agenten.

Es ist die falsche Wette für einen Bot, der Fragen aus dem Gedächtnis beantwortet. Das ist genau die Form von Fehler, die ich live habe passieren sehen. Ein B2B-Technik-Support-Team, mit dem ich gearbeitet habe, stellte fest, dass ihr Bot "ja, wir unterstützen Ihr Fahrzeugmodell" bestätigte, für Fahrzeuge, die gar nicht in ihrer Datenbank standen, weil das Help Center sagte, das Unternehmen unterstütze alle Modelle. Das Modell war nicht defekt. Es betrieb selbstbewusste Inferenz über eine vage Quelle, genau das, was ein negativer Omniscience-Score vorhersagt. Ich habe das ganze Muster unter Halluzinationen verhindern aufgeschrieben.

Also die ehrliche Einschätzung: Nutze Inkling-Small dort, wo eine Retrieval-Schicht die Fakten liefert und das Modell die Argumentation liefert. Nutze es nicht als Quelle der Wahrheit.

Das bedeutet, dass die Qualität deiner Quellen zur Obergrenze der Modellgenauigkeit wird, und diese gut auszuwählen, ist ein größerer Hebel als die Wahl des Checkpoints. Meine Übersicht der Wissensdatenbank-Tools ist der praktische Ausgangspunkt.

Was das bedeutet, wenn du KI auf eine Support-Queue setzt

Ein Modell ist ein Motor, kein Auto. Diese Unterscheidung ist der Kern von KI-Agenten versus Chatbots, und deshalb sagt dir eine Benchmark-Tabelle so wenig über eine Queue.

Die Lücke zwischen "das benchmarkt gut" und "das beantwortet meine Kunden" ist das ganze Produkt, und sie besteht größtenteils aus unglamourösen Teilen:

• Grounding. Das Modell muss dein Help Center, deine Makros und deine gelösten Tickets lesen, nicht seine Trainingsdaten. Das ist die Aufgabe einer Schicht wie einem KI-Wissensdatenbank-Chatbot.
• Confidence-Routing. Irgendetwas muss entscheiden, wann das Modell überhaupt nicht antworten sollte, was den Kern von KI-Eskalationsmanagement bildet.
• Ein Testlauf. Du willst die Lösungsrate kennen, bevor die Kunden sie erleben, nicht danach. Simulation gegen deine eigene Ticket-Historie ist der einzig ehrliche Weg zu dieser Zahl.
• Handoff. Wenn die KI aufhört, übernimmt ein Mensch mitten im Gespräch mit vollem Kontext, gemäß Best Practices für Handoff. Die softere Variante davon ist ein KI-Copilot, bei dem das Modell entwirft und ein Mensch sendet.
• Messung. Die Deflection-Rate ist die Zahl, die entscheidet, ob das alles funktioniert hat. Übersetze sie in Geld mit Kosten pro Lösung.
• Abdeckung. Zu wissen, welche Themen die KI überhaupt übernehmen sollte, ist eine eigene Übung, dargelegt in diesem Leitfaden zur Ticket-Deflection.

Eine DTC-Supplements-CX-Lead, mit der ich gesprochen habe, brachte die Anforderung in einem Satz auf den Punkt: "I need an AI who is only handling the tickets that it's confident to handle and all the other ones, leave them alone." Kein Modell-Checkpoint gibt dir das. Ein Confidence-Threshold und eine Routing-Regel schon, eingebettet in welches KI-Ticketsystem auch immer du bereits betreibst.

Die Metrikseite dieser Entscheidung lohnt sich, separat zu lesen, denn "gelöst" bedeutet für verschiedene Teams etwas anderes. Beginne mit Support-Metriken, dann Erstlösungsrate.

Das ist auch die Antwort auf die Bauen-versus-Kaufen-Frage, die ein kostenloser Apache-2.0-Checkpoint naturgemäß aufwirft. Die Gewichte sind der billigste Teil des Projekts. Die 0,50 $ pro Million Input-Tokens sind der billigste Teil des Projekts. Die teuren Teile sind die Retrieval-Pipeline, der Eval-Harness, die Eskalationslogik und die Person, die alle drei im nächsten Quartal pflegt.

Willst du ein solches Modell auf echten Tickets einsetzen?

Wenn dich Preis und Geschwindigkeit von Inkling-Small angesprochen haben, willst du eigentlich genau diese Ökonomie eingepackt in Guardrails. eesel bindet sich in Zendesk, Freshdesk und den Rest deines Stacks ein, trainiert auf deinen vergangenen Tickets und deinem Help Center statt auf dem Gedächtnis eines Modells, und lässt dich das Ganze simulieren gegen deine Ticket-Historie, bevor ein einziger Kunde es sieht. Du legst die Confidence-Grenze fest; alles darunter geht mit Kontext an einen Menschen. Kostenlos zum Testen, und du siehst deine eigene Lösungsrate, bevor du dich verpflichtest.

eesel testen

Wie es sich gegen die anderen Open-Weights-Optionen schlägt

Die Open-Weights-Klasse ist überfüllt, und die Unterschiede sind kleiner, als die Launch-Posts suggerieren.

Die Community-Einschätzung war kurz und einigermaßen zutreffend. Der Haupt-Hacker-News-Thread brachte nur 33 Punkte und zwei Kommentare, von denen einer feststellte, es sei "About the same size as DeepSeek Flash 4, but also supports audio and image input." Das ist das Unterscheidungsmerkmal in einem Satz: multimodaler Input zum Preis eines kleinen Modells.

Der engste Nachbar bei Preis und Form ist DeepSeek V4 Flash, das pro Token günstiger ist, aber nur Text annimmt.

Am anderen Ende der Spanne verlangt Kimi K3 Frontier-Preise für Open Weights, was die 1,20 $ von Inkling-Small im Vergleich großzügig wirken lässt.

Wenn du die urteilsförmige Version dieses Beitrags statt der Erklärung willst, dann ist das das Inkling-Small-Review. Das 975B-Elternmodell hat auch seinen eigenen Inkling-Erklärartikel.

Zwei weitere, die einen Blick wert sind, bevor du dich entscheidest: mein Inkling-Review behandelt das Preisproblem des übergeordneten Modells, und Inkling-Alternativen kartiert das breitere Feld.

Sicherheitszahlen, zur Vollständigkeit: StrongREJECT 98,4, FORTRESS 71,6 und 96,9, MMMU Pro 74,0, ARC-AGI-1 84,0, ARC-AGI-2 40,1, SciCode 48,7, CritPt 8,3, AA-Briefcase 917, GDPval-AA v2 1269 gegenüber 1238 beim übergeordneten Modell.

Meine Einschätzung

Inkling-Small ist das interessantere der beiden Inkling-Releases, und das sage ich als jemand, der von der Preisgestaltung des ersten enttäuscht war. Es ist schneller und etwa ein Drittel der Kosten eines Modells, das es meist übertrifft, es akzeptiert Audio und Bilder, und mit 89 GB quantisiert ist es das erste Modell dieser Klasse, das ein kleines Team komplett selbst besitzen kann.

Die Vorbehalte sind konkret statt vage. Lies das echte Kontextlimit deines Anbieters statt der Zahl der Karte. Kalkuliere den Input mit 0,50 $. Und behandle es nicht als Wissensquelle, denn ein Omniscience-Score von -9,0 sagt dir im Voraus, dass es selbstbewusst falsch liegen wird.

Für alles Kundenorientierte ist das Modell die leichte Entscheidung. Die Automatisierungsschicht darum herum ist diejenige, die bestimmt, ob es funktioniert, und das bleibt wahr, egal welcher Checkpoint nächsten Monat gewinnt.

Wenn dich dieser Beitrag eher zu einem Rollout als zu einem Download bewegt, beginne mit Tier-1-Deflection. Kläre dann, wo das Modell überhaupt nicht antworten sollte, was die Aufgabe der Ticket-Triage ist.

Quellen

• Modellkarte von Thinking Machines Lab, thinkingmachines/Inkling-Small auf Hugging Face (Architektur, Benchmark-Tabelle, Hardware-Empfehlungen, Sampling-Einstellungen)
• Artificial Analysis (Intelligence Index, Durchsatz, TTFT, Blended-Preise, Omniscience)
• Modellseite und API von OpenRouter (bereitgestelltes Kontextfenster, Input-Preise, Anbieterzahl)
• Quantisierte Build-Größen von Unsloth
• Hacker-News-Launch-Thread
• eesel Customer Voice Dossier (GENERAL BYTES, mit Erlaubnis; anonymisierte Auszüge aus B2B-Technik-Support und DTC-Supplements)