Inkling-Small erklärt: ein 276B-Modell, bei dem 12B die Arbeit machen

Was Inkling-Small wirklich ist

Thinking Machines Lab ist Mira Muratis Unternehmen, und sein Geschäftsmodell besteht darin, die Gewichte zu verschenken und das Tooling drumherum zu verkaufen. Inkling-Small ist das zweite veröffentlichte Modell: Apache 2.0, auf Hugging Face als thinkingmachines/Inkling-Small veröffentlicht und im ersten Monat rund 15.500 Mal heruntergeladen.

Der Anbieter nennt es „ein Viertel der Größe“ des Originals, und ausnahmsweise stimmt die Marketingzahl. Das übergeordnete Modell hat 975B gesamt / 41B aktiv über 66 Schichten. Dieses hat 276B gesamt / 12B aktiv über 42 Schichten. Das kommt bei beiden Werten wirklich nah an ein Viertel heran.

Die Architektur ist ein ziemlich aggressives Mixture-of-Experts. Jede Schicht enthält 256 Experten, und der Router wählt pro Token 6 davon aus, plus 2 gemeinsam genutzte Experten, die immer aktiv sind. Die Aufmerksamkeit ist hybrid und wechselt zwischen lokalen und globalen Schichten, und die Gewichte werden sowohl in BF16 als auch in NVFP4 ausgeliefert. Das Training lief auf NVIDIA-GB300-NVL72-Hardware.

Die praktische Konsequenz dieser Form: Du bezahlst 276B im Speicher und 12B in der Rechenleistung. Das ist der ganze Trick, und deshalb kann ein Modell mit einem Viertelbillion Parametern schneller bedienen als ein dichtes Modell mit einem Zehntel seiner Größe. Falls dir das MoE-Vokabular neu ist: Die Mechanik lässt sich auf die meisten aktuellen Open-Source-KI-Agenten übertragen.

Es gibt außerdem einen Reasoning-Effort-Regler, der von 0 bis 0,99 reicht, mit den vom Anbieter vorgeschlagenen Stufen 0,2 für niedrig, 0,7 für mittel und 0,99 für maximal. Das ist ein Regler dafür, wie lange das Modell nachdenkt, bevor es antwortet, und er verschiebt deine Token-Rechnung stärker als jede andere Einstellung, an der du drehst.

Was reingeht und was rauskommt

Das ist der Teil, den die meisten Leute am häufigsten falsch verstehen, deshalb lohnt es sich, hier deutlich zu sein.

Eingaben sind Text, Bilder zwischen 40 und 4096 Pixel sowie Audio als 16-kHz-WAV unter zwei Minuten. Die Ausgabe ist nur Text. Dieses Modell verfügt über keine Sprachsynthese.

Das ist wichtig, falls du eine Telefonleitung geplant hast. Ein Modell, das Audio hört, aber nicht sprechen kann, ist nur die halbe Sprach-Pipeline, und du brauchst zusätzlich Text-to-Speech, Telefonie, Barge-in-Handling und Turn-Detection obendrauf. Wenn das dein Projekt ist, ist die Anbieterlandschaft bei KI-Sprachunternehmen ein besserer Ausgangspunkt als ein rohes Modell.

Audioverständnis ist zudem die einzige Fähigkeit, bei der das kleine Modell gegenüber seinem übergeordneten Modell durchgehend Boden verliert: VoiceBench 90,1 gegenüber 91,4, Audio MC 54,9 gegenüber 56,6, MMAU 77,0 gegenüber 77,2. Die Abstände sind klein, zeigen aber alle in dieselbe Richtung.

Das Kontextfenster, über das sich niemand einig ist

Hier ist ein überprüfbarer Befund, der zwei Minuten gekostet und einen Nachmittag gespart hat.

Die Modellkarte gibt das Kontextfenster mit 1 Mio. Tokens an. OpenRouter, einer von nur zwei Anbietern, die das Modell hosten, stellt es mit 524.288 Tokens bereit. Das ist genau die Hälfte, was auf eine bewusste Hosting-Entscheidung statt auf einen Tippfehler hindeutet.

Keine der beiden Zahlen ist gelogen. Die eine beschreibt, was die Architektur adressieren kann, die andere, was ein bestimmter Endpunkt heute akzeptiert. Das Fehlermuster besteht darin, eine Pipeline zum Vollstopfen von Dokumenten nach der Zahl auf der Karte zu entwerfen und in der Produktion gegen eine Wand zu laufen. Wenn du etwas baust, das auf ein langes Fenster angewiesen ist, lies die Obergrenze an dem Endpunkt ab, den du tatsächlich aufrufst. Dieselbe Falle erwischt Leute, die Coding-Agenten nutzen, weshalb ich die Größe des Kontextfensters separat behandelt habe.

Die Anbieterzahl ist die andere dünne Stelle: 2 Anbieter gegenüber 4 beim übergeordneten Modell. Für ein Modell, das erst fünf Tage in seiner zweiten Woche ist, ist das zu erwarten, bedeutet aber weniger Spielraum für Ausfallsicherheit.

Was es kostet

Der Ausgabepreis steht fest. 1,20 $ pro 1 Mio. Ausgabetokens, bestätigt vom Anbieter, von Artificial Analysis und von OpenRouter. Im Vergleich zu den 4,05 $ des übergeordneten Modells ist das die Schlagzeile.

Der Eingabepreis steht nicht fest, und das sage ich lieber so, als eine Zahl zu wählen und selbstsicher zu wirken:

Kalkuliere mit 0,50 $ und nichts überrascht dich. Auf Blended-Basis setzt Artificial Analysis Inkling-Small bei 0,22 $ pro 1 Mio. gegenüber 0,72 $ beim übergeordneten Modell an, also etwa ein Drittel der Kosten für dieselbe Intelligenzstufe.

Geschwindigkeit ist die unterschätzte Hälfte des Deals. 131,1 Ausgabetokens pro Sekunde gegenüber 84,8 beim übergeordneten Modell, mit einer Time-to-First-Token von 1,65 s gegenüber 1,82 s. Im Intelligence Index erreicht das kleine Modell 40 Punkte und Rang 15 von 101, gegenüber 41 und Rang 13 beim übergeordneten Modell. Gleiche Stufe, schneller, günstiger. Das ist eine ungewöhnliche Kombination und der Hauptgrund, sich für dieses Release zu interessieren.

Feintuning läuft über Thinking Machines' eigene Tinker-Plattform, die das Modell unterstützt. Preise pro trainiertem Token sind nirgendwo veröffentlicht, wo ich sie finden konnte, und die Preisseite unter tinker-docs.thinkingmachines.ai/pricing liefert derzeit einen 404-Fehler. Checkpoint-Speicherung kostet 0,10 $ pro GB und Monat. Wenn Feintuning der Plan ist, steht die Abwägung gegenüber Retrieval in RAG gegenüber Fine-Tuning.

Es selbst betreiben

Hier wird das „kostenlos“ bei kostenlosen Gewichten auf die Probe gestellt. Unsloths quantisierte Builds liefern echte Zahlen, und die 2-Bit-Zahl ist die interessante: 89 GB, was in eine 128-GB-Maschine mit Unified Memory passt.

Es gibt ein schönes Detail in der Launch-Diskussion. Ein Hacker-News-Kommentator, andy99, schrieb, er hoffe auf etwas um die 90 GB, bevor überhaupt Quants veröffentlicht waren. Unsloth landete bei 89.

Zwei organisatorische Hinweise, falls du lokal arbeitest. Das Sampling sollte temperature 1.0, top_p 1.0, min_p 0.0 sein, was ungewöhnlich genug ist, um es aufzuschreiben. Und die llama.cpp-Unterstützung kam mit PR #25731, prüfe also, ob dein Build sie enthält, bevor du Phantomprobleme debuggst.

Wo es passt und wo wirklich nicht

In der eigenen Vergleichstabelle des Herstellers schlägt das kleine Modell sein 975B-Elternmodell bei den meisten Dingen, die man als Ausführung bezeichnen würde. SWEBench Verified 80,2 gegenüber 77,6, SWEBench Pro 55,9 gegenüber 54,3, Terminal Bench 2.1 bei 64,7 gegenüber 63,8, Toolathlon 54,4 gegenüber 45,5, MCP Atlas 79,6 gegenüber 76,0, GPQA 89,5 gegenüber 87,2, IFBench 82,2 gegenüber 79,8.

Dann gibt es die andere Spalte. AIME sinkt von 97,1 auf 95,5. Global-MMLU-Lite fällt von 88,7 auf 86,7, was erwähnenswert ist, falls du einen mehrsprachigen Support-Agenten darauf aufbauen wolltest. Und Tau 3 Banking fällt von 23,7 auf 15,5, der stärkste einzelne Rückgang auf dem Blatt, bei einem Benchmark, der speziell mehrstufige Tool-Nutzung in einem kundenorientierten Umfeld misst.

Das Paar, das für alle, die an Support-Arbeit denken, am wichtigsten ist, ist SimpleQA Verified mit 20,6 % gegenüber 43,9 % beim übergeordneten Modell, zusammen mit einem Omniscience-Score von -9,0 gegenüber +2,1 beim übergeordneten Modell. Ein negativer Omniscience-Score bedeutet, dass das Modell öfter selbstsicher falsch als richtig liegt. Niemand in den Launch-Threads hat das erwähnt, was schade ist, denn es ist die für Entscheidungen relevanteste Zahl des gesamten Releases.

Ich möchte hier fair sein, denn das ist eine Designentscheidung und kein Fehler. Ein Modell mit 12B aktiven Parametern hat weniger Spielraum, die Welt auswendig zu lernen, als eines mit 41B aktiven Parametern, und Thinking Machines hat diesen Spielraum offensichtlich stattdessen in Reasoning und Tool-Nutzung investiert. Wenn dein Modell ohnehin nachschlagen wird, ist auswendig gelerntes Trivialwissen totes Gewicht. Das ist die richtige Wette für einen Agenten.

Es ist die falsche Wette für einen Bot, der aus dem Gedächtnis antwortet. Das ist genau die Art von Fehler, die ich live erlebt habe. Ein B2B-Technik-Supportteam, mit dem ich zusammengearbeitet habe, entdeckte, dass sein Bot „ja, wir unterstützen Ihr Fahrzeugmodell“ für Fahrzeuge bestätigte, die gar nicht in der Datenbank standen, weil das Hilfecenter angab, das Unternehmen unterstütze alle Modelle. Das Modell war nicht defekt. Es zog selbstsichere Schlüsse aus einer vagen Quelle, genau das, was ein negativer Omniscience-Score vorhersagt. Das vollständige Muster habe ich in Halluzinationen verhindern beschrieben.

Die ehrliche Lesart lautet also: Nutze Inkling-Small dort, wo eine Retrieval-Schicht die Fakten liefert und das Modell das Reasoning liefert. Nutze es nicht als Quelle der Wahrheit.

Das bedeutet, dass die Qualität deiner Quellen zur Obergrenze der Modellgenauigkeit wird, und sie gut auszuwählen ist ein größerer Hebel als die Wahl des Checkpoints. Meine Übersicht der Wissensdatenbank-Tools ist der praktische Ausgangspunkt.

Was das bedeutet, wenn du KI in eine Support-Warteschlange bringst

Ein Modell ist ein Motor, kein Auto. Diese Unterscheidung ist der ganze Inhalt von KI-Agenten gegenüber Chatbots, und deshalb sagt eine Benchmark-Tabelle so wenig über eine Warteschlange aus.

Die Lücke zwischen „das schneidet in Benchmarks gut ab“ und „das beantwortet meine Kundenanfragen“ ist das gesamte Produkt, und sie besteht größtenteils aus unglamourösen Teilen:

• Grounding. Das Modell muss dein Hilfecenter, deine Makros und deine gelösten Tickets lesen, nicht seine Trainingsdaten. Das ist die Aufgabe einer KI-Wissensdatenbank-Chatbot-Schicht.
• Confidence Routing. Etwas muss entscheiden, wann das Modell überhaupt nicht antworten sollte, und das ist der Kern von KI-Eskalationsmanagement.
• Ein Testlauf. Du willst die Lösungsquote kennen, bevor die Kunden sie kennen, nicht danach. Simulation gegen deine eigene Ticket-Historie ist der einzige ehrliche Weg, diese Zahl zu bekommen.
• Übergabe. Wenn die KI stoppt, übernimmt ein Mensch mitten im Gespräch mit vollem Kontext, gemäß den Best Practices für Übergaben. Die sanftere Version davon ist ein KI-Copilot, bei dem das Modell entwirft und ein Mensch sendet.
• Messung. Die Deflection Rate ist die Zahl, die entscheidet, ob das alles funktioniert hat. Übersetze sie mit den Kosten pro Lösung in Geld.
• Abdeckung. Zu wissen, welche Themen die KI überhaupt übernehmen sollte, ist eine eigene Übung, dargelegt in diesem Leitfaden zur Ticket-Ablenkung.

Eine CX-Leiterin für Nahrungsergänzungsmittel bei einer DTC-Marke, mit der ich gesprochen habe, brachte die Anforderung in einem Satz auf den Punkt: „Ich brauche eine KI, die nur die Tickets bearbeitet, bei denen sie sich sicher ist, und alle anderen in Ruhe lässt.“ Kein Modell-Checkpoint gibt dir das. Eine Confidence-Schwelle und eine Routing-Regel schon, eingebettet in das KI-Ticketing-System, das du bereits betreibst.

Die Metrik-Seite dieser Entscheidung lohnt es sich, separat zu lesen, denn „gelöst“ bedeutet für verschiedene Teams etwas anderes. Beginne mit Support-Metriken, dann Erstlösungsquote.

Das ist auch die Antwort auf die Frage Eigenbau gegen Kauf, die ein kostenloser Apache-2.0-Checkpoint naturgemäß aufwirft. Die Gewichte sind der billigste Teil des Projekts. Die 0,50 $ pro Million Eingabetokens sind der billigste Teil des Projekts. Die teuren Teile sind die Retrieval-Pipeline, das Eval-Harness, die Eskalationslogik und die Person, die alle drei im nächsten Quartal pflegt.

Willst du ein solches Modell auf echten Tickets einsetzen?

Wenn dich Preis und Geschwindigkeit von Inkling-Small angesprochen haben, willst du eigentlich genau diese Ökonomie, eingehüllt in Leitplanken. eesel bindet sich an Zendesk, Freshdesk und den Rest deines Stacks an, trainiert auf deinen vergangenen Tickets und deinem Hilfecenter statt auf dem Gedächtnis eines Modells, und lässt dich das Ganze simulieren gegen deine Ticket-Historie, bevor auch nur ein Kunde es sieht. Du legst die Confidence-Schwelle fest; alles darunter geht mit angehängtem Kontext an einen Menschen. Kostenlos zu testen, und du siehst deine eigene Lösungsquote, bevor du dich festlegst.

Try eesel

Wie es im Vergleich zu anderen Open-Weights-Optionen abschneidet

Die Open-Weights-Klasse ist überfüllt, und die Unterschiede sind kleiner, als die Launch-Beiträge vermuten lassen.

Die Reaktion der Community war kurz und einigermaßen zutreffend. Der Haupt-Hacker-News-Thread brachte es nur auf 33 Punkte und zwei Kommentare, von denen einer feststellte, es sei „ungefähr so groß wie DeepSeek Flash 4, unterstützt aber auch Audio- und Bildeingabe“. Das ist das Unterscheidungsmerkmal in einem Satz: multimodale Eingabe zum Preis eines kleinen Modells.

Der nächste Nachbar bei Preis und Form ist DeepSeek V4 Flash, das pro Token günstiger ist, aber nur Text verarbeitet.

Am anderen Ende der Spanne verlangt Kimi K3 Frontier-Preise für offene Gewichte, wodurch Inkling-Smalls 1,20 $ im Vergleich großzügig wirken.

Wenn du statt der Erklär-Version die Fazit-Version dieses Beitrags willst, ist das die Inkling-Small-Review. Das 975B-Elternmodell hat ebenfalls seinen eigenen Inkling-Erklärartikel.

Zwei weitere lohnen sich, bevor du dich festlegst: meine Inkling-Review behandelt das Preisproblem des übergeordneten Modells, und Inkling-Alternativen kartiert das breitere Feld.

Sicherheitswerte, der Vollständigkeit halber: StrongREJECT 98,4, FORTRESS 71,6 und 96,9, MMMU Pro 74,0, ARC-AGI-1 84,0, ARC-AGI-2 40,1, SciCode 48,7, CritPt 8,3, AA-Briefcase 917, GDPval-AA v2 1269 gegenüber 1238 beim übergeordneten Modell.

Meine Einschätzung

Inkling-Small ist das interessantere der beiden Inkling-Releases, und das sage ich als jemand, den die Preisgestaltung des ersten enttäuscht hat. Es ist schneller und kostet etwa ein Drittel eines Modells, das es größtenteils übertrifft, akzeptiert Audio und Bilder, und mit 89 GB quantisiert ist es das erste Modell dieser Klasse, das ein kleines Team vollständig besitzen kann.

Die Vorbehalte sind konkret, nicht vage. Lies das echte Kontext-Limit deines Anbieters statt das der Karte. Kalkuliere die Eingabe mit 0,50 $. Und behandle es nicht als Wissensquelle, denn ein Omniscience-Score von -9,0 sagt dir im Voraus, dass es selbstsicher falschliegen wird.

Für alles Kundenorientierte ist das Modell die leichte Entscheidung. Die Automatisierungsschicht darum herum ist es, die bestimmt, ob es funktioniert, und das bleibt wahr, egal welcher Checkpoint nächsten Monat gewinnt.

Wenn dich dieser Beitrag eher zu einem Rollout als zu einem Download bewegt hat, beginne mit Tier-1-Deflection. Finde dann heraus, wo das Modell überhaupt nicht antworten sollte, was die Aufgabe von Ticket-Triage ist.

Quellen

• Thinking Machines Lab Modellkarte, thinkingmachines/Inkling-Small auf Hugging Face (Architektur, Benchmark-Tabelle, Hardware-Hinweise, Sampling-Einstellungen)
• Artificial Analysis (Intelligence Index, Durchsatz, TTFT, Blended-Preise, Omniscience)
• OpenRouter-Modellseite und API (bereitgestelltes Kontextfenster, Eingabepreis, Anbieterzahl)
• Größen der quantisierten Builds von Unsloth
• Hacker-News-Launch-Thread
• eesel Customer Voice Dossier (GENERAL BYTES, mit Zustimmung; anonymisierte Auszüge aus B2B-Technik-Support und DTC-Nahrungsergänzungsmitteln)