Nemotron 3.5 Bolt: NVIDIAs lokales 24GB-KI-Modell erklärt

Kira
Geschrieben von

Kira

Katelin Teen
Geprüft von

Katelin Teen

Zuletzt bearbeitet October 26, 2026

Expertengeprüft
Ein Entwickler an einem Desktop-PC mit einer Grafikkarte, auf der ein lokales KI-Modell läuft, neben dem NVIDIA-Logo und einem großen Blitz in NVIDIA-Grün
TL;DR

Nemotron 3.5 Bolt ist NVIDIAs neue Familie offener Modelle für den Betrieb auf Ihrem eigenen Rechner, und sie besteht aus zwei Modellen, nicht aus einem. Bolt 74B-A9B bringt ein Modell mit 74B Parametern in 24GB unter, mit 2-Bit-Gewichten, damit lokale Agenten auf einer einzigen Consumer-GPU laufen können. Bolt E4B ist ein 4GB-Modell für Sprachassistenten, Spielfiguren und Geräte.

Das 74B-Modell erreicht 21 im Artificial Analysis Intelligence Index, den vierten Platz unter Modellen mit weniger als 100B Parametern und liegt höchstens 2 Punkte hinter NVIDIAs Nemotron 3 Ultra mit 550B Parametern. Die Gewichte sind unter OpenMDW-1.1 kostenlos verfügbar, und für keines der beiden Bolt-Modelle gibt es bisher eine kostenpflichtige API. Ihre Kosten beschränken sich also auf Ihre Hardware.

Der Haken: Das dichte Qwen3.8 27B ist immer noch intelligenter (44.5 gegenüber 28.5 in NVIDIAs eigenem GDPVal-v2-Diagramm), Bolt ist wortreich, und bei einem Tester scheiterte es an 6 von 21 Jailbreak-Tests. Für Supportteams ist es eine vielversprechende Engine für private Arbeit direkt auf dem Gerät, kein Ticketbeantworter, den Sie einfach einschalten. Wenn Sie genau das heute möchten, antwortet der KI-Helpdesk-Teamkollege von eesel ausschließlich auf Grundlage Ihrer eigenen Dokumente und wird mit Ihren bisherigen Tickets getestet, bevor er jemandem antwortet.

Warum ich den technischen Bericht zu Bolt gelesen habe

Ich entwickle Funktionen und KI-Agenten bei eesel, deshalb verbringe ich den Großteil meiner Woche mit dem unspektakulären Kern eines Agenten: Was kommt in den Kontext, welches Tool ruft er auf, und was passiert, wenn das Modell falschliegt? Die Frage, die ich von technisch versierten Käufern am häufigsten höre, lautet nicht „Wie intelligent ist es?“, sondern „Wohin gehen unsere Daten?“. In einem Verkaufsgespräch dieses Jahr fragte ein Evaluator bei einem Hardwareunternehmen, ob die KI auf "some kind of other ChatGPT" zurückgreifen würde, wenn sie eine Antwort nicht wüsste, und ob ihr Wissen auf ihre Organisation beschränkt bliebe.

Ein Modell, das Sie auf einem Rechner unter Ihrem eigenen Schreibtisch betreiben können, ist eine ehrliche Antwort auf diese Frage. Als NVIDIA also ein Modell veröffentlichte, dessen gesamtes Versprechen „ein großes Modell in 24GB unterbringen“ lautet, las ich die Modellkarte, den technischen Bericht und jeden Nutzertest, den ich finden konnte. Hier erfahren Sie, was standhält und was eine Fußnote braucht.

NVIDIAs Diagramm zu Geschwindigkeit und Intelligenz für kleine Modelle unter 24GB, mit Nemotron Bolt 24GB zwischen Qwen3.8 27B und Qwen3.6 35B-A3B, entnommen aus NVIDIA Research
NVIDIAs Diagramm zu Geschwindigkeit und Intelligenz für kleine Modelle unter 24GB, mit Nemotron Bolt 24GB zwischen Qwen3.8 27B und Qwen3.6 35B-A3B, entnommen aus NVIDIA Research

Was ist Nemotron 3.5 Bolt?

Nemotron 3.5 Bolt ist NVIDIAs „Edge“-Reihe innerhalb der Nemotron-3.5-Familie. NVIDIA kündigte sie am 15. Oktober 2026 gemeinsam mit Nemotron 3.5 Super VL an und beschreibt die Familie so: Lightning übernimmt Workloads mit hohem Durchsatz, Ultra übernimmt die anspruchsvollsten Schlussfolgerungen, und "Bolt brings intelligence to the edge."

Der Name umfasst zwei sehr unterschiedliche Modelle, was in vielen frühen Berichten für Verwirrung sorgt:

  • Bolt 74B-A9B 24GB ist das Modell, das im Mittelpunkt steht. Laut NVIDIA ist es "designed to run everyday agentic tasks locally on NVIDIA RTX/DGX Spark, using a native 2-bit quantization to fit in 24GB of memory,".
  • Bolt E4B 4GB erschien am 23. Oktober. Es ist ein 8B-Modell mit 4B effektiven Parametern, das auf Googles Gemma 4 E4B mit Nemotron-Post-Training aufbaut, für "fast local voice assistants, interactive characters and embedded interfaces."
Diagramm, das Nemotron 3.5 Bolt in zwei Modelle aufteilt: Bolt 74B-A9B für lokale Agenten in 24GB mit Text-, Bild- und Videoeingabe sowie Bolt E4B für Sprache und Geräte in etwa 4GB
Diagramm, das Nemotron 3.5 Bolt in zwei Modelle aufteilt: Bolt 74B-A9B für lokale Agenten in 24GB mit Text-, Bild- und Videoeingabe sowie Bolt E4B für Sprache und Geräte in etwa 4GB

Hier sind die Spezifikationen im direkten Vergleich:

SpezifikationBolt 74B-A9B 24GBBolt E4B 4GB
Veröffentlicht15. Oktober 202623. Oktober 2026
Parameter74B insgesamt, 9B aktiv pro Token8B insgesamt, 4B effektiv
GrundlageNemotron 3.5 Super VL (120B), komprimiertGemma 4 E4B, nachtrainiert
ArchitekturHybrides Mixture-of-Experts aus Mamba-2 und TransformerGemma 4 E4B
Gewichtsformat2-Bit-Experten (IQ2_XXS), 22.1GB4-Bit (Q4_K_M)
EingabenText, Bilder, Video (MP4 bis zu 2 Minuten)Text
KontextfensterBis zu 256K Token64K Token
ZielhardwareRTX Spark, DGX Spark, GeForce RTX, RTX PROGeForce RTX, Jetson, RTX/DGX Spark
LizenzOpenMDW-1.1OpenMDW-1.1, plus Apache 2.0 für die Gemma-Basis

Bei beiden lässt sich Reasoning ein- oder ausschalten, und das 74B-Modell unterstützt Tool-Aufrufe und JSON-Ausgabe. Wenn Sie offene Veröffentlichungen wie Meta Muse Spark Open oder Kimi K3 verfolgt haben, liegt der Unterschied hier im Einsatzziel: Bolt ist für einen einzelnen Rechner gebaut, nicht für ein Rechenzentrum.

Wie bringt NVIDIA ein 74B-Modell in 24GB unter?

Die Kurzfassung: groß anfangen, beschneiden, dann jede Zahl verkleinern. NVIDIAs Forschungsseite formuliert das Ziel klar: "fit into 24GB of memory and achieve a decoding speed of at least 80 TPS, while maximizing intelligence." Vier Schritte führen dorthin.

  1. Ein größeres Modell komprimieren. Bolt beginnt als Super VL, das 120B Parameter hat und 22 Experten pro Token auswählt. NVIDIAs Star Elastic-Methode beschneidet es auf 74B und legt die Expertenzahl auf 9 fest. Allein das kostet laut technischem Bericht 2.85 Punkte durchschnittliche Genauigkeit, 4,94 % im Vergleich zum Ausgangsmodell.
  2. Mit Training reparieren. Bolt erhält anschließend 120B Token Wiederherstellungstraining, eine erneut angebundene Bildverarbeitung, überwachtes Fine-Tuning und Reinforcement Learning. Die Bildverarbeitung braucht es am dringendsten: Die Komprimierung senkte den WebArena-Wert von 57.4 auf 1.35, und das Training brachte ihn zurück auf etwa 50.
  3. Die Experten auf 2 Bit quantisieren. Die Expertengewichte werden mit jeweils 2.0625 Bit gespeichert. Dabei kommt quantisierungsbewusste Destillation zum Einsatz, damit das kleine Modell lernt, bei dieser Präzision mit dem großen mitzuhalten. Die Mamba-Schichten verwenden 4-Bit-NVFP4, während Attention und Embeddings bei 8-Bit bleiben. Das reduziert das Modell von 148GB auf 22.1GB, "an 85.1% reduction in size. This quantization is lossy by design," sagt NVIDIA.
  4. Einen Drafter für mehr Geschwindigkeit hinzufügen. Ein separates Modell mit 1.13B Parametern namens LiLiCorr sagt mehrere Token voraus, und das Hauptmodell überprüft sie. So erreicht NVIDIA 84 Token pro Sekunde auf RTX Spark.

NVIDIA setzt darauf, dass ein großes, auf 2-Bit geschrumpftes Modell ein kleines, mit 4-Bit trainiertes Modell schlägt. Das ist das Gegenteil davon, wie die meisten lokalen Modelle gebaut werden, und die neue Idee in dieser Veröffentlichung.

Eine Fußnote zu den „24GB“ im Namen: Die Speichertabelle im technischen Bericht ergibt für reinen Text 23.83GB. Der Vision-Encoder benötigt zusätzlich 1.68GB.

Gestapelter Balken zum Speicherbudget von Bolt 74B: 17.05GB für Expertengewichte, 2.47GB für Mamba-Schichten, 2.49GB für sonstige Gewichte und 1.83GB für Laufzeit und Drafter, womit das 24GB-Kartenlimit erreicht wird, während die Bildverarbeitung weitere 1.68GB darüber hinaus benötigt
Gestapelter Balken zum Speicherbudget von Bolt 74B: 17.05GB für Expertengewichte, 2.47GB für Mamba-Schichten, 2.49GB für sonstige Gewichte und 1.83GB für Laufzeit und Drafter, womit das 24GB-Kartenlimit erreicht wird, während die Bildverarbeitung weitere 1.68GB darüber hinaus benötigt

Auf einer 24GB-Karte betreiben Sie also Textagenten. Wenn Sie auch die Bild- und Videofähigkeiten nutzen möchten, planen Sie etwas mehr Spielraum ein. Unsloths Anleitung für den lokalen Betrieb empfiehlt ohnehin 24 bis 32GB Speicher.

Wie gut ist Nemotron 3.5 Bolt wirklich?

Schauen Sie sich zwei Ranglisten an: die unabhängige und NVIDIAs eigene.

Die unabhängige Bewertung. Artificial Analysis bewertet Bolt 74B mit 21.4 im Intelligence Index, "placing 4th among models under 100B parameters and first among US models in that class." Das liegt höchstens 2 Punkte hinter Nemotron 3 Ultra (23), einem Modell mit etwa siebenmal so vielen Parametern. Bolt schlägt Ultra sogar bei AutomationBench-AA (15,5 % gegenüber 3,0 %).

Artificial Analysis Intelligence Index für Modelle unter 100B Parametern, mit Nemotron 3.5 Bolt 74B-A9B bei 21 hinter Qwen3.8 27B bei 34, entnommen aus Artificial Analysis
Artificial Analysis Intelligence Index für Modelle unter 100B Parametern, mit Nemotron 3.5 Bolt 74B-A9B bei 21 hinter Qwen3.8 27B bei 34, entnommen aus Artificial Analysis

Schauen Sie aber auf die linke Seite dieses Diagramms. Qwen3.8 27B erreicht 34. Bolt ist das beste US-Modell seiner Klasse, nicht das beste Modell seiner Klasse.

NVIDIAs eigene Tabelle. Die Modellkarte lässt das 2-Bit-Bolt gegen drei vergleichbare Mixture-of-Experts-Modelle mit voller Präzision antreten:

BenchmarkBolt 74B 24GB (2-Bit)Qwen3.6 35B-A3BGemma 4 26B-A4BNemotron 3.5 Lightning
GDPVal-AA-V2 (reale Arbeitsaufgaben)28.4725.7515.3318.26
Terminal-Bench 2.150.9844.3837.2223.46
Tau3 Banking (Kundenservice)17.0110.5214.029.48
GPQA Diamond86.4383.4079.6175.57
BrowseComp66.7548.7426.3036.81
PinchBench87.8288.0774.7083.43
AA-Omniscience-Genauigkeit16.9019.4722.1716.63
IFBench (Befolgen von Anweisungen)66.1763.7177.2572.88

Gegen diese drei gewinnt Bolt in den meisten Zeilen, und das mit 2-Bit zu schaffen, ist beeindruckend. Die Tabelle lässt aber das dichte Qwen3.8 27B aus. NVIDIAs eigener technischer Bericht zeigt es bei 44.5 auf GDPVal v2 gegenüber Bolts 28.5, bei ungefähr einem Drittel der Geschwindigkeit. Das ist ein fairer Kompromiss, aber Sie müssen das PDF lesen, um ihn zu sehen.

Zwei weitere Kostenpunkte sollten Sie kennen:

  • 2-Bit hat seinen Preis. Gegenüber Bolts eigenen Gewichten mit voller Präzision sinkt GDPVal laut technischem Bericht von 31.13 auf 28.47 und die Omniscience-Genauigkeit von 21.80 auf 16.90.
  • Es redet viel. Artificial Analysis zählte 82k Ausgabe-Token pro Index-Aufgabe, 1,8x so viele wie bei Super VL und 2,9x so viele wie bei Ultra. Lokal kostet das Zeit statt Geld, aber es bleibt Zeit.

Wie schnell ist es auf echter Hardware?

NVIDIAs eigene Geschwindigkeitstabelle ist zurückhaltender als die Beiträge zur Veröffentlichung. Auf RTX Spark mit llama.cpp läuft Bolt laut Forschungsseite mit 83.99 Token pro Sekunde, gegenüber 96.63 für Qwen3.6 35B-A3B, 100.56 für Gemma 4 26B-A4B und 28.26 für Qwen3.8 27B. Es ist also langsamer als die kleinen Mixture-of-Experts-Modelle, die es bei der Genauigkeit schlägt, und etwa 3x schneller als das dichte Modell, das es schlägt.

Nutzer mit größeren Karten sehen deutlich mehr:

Reddit

"343 tok/s median with the LiLiCorr drafter (DFlash, n_max 6, about 55% of drafted tokens accepted), 166 tok/s without it. 25.0 GiB at 32K with the drafter and the projector, 22.7 GiB without the drafter."

Das ist auf einer RTX 5090. Beachten Sie die 25GB, sobald Bildverarbeitung und Drafter geladen sind. Auf einer 16GB-Karte berichtete ein Nutzer von etwa 45 Token pro Sekunde, indem er einen Teil des Modells in den Arbeitsspeicher auslagerte. Mac-Nutzer haben es derzeit schwerer:

Hacker News

"Nemotron Bolt appears to be really quite good but unfortunately it is quite slow on macOS/Metal in llama.cpp at the moment because of lack of support for a tensor type (or something… not sure I understand)."

Was kostet Nemotron 3.5 Bolt?

Die Gewichte sind kostenlos, und das ist die gesamte Preisliste. Stand 27. Oktober 2026 hat keines der beiden Bolt-Modelle eine kostenpflichtige gehostete API. Es ist weder auf OpenRouter noch auf DeepInfra gelistet, NVIDIAs build.nvidia.com-Seite für das 74B-Modell liefert einen 404 zurück, und Artificial Analysis gibt "No publicly available API." an.

ZugangswegBolt 74B-A9B 24GBBolt E4B 4GB
Offene GewichteKostenlos, OpenMDW-1.1Kostenlos, OpenMDW-1.1
Von NVIDIA gehostetNicht verfügbarKostenloser Testendpunkt unter NVIDIAs API Trial Terms
OpenRouter, DeepInfraNicht gelistetNicht gelistet
Lokaler Download22GB (2-Bit-GGUF)6.18GB (4-Bit-GGUF, Unsloth)
Speicher für den Betrieb24 bis 32GBEtwa 4GB Grafikspeicher

Wenn Sie lieber pro Token bezahlen möchten, gibt es die Geschwistermodelle als gehostete Angebote. Auf OpenRouter ist Super VL mit 0,15 $ pro Million Eingabe-Token und 0,50 $ für die Ausgabe gelistet, Lightning mit 0,07 $ und 0,20 $. Wenn Sie ein gehostetes Modell planen, vergleicht mein Leitfaden zum besten KI-Modell für Supporttickets auch die geschlossenen Optionen, etwa Claude Haiku 5.5 und Gemini 3.8 Flash.

Die Lizenz ist die andere Hälfte der Kostenfrage, und sie fällt positiv aus. OpenMDW-1.1 erlaubt die Nutzung "without restriction,", schränkt Ausgaben nicht ein und hat weder eine Nutzerobergrenze noch eine Richtlinie zur akzeptablen Nutzung. Bei der Weiterverbreitung behalten Sie die Hinweise bei, und Ihre Rechte enden, wenn Sie klagen und behaupten, das Modell verletze ein Patent oder Urheberrecht. Ein Reddit-Kommentator nannte sie "an Apache styled license,", was es ziemlich gut trifft.

Wie betreiben Sie es?

Sie haben mehr Optionen als bei den meisten Veröffentlichungen am ersten Tag. NVIDIA und seine Partner lieferten:

  • Ollama: ollama run nemotron-3.5-bolt lädt den 25GB-Build mit 256K Kontext und Bildeingabe herunter. Ollama listet auch einzeilige Startbefehle für Claude Code, OpenCode, Hermes Agent und OpenClaw.
  • llama.cpp: NVIDIAs eigenes GGUF plus eine separate Drafter-Datei. Laut NVIDIA ist der Build "optimized for use on RTX Spark with llama.cpp and DGX Spark with vLLM."
  • vLLM: benötigt einen Nightly-Build und unterstützt derzeit nur GPUs der Blackwell-Generation.
  • LM Studio, Unsloth und ein Canonical-Snap runden das Angebot ab.

Der eigentliche Anwendungsfall ist die Einbindung in eine lokale Agenten-Laufzeitumgebung. NVIDIA wirbt damit, Bolt Projekte "from researching the web to writing to debugging code," zu übergeben, ohne die Arbeit in die Cloud zu schicken. Die Nutzer, denen es am besten gefällt, geben ihm eine eng umrissene Aufgabe mit einem klaren Ziel:

Reddit

"I really don't hate this model. I was expecting to, it's a 2 bit quant for fucks sakes, but it seems to do really well when it's got some tools, a defined goal and a success condition such as 'compile works and tests pass'."

Was sagen die ersten Tester?

Die Reaktion auf r/LocalLLaMA ist positiv, aber mit klaren Grenzen. Vier Themen tauchten immer wieder auf.

Der 2-Bit-Trick funktioniert besser als erwartet. Ein Kommentator bezeichnete "74GB QAT coming in at 24GB on disk" als "pretty incredible" und sagte, es "has a decent chance of retiring Qwen3.6-35B for some people." Ein anderer setzt es bei der Arbeit zur Faxverarbeitung ein, wo es sein bisheriges Bildverarbeitungsmodell im direkten Vergleich schlug.

Bei echter Arbeit liegt es unter dem dichten Qwen 3.8 27B. Der sorgfältigste Test, den ich fand, führte 33 Infrastrukturaufgaben auf einer RTX 5090 aus:

Reddit

"26 of 33 passed, with the LiLiCorr drafter on. On the same tasks the same day qwen3.8:27b passed 32, qwen3.6:27b 31, gemma4:31b and glm-4.7-flash 29, qwen3.6:35b and gemma4:12b 27."

Ein zweiter Tester führte 36 Aufgaben im Blindtest gegen Gemma 31B durch und fand Bolt "about 3.5 times faster, but it made up more problems that weren't there."

Es erkundet viel. Derselbe Tester mit den 33 Aufgaben stellte fest, dass 54 % seiner Tool-Aufrufe Prüfungen und Diagnosen waren, und fasste es so zusammen: "Careful, and expensive in turns." Ein anderer Nutzer beobachtete, dass es die Docker-Anweisung in seiner AGENTS.md-Datei übersprang.

Sicherheit ist ein echtes Fragezeichen. Dieser Punkt ist für alles mit direktem Kundenkontakt am wichtigsten:

Reddit

"It is not safe for an agent; it failed 6/21 jailbreak tests. Qwen3.8 Flash and 27 B failed none."

Es ist der Test einer einzelnen Person, und eine Antwort im selben Thread brachte den berechtigten Einwand: "If you're relying on model weights to protect you from hostile content, you're doing it wrong." Beides stimmt.

Waage, die die Gründe für Nemotron 3.5 Bolt, kostenlose offene Gewichte, eine einzelne 24GB-GPU und lokal bleibende Daten, gegen die zuerst zu prüfenden Punkte abwägt: Rückstand auf Qwen 3.8 27B, 6 von 21 erfolgreichen Jailbreaks und 82k Token pro Aufgabe
Waage, die die Gründe für Nemotron 3.5 Bolt, kostenlose offene Gewichte, eine einzelne 24GB-GPU und lokal bleibende Daten, gegen die zuerst zu prüfenden Punkte abwägt: Rückstand auf Qwen 3.8 27B, 6 von 21 erfolgreichen Jailbreaks und 82k Token pro Aufgabe

Was ist mit Bolt E4B?

Bolt E4B sollten Sie im Auge behalten, wenn Sie Sprach- oder Geräteprodukte entwickeln. NVIDIAs E4B-Seite verspricht "~40 % higher average quality" gegenüber dem vorherigen 4B-Modell und "up to ~80% fewer tokens vs peers," und nennt "customer service" als einen seiner Einsatzbereiche für Sprachassistenten. Es hat einen Konversationsmodus, der Antworten kurz genug zum Vorlesen hält, und unterstützt 35 Sprachen.

NVIDIA-Diagramm zum Benchmark-Durchschnitt im Verhältnis zur Zeit bis zum ersten Token für kleine Modelle, mit Nemotron 3.5 Bolt E4B 4GB bei 70.2 in der intelligenten und schnellen Ecke, entnommen aus NVIDIA Research
NVIDIA-Diagramm zum Benchmark-Durchschnitt im Verhältnis zur Zeit bis zum ersten Token für kleine Modelle, mit Nemotron 3.5 Bolt E4B 4GB bei 70.2 in der intelligenten und schnellen Ecke, entnommen aus NVIDIA Research

Es ist schnell. Auf einer RTX 5070 gibt es sein erstes Token nach 548 Millisekunden zurück und läuft mit 133.4 Token pro Sekunde bei 3.5GB Grafikspeicherverbrauch. Selbst ein Jetson Orin Nano schafft 15.5 Token pro Sekunde.

Die Benchmark-Tabelle zeigt überwiegend Siege, aber eine Zeile sollten Supportteams beachten:

BenchmarkBolt E4BQwen 3.5 4BGemma 4 E4B
IHEval (Anweisungshierarchie)84.860.667.0
RoleMRC80.665.874.6
RAGTruth F177.675.677.0
BFCL-v3 (Tool-Aufrufe)68.570.966.4
Tau2-Bench (Kundenaufgaben)55.175.138.5

Qwen 3.5 4B schlägt es auf Tau2-Bench um 20 Punkte, dem Benchmark, der einen Agenten simuliert, der Kundenanfragen gemäß einer Unternehmensrichtlinie bearbeitet. Wenn Sie einen Sprachagenten für den Kundensupport entwickeln, testen Sie beide.

Eignet sich Nemotron 3.5 Bolt für den Kundensupport?

Für einen Teil des Supports eignet es sich gut, und für den Teil, den die meisten meinen, ist es eine riskante Wahl.

Der gute Teil: Daten im Unternehmen behalten. Ein Modell, das auf einem einzelnen Rechner mit einer freizügigen Lizenz läuft, beantwortet die Frage „Wohin gehen unsere Daten?“ eindeutig. Für interne Arbeit, etwa Tickets zusammenzufassen, sie zu klassifizieren oder Antwortentwürfe zu erstellen, die ein Supportmitarbeiter prüft, ist ein lokales Bolt eine vernünftige Engine. Sein Tau3-Banking-Wert (17.01) schlägt jedes vergleichbare Modell in NVIDIAs Tabelle.

Der riskante Teil: Kunden direkt antworten. 17 % in einem Benchmark für Kundenservice im Bankwesen ist absolut gesehen immer noch wenig. Dazu kommen eine gemeldete Fehlerquote von 6 bei 21 Jailbreak-Tests und die Gewohnheit, mit zusätzlichen Tool-Aufrufen zu erkunden. Damit haben Sie ein Modell, das viel unterstützende Infrastruktur braucht, bevor es mit einem Kunden spricht. Jede Kundennachricht ist eine nicht vertrauenswürdige Eingabe.

Was diese unterstützende Infrastruktur leisten muss, ist der Teil, mit dem ich meine Tage verbringe. eesel hat früh gelernt, dass ein falsches Detail schlimmer ist als gar keine Antwort. Deshalb wird jede Einführung anhand historischer Tickets simuliert, bevor eine KI einem echten Kunden antwortet. Einer der Kunden, über die wir berichtet haben, ein Unternehmen für Industrieautomatisierung, betreibt einen Chat, der seinen Ingenieuren ausschließlich auf Grundlage seiner technischen Dokumente antwortet und angibt, woher jede Antwort stammt. Keine Antwort zu finden, ist dort ein akzeptables Ergebnis. Das ist eine Eigenschaft des Systems rund um das Modell, nicht der Gewichte. Unser Leitfaden zur Vermeidung von KI-Halluzinationen im Support behandelt die Schutzmechanismen ausführlicher.

Mein Fazit also: Wenn Sie Entwickler, eine NVIDIA-GPU mit 24GB+ und einen Grund haben, Daten lokal zu halten, ist Bolt ein Wochenende wert. Es ist nichts, das Sie am Montag auf Ihre Zendesk-AI-Warteschlange loslassen. Wenn Sie stattdessen fertige Tools vergleichen, beginnen Sie mit meiner Übersicht über KI-Helpdesk-Software.

Wer sollte Nemotron 3.5 Bolt nutzen?

So würde ich entscheiden:

  • Sie betreiben lokale Programmier- oder Rechercheagenten auf einer GPU. Genau dafür wurde Bolt 74B gebaut. Geben Sie ihm Tools und eine klare Erfolgsbedingung.
  • Sie müssen Daten von der Cloud fernhalten. Regulierte Daten, ein Vertrag, der externe KI-Verarbeiter verbietet, oder ein Laptop im Flugzeug. Die Lizenz und der Speicherbedarf von 24GB machen die Entscheidung leicht zu begründen.
  • Sie entwickeln Sprach-, Spiele- oder Geräteprodukte. Bolt E4B ist bewusst schnell, klein und kurz angebunden.
  • Sie möchten das intelligenteste Modell, das in 24GB passt. Schauen Sie sich zuerst Qwen3.8 27B an und akzeptieren Sie, dass es etwa 3x langsamer ist. Oder wählen Sie ein gehostetes Angebot mit Qwen3.8 Flash-Next oder DeepSeek V4 Flash.
  • Sie benötigen diese Woche eine gehostete API. Bolt hat keine. Nutzen Sie stattdessen Nemotron 3.5 Super VL, das auf OpenRouter verfügbar ist.

Testen Sie eesel

Nemotron 3.5 Bolt ist Infrastruktur: kostenlose Gewichte, eine GPU und ein Wochenende Einrichtung. Den Informationsabruf, die Eskalationsregeln, die Tests und das Audit-Protokoll müssten Sie trotzdem noch bauen. eesel ist der Mitarbeiter. Unser KI-Helpdesk-Teamkollege lässt sich an Zendesk, Freshdesk, Gorgias und die übrigen Systeme anbinden, lernt aus Ihren bisherigen Tickets und Ihrem Hilfecenter und antwortet ausschließlich auf Grundlage Ihres eigenen Wissens. Bevor er auch nur einem Kunden antwortet, können Sie ihn mit Hunderten Ihrer historischen Tickets testen und sehen, was er gesagt hätte.

So setzt Dokument 24 ihn in Zendesk ein: In einem Monat bereitete der Teamkollege 680 Tickets für das Team vor und hinterließ 670 Antwortentwürfe auf Dänisch als interne Notizen, bereit zum Senden oder Bearbeiten.

Übersicht des eesel AI Helpdesk-Dashboards mit verbundenen Wissensquellen und Ticketaktivitäten
Übersicht des eesel AI Helpdesk-Dashboards mit verbundenen Wissensquellen und Ticketaktivitäten

Wenn Sie Agenten gern über ein Terminal steuern, so wie ein lokales Modell, bedienen Sie mit der eesel CLI denselben Teamkollegen. Sie können seine dauerhaften Anweisungen lesen und bearbeiten, Aktionen auflisten, die auf eine menschliche Genehmigung warten, und das Aktivitätsprotokoll jedes Durchlaufs prüfen. Dazu kommen JSON-Ausgabe und Testläufe für Schreibvorgänge, sodass ein Programmieragent wie Claude Code Ihren Support-Teamkollegen neben Ihrem Repository verwalten kann. Wenn Sie Inhalte schreiben, statt Tickets zu beantworten, gehört zum selben Team auch ein KI-Blogautor.

Der Einstieg ist kostenlos. Testen Sie eesel mit den Tickets des letzten Monats, bevor Sie dafür eine 24GB-Karte kaufen, und sehen Sie sich die Tarife auf der Preisseite an.

Häufig gestellte Fragen

Was ist Nemotron 3.5 Bolt?
Nemotron 3.5 Bolt ist eine Familie aus zwei Modellen mit offenen Gewichten von NVIDIA. Bolt 74B-A9B 24GB (veröffentlicht am 15. Oktober 2026) ist ein Modell mit 74B Parametern, das aus Nemotron 3.5 Super VL komprimiert und auf 2-Bit quantisiert wurde, damit es für lokale KI-Agenten auf eine 24GB-GPU passt. Bolt E4B 4GB (veröffentlicht am 23. Oktober 2026) ist ein kleines Konversationsmodell auf Basis von Googles Gemma 4 E4B für Sprachassistenten und Geräte.
Wie viel kostet Nemotron 3.5 Bolt?
Die Gewichte beider Bolt-Modelle sind unter der OpenMDW-1.1-Lizenz kostenlos verfügbar. Stand 27. Oktober 2026 gibt es für keines der beiden Modelle eine kostenpflichtige gehostete API auf OpenRouter, DeepInfra oder im Anbieter-Tracker von Artificial Analysis. NVIDIA betreibt nur für Bolt E4B einen kostenlosen Test-Endpunkt. Ihre tatsächlichen Kosten für Bolt 74B entstehen durch die GPU, auf der Sie es betreiben. Preise für gehostete Modelle finden Sie in meinem Leitfaden zum besten KI-Modell für Support-Tickets.
Welche Hardware brauche ich, um Nemotron 3.5 Bolt lokal auszuführen?
NVIDIA hat Bolt 74B für RTX Spark-Laptops, DGX Spark, GeForce RTX-PCs und RTX PRO-Workstations entwickelt. Die 2-Bit-Gewichte sind 22.1GB groß, das vollständige reine Textpaket umfasst 23.83GB. Eine 24GB-Karte ist also das Minimum; der Vision-Encoder benötigt zusätzlich 1.68GB. Unsloth empfiehlt 24 bis 32GB Speicher. Bolt E4B benötigt bei 4-Bit etwa 4GB Videospeicher.
Ist Nemotron 3.5 Bolt besser als Qwen 3.8 27B?
Nicht bei der Qualität. NVIDIAs eigener technischer Bericht gibt für Qwen3.8 27B bei GDPVal v2 einen Wert von 44.5 an, gegenüber 28.5 für Bolt. Ein Reddit-Tester bewältigte mit Qwen 3.8 27B 32 von 33 realen Infrastrukturaufgaben, gegenüber 26 mit Bolt. Bolts Vorteil ist die Geschwindigkeit: etwa 84 Tokens pro Sekunde auf RTX Spark gegenüber 28 bei Qwen 3.8 27B. Vergleichen Sie es auch mit Qwen3.8 Flash-Next.
Ist Nemotron 3.5 Bolt Open Source?
Beide Modelle werden mit offenen Gewichten unter OpenMDW-1.1 bereitgestellt, einer kurzen, freizügigen Lizenz, die kommerzielle Nutzung, Modifikation und Weiterverbreitung ohne Einschränkungen für die Ausgaben erlaubt. Bei der Weiterverbreitung müssen Sie die Lizenz und Hinweise beibehalten. Ihre Rechte erlöschen, wenn Sie mit der Behauptung klagen, das Modell verletze ein Patent oder Urheberrecht. Für Bolt E4B gelten außerdem die Apache 2.0-Bedingungen seiner Gemma 4-Basis. Es ist eine der offeneren Optionen unter den Open-Source-KI-Agenten.
Kann ich Nemotron 3.5 Bolt für den Kundensupport nutzen?
Sie können darauf aufbauen, sollten es aber zuerst gründlich testen. Bolt 74B erreicht beim Tau3-Benchmark für Kundenservice im Bankwesen 17.01, liegt damit vor ähnlich großen Vergleichsmodellen, aber in absoluten Zahlen niedrig. Bei einem Reddit-Tester scheiterte es zudem an 6 von 21 Jailbreak-Tests. Bolt E4B liegt bei Tau2-Bench mit 55.1 gegenüber 75.1 hinter Qwen 3.5 4B. Wenn Sie möchten, dass KI Tickets beantwortet, ohne den Technologie-Stack selbst aufzubauen, ist ein KI-Teammitglied für den Helpdesk der schnellere Weg. Informieren Sie sich in jedem Fall über KI-Halluzinationen im Support.
Wie schnell ist Nemotron 3.5 Bolt?
NVIDIA hat bei Bolt 74B auf RTX Spark mit seinem LiLiCorr-Drafter für spekulatives Decoding 83.99 Tokens pro Sekunde gemessen. Das ist langsamer als Qwen3.6 35B-A3B (96.63) und Gemma 4 26B-A4B (100.56), aber etwa 3x so schnell wie das dichte Modell Qwen3.8 27B (28.26). Reddit-Nutzer berichten mit dem Drafter von etwa 343 Tokens pro Sekunde auf einer RTX 5090. Bolt E4B erreicht auf einer RTX 5070 133.4 Tokens pro Sekunde.

Share this article