Devin Fusion im Test: Lohnt sich Cognitions günstigeres Harness?

Was Devin Fusion ist, in einem Satz

Vor dem Test die Sache selbst. Devin ist Cognitions autonomer KI-Softwareentwickler, das Produkt, dem du ganze Tickets überträgst, statt Zeile für Zeile zu vervollständigen. Fusion ist eine Änderung daran, wie Devin läuft: Statt ein teures Modell auf jeden Schritt anzusetzen, lässt es zwei Modelle gleichzeitig laufen und leitet die Arbeit zwischen ihnen weiter. Cognition hat es am 29. Juni 2026 angekündigt und noch am selben Tag als Preview in Devin ausgeliefert.

Cognitions Formulierung ist wie üblich unverblümt: „Engineering-Teams verbrennen Geld. Es ist nicht länger nachhaltig, für jede Aufgabe die teuersten Modelle zu verwenden." Der Satz, der mir im Gedächtnis blieb: „Man fährt ja auch nicht mit einem Lamborghini zum Supermarkt, warum also ein Modell nehmen, das Zero-Day-Schwachstellen entdecken kann, nur um die Ecke eines Buttons abzurunden?" Fusion ist die produktisierte Antwort darauf, und sie landet auf dem Rücken eines großen Jahres, Cognition sammelte im Mai über 1 Mrd. $ bei einer Bewertung von 26 Mrd. $ ein und integrierte die alte Windsurf-IDE als „Devin Desktop" in die Produktlinie.

Hier ist meine Bewertungskarte für den Rest dieses Tests, damit du weißt, wo ich lande, bevor es in die Details geht:

Wie der Sidekick tatsächlich funktioniert

Der Kernmechanismus ist das, was Cognition den „Sidekick"-Ansatz nennt, und es lohnt sich, ihn zu verstehen, denn er ist cleverer als das naive Modell-Routing, das die meisten Tools ausliefern.

Zwei voll leistungsfähige Agenten laufen parallel. Ein Hauptagent auf einem Frontier-Modell (denk an Opus 4.8 oder GPT-5.5) und ein kleinerer, günstigerer Sidekick-Agent, jeder mit seinem eigenen persistenten, gecachten Kontext. Der Hauptagent sollte gemäß Cognitions abgestimmtem Muster „minimale Aktionen ausführen... Standardmäßig sollte er delegieren und überwachen, während er die wesentlichen Entscheidungen trifft: den Plan, die Interpretation von Mehrdeutigkeit, die abschließende Prüfung." Der Sidekick erledigt die Fleißarbeit, Code-Exploration, breite Änderungen, das Schreiben von Tests, das Beheben von Lint.

Warum lässt man nicht einfach ein Frontier-Modell ein günstigeres „um Hilfe bitten", so wie frühere Tools es taten? Cache Misses. Wenn ein Frontier-Agent ein separates Beratermodell abfragt, sendet er jedes Mal seinen gesamten Kontext zum vollen Preis erneut. Fusion umgeht das: Beide Agenten behalten ihren eigenen gecachten Kontext, sodass Delegieren kein kostspieliges erneutes Senden auslöst. Die zweite Technik ist dynamisches Mid-Session-Routing, leichtgewichtige Klassifikatoren laufen während der Ausführung und können eine kämpfende Sidekick-Aufgabe zurück an den Hauptagenten eskalieren, und der Wechsel geschieht während der Kontext-Kompaktierung (die ohnehin einen Cache Miss auslöst), sodass der Modellwechsel praktisch kostenlos ist. Es ist dieselbe Idee der agentischen Reasoning-Schleife hinter modernen Agenten, angewandt darauf, welches Modell jeden Zug ausführt. Als Ingenieur respektiere ich diesen Teil am meisten; es ist eine echte System-Antwort, keine Marketing-Umdeutung.

Die 35-%-Behauptung, gegen die Vorbehalte getestet

Nun die Zahl, die alle als Screenshot teilen. Cognition hat Fusion auf FrontierCode gebenchmarkt, einem neuen Eval, das es mit über 20 Open-Source-Maintainern gebaut hat und das misst, ob Code tatsächlich mergebar ist, nicht nur, ob er einen Test besteht. Hier der Schlagzeilen-Ausschnitt (FrontierCode Extended, Score gegenüber durchschnittlichen Kosten pro Aufgabe):

Die Geschichte: Fusion erreicht 47,9 bei 2,38 $ pro Aufgabe und liegt damit grob gleichauf mit Opus 4.8 bei 48,8, während es etwa ein Drittel weniger kostet. Cognition rundet das auf eine 35-%-Kostenverbesserung „bei gleichbleibender Performance auf Frontier-Niveau" auf.

Zwei Vorbehalte, bevor du diesem Diagramm vertraust. Erstens: Das ist ein Hersteller-Benchmark auf einem herstellereigenen Eval, was ein gutes Signal ist, aber nicht dasselbe wie unabhängige Tests. Zweitens: Die auffälligere „41 % günstiger"-Zahl braucht Anthropics Fable 5, und der Zugang zu Fable 5 wurde am 12. Juni 2026 ausgesetzt unter einer Anweisung der US-Regierung, also wurden diese Zahlen vor dem Stichtag gemessen und sind heute nicht reproduzierbar. Die aktuelle Zahl ist die 35-%-Zahl. Cognition sagt außerdem, dass 88 % seiner eigenen gemergten Pull Requests vollständig vom Fusion-Router gesteuert wurden, nachdem er eingeschaltet wurde, was ein echtes Signal ist, aber es ist Cognition, das auf Cognitions eigener Codebasis dogfooded, die ungefähr freundlichste Testumgebung, die es gibt.

Der ehrlichste und für mich nützlichste Teil der Ankündigung war, dass Cognition die Aufgaben veröffentlicht hat, bei denen der Sidekick schadete. Das Modernisieren einer JS-Datei auf ES6 fiel 62 % günstiger aus, bei gleichbleibender Qualität. Eine veraltete Bibliothek aus einer Go-Codebasis herauszureißen lief 32 % günstiger. Aber bei einem schwierigen Front-End-Feature, bei dem das Urteilsvermögen das Ergebnis war, ließ das Delegieren den Qualitäts-Score von 54 auf 27 abstürzen. Ihre eigene Zusammenfassung: „Wenn das Urteilsvermögen das Ergebnis ist, geht Delegieren nach hinten los." Das ist der Satz, den ich dem gesamten Produkt anheften würde.

Wo der Test weniger schmeichelhaft wird: Zuverlässigkeit und Nachweis

Fusion zielt auf Kosten ab. Es zielt nicht auf die zwei Beschwerden ab, die Devin seit zwei Jahren begleiten, und ein fairer Test muss das klar sagen.

Die erste ist Zuverlässigkeit. Das Häufigste, was echte Nutzer berichten, ist, dass die Autonomie überverkauft ist und die Realität eine Korrekturschleife ist:

„Das Versprechen war volle Autonomie, aber die Realität beinhaltet immer noch viel Babysitting. Du gibst ihm eine Aufgabe, es entgleist, du korrigierst es, es kommt einigermaßen wieder in die Spur. Und so weiter." - r/ChatGPTCoding

Der schärfste Erfahrungsbericht aus erster Hand, den ich fand, ist eine G2-Bewertung eines Testautomatisierungs-Ingenieurs, der Devin insgesamt 5/5 gab, aber offen über das Abdriften sprach: „Sobald der ACU-Verbrauch etwa 40 oder 50 erreicht, verliert Devin wirklich den Faden. Es fängt an, die anfänglichen Anweisungen zu ignorieren... Es fühlt sich an, als würde das Modell müde." Derselbe Rezensent monierte Scope Creep, „es beschloss, unsere zentralen vorgefertigten Methoden zu refactorn... obwohl es nur ein einfaches Testskript schreiben sollte", und liebte es dennoch für parallele Arbeit: „Ich kann fünf verschiedene Sessions parallel laufen lassen." Diese zweiseitige Lesart ist die faire, und günstigere Tokens beheben offensichtlich keinen der Negativpunkte.

Die zweite Lücke ist der Nachweis. Fusion ist erst Tage alt, deshalb ist die Community-Reaktion auf Fusion speziell dünn und größtenteils positiver Launch-Kommentar, auf r/AIDeveloperNews war die Lesart, dass „die Architektur tatsächlich ziemlich clever ist." Das ist ermutigend, aber „clevere Architektur" und „zuverlässig in meinem Repo über sechs Wochen" sind unterschiedliche Behauptungen, und nur eine davon ist gerade jetzt testbar.

Was echte Nutzer wirklich über Devin sagen

Zoomen wir von Fusion weg, und Devin trägt eine Menge Altlasten mit sich, von denen einige inzwischen in eine Comeback-Geschichte umgeschlagen sind. Die anhaltende Legacy-Kritik ist der unabhängige Test vom März 2024, bei dem Devin 3 von 20 Aufgaben abschloss, was das Internet als Fake-Demo abstempelte. 2026 taucht dieser Satz meist zustimmend auf:

„Im März 2024 sagten unabhängige Tester, Devin habe 3 von 20 Aufgaben abgeschlossen. Das Internet nannte es eine Fake-Demo. Zwei Jahre später codet dieses Produkt für die US Army." - @aakashgupta auf X

Es gibt auch einen echten Strang an Markenskepsis, den man hören sollte, denn er ist das Gegengewicht zum Hype:

„Devin? Das ist ein Name, den ich lange nicht gehört habe... in diesem Zeitalter von Claude Code und Codex, nutzt überhaupt jemand Devin, oder kennt jemand jemanden, der es tut?" - libraryofbabel auf Hacker News

Und echtes Lob von Leuten, die den passenden Anwendungsfall fanden, besonders für Devins Review-Tooling:

„Ich nutze Devin Review seit einer Weile, und ich denke, es ist der erste der vielen ‚Code-Review'-LLM-Bots, der... sich nicht aktiv wie ‚Slop' anfühlt. Mein Lieblingsfeature war das Organisieren der Dateien nach ‚logischem Fluss' statt alphabetisch." - samyok auf Hacker News

Devin-Preise: was du tatsächlich zahlst

Fusion wird innerhalb von Devin ausgerollt, also sind die Preise, auf die du triffst, Devins Preise. Hier sind die aktuellen Devin-Preise:

Eine Feinheit, über die Leute stolpern: Devin rechnete Self-Serve-Pläne früher in undurchsichtigen „ACUs" (Agent Compute Units) ab, das Metering hinter den meisten der Preisbeschwerden auf Hacker News. Seit März 2026 ist Self-Serve auf ein token-basiertes Kontingentmodell umgestiegen, und ACUs sind jetzt ein rein enterprise-seitiges Metering ohne veröffentlichten öffentlichen Dollar-Satz. Wenn du Kosten vergleichst, geht mein Cognition-AI-Preisguide die Historie durch, und es lohnt sich, ihn zu lesen, bevor du annimmst, dass eine Pro-ACU-Zahl, die du online gesehen hast, noch gilt.

Wer Devin Fusion nutzen sollte und wer es überspringen sollte

Hier lande ich als Rezensent, sauber getrennt.

Greif zu, wenn du viel mechanische, musterfolgende Arbeit fährst, Refactorings, Abhängigkeitswechsel, Migrationen, Test-Scaffolding, und deine Frontier-Token-Rechnung steigt. Das ist genau die Form von Aufgabe, bei der der Sidekick in Cognitions eigenen Daten gewinnt, und wo die 35 % am glaubwürdigsten sind. Wenn du bereits im Devin-Ökosystem bist, ist das Einschalten von Fusion ein risikoarmes Experiment.

Überleg zweimal, wenn deine typische Aufgabe urteilslastiges Feature-Design ist (Cognitions eigene Zahlen zeigen dort, dass Delegieren nach hinten losgeht), wenn du dich schon einmal daran gestört hast, dass Devin bei langen autonomen Sessions abdriftet, oder wenn du erprobte, unabhängig getestete Zuverlässigkeit brauchst, bevor du einem Agenten in der Produktion vertraust. In diesen Fällen ist der kluge Zug, ein paar Wochen auf reale Tests zu warten, und es in der Zwischenzeit gegen Cursor, Windsurf und OpenAI-Codex-Alternativen mit meinem Guide zu KI-Coding-Assistenz-Tools abzuwägen.

Die Lektion, wenn du keinen Code schreibst

Hier ist der Teil, der mir am wichtigsten ist, denn Fusions Kernidee reicht weit über das Coding hinaus. „Das Zeitalter, ein Modell für alles zu verwenden, geht zu Ende" ist überall wahr, wo Agenten echte Arbeit leisten, einschließlich Kundensupport. Eine Passwort-zurücksetzen-FAQ und ein nuancierter Abrechnungsstreit brauchen nicht dasselbe Modell, und Frontier-Preise für die einfachen 80 % zu zahlen, ist genau das „Geld verbrennen"-Problem, das Cognition beschreibt, nur in einer anderen Warteschlange.

Die Falle ist, dass die meisten Support-KI-Anbieter das verstecken. Sie metern rohe Modellnutzung oder berechnen pro Lösung und leiten still alles zu dem, was am günstigsten ist, um die Marge zu schützen, das Deflection-Rate-als-Vanity-Metrik-Spiel. Das bessere Modell ist das, auf das Fusion hindeutet: das Modell an die Aufgabe anpassen und den Käufer für das Ergebnis zahlen lassen, nicht für die Tokens. Das ist dieselbe Kostenlogik, die ich verwende, wenn ich über Agenten irgendwo nachdenke.

Probiere eesel

Ich arbeite an eesel AI, und das ist genau das Problem, um das wir bauen, nur für Support- und interne Teams statt für Pull Requests. eesel ist ein KI-Teammitglied, das sich in dein bestehendes Helpdesk einklinkt, aus deinen vergangenen Tickets und Hilfe-Dokumenten lernt und Tier-1-Arbeit so erledigt, wie Fusion mechanisches Coding erledigt: Der Routinekram wird automatisch gelöst, die wirklich schwierigen, urteilslastigen Tickets werden mit vollem Kontext an einen Menschen eskaliert. Dasselbe Sidekick-Prinzip, andere Warteschlange.

Zwei Dinge lassen die Analogie halten. Erstens kannst du auf deinen historischen Tickets simulieren, bevor du live gehst, sodass du die Lösungsrate und die Kosten auf deinen eigenen Daten siehst, statt einem Hersteller-Benchmark zu vertrauen, was genau der unabhängige Test ist, den Fusion noch nicht hat. Zweitens ist die Preisgestaltung nutzungsbasiert bei etwa 0,40 $ pro gelöstem Ticket ohne Gebühren pro Platz, sodass du für das Ergebnis zahlst, nicht dafür, dass ein großes Modell bei einfachen Fragen im Leerlauf läuft. Du kannst eesel kostenlos ausprobieren, ohne Verkaufsgespräch.