Ein tiefer Einblick in Cognition AI Bewertungen: Hype vs. Realität

Als Cognition AI die Demo für Devin veröffentlichte, hielt die Tech-Welt praktisch den Atem an. Angepriesen als der "erste KI-Softwareentwickler", löste er eine massive Welle der Aufregung, einige ziemlich hitzige Debatten und vielleicht auch ein wenig existenzielle Angst bei Entwicklern weltweit aus.

Auf der einen Seite gab es diese raffinierten Demos, die zeigten, wie Devin ganze Apps aus nur einem einzigen Satz erstellte. Auf der anderen Seite begannen immer mehr Leute, Lücken in der Geschichte zu finden und zu hinterfragen, ob die Realität den revolutionären Behauptungen überhaupt standhalten könne.

Das Ganze ist ein ziemlicher Wirbelwind, und wenn Sie versuchen, Fakten von Fiktion zu trennen, sind Sie definitiv nicht allein. Dieser Artikel soll Licht ins Dunkel bringen. Wir werden uns die Demos, die Benchmarks und die öffentlichen Bewertungen von Cognition AI genau ansehen, um Ihnen einen ehrlichen, ausgewogenen Überblick darüber zu geben, was Devin derzeit kann und was nicht.

Was ist Devin AI?

Zuerst einmal wollen wir die offizielle Geschichte direkt von der Quelle hören. Cognition Labs nennt Devin einen "vollständig autonomen KI-Softwareentwickler". Dies ist nicht nur ein weiteres dieser Code-Autovervollständigungstools, die während des Tippens Vorschläge machen. Während Helfer wie GitHub Copilot großartig sind, um das Schreiben von Code-Schnipseln zu beschleunigen, ist Devin darauf ausgelegt, das gesamte Projekt selbst zu bewältigen.

Sie geben ihm eine Aufgabe, und dann können Sie ihm buchstäblich bei der Arbeit zusehen. Er öffnet eine vertraut aussehende Entwicklungsumgebung mit einer Befehlszeile, einem Code-Editor und einem Browser. Von dort aus beginnt er, seine Strategie zu planen, Dokumentationen nachzuschlagen, den eigentlichen Code zu schreiben, Fehler zu beheben, sobald sie auftreten, und das fertige Produkt bereitzustellen.

Die große Idee dahinter ist, dass Devin den gesamten Arbeitsablauf eines menschlichen Entwicklers nachahmen soll, indem er ein übergeordnetes Problem annimmt und es mit sehr wenig Hilfe in eine funktionierende Lösung umwandelt. Das ist ein gewaltiger Sprung über die reine Code-Unterstützung hinaus; es ist ein ernsthafter Versuch, einen unabhängigen Agenten für die Softwareentwicklung zu schaffen.

Der Hype: Was Devin versprach

Der Rummel um Devin entstand nicht aus dem Nichts. Die anfänglichen Demos und Leistungsstatistiken, die Cognition veröffentlichte, waren wirklich beeindruckend und fühlten sich wie ein großer Fortschritt dessen an, was KI leisten kann.

Apps aus einer einzigen Anweisung erstellen

Ehrlich gesagt, die Launch-Videos waren fesselnd. In einer Demo sieht man, wie Devin eine voll spielbare Version des Klassikers Pong entwickelt. In einer anderen erstellt er eine ganze Website von Grund auf in weniger als 20 Minuten. Aber das Coole war nicht nur das Endprodukt, sondern der Prozess dabei zu beobachten.

Die Videos zeigten, wie Devin seine Aufgaben aufschlüsselte, seinen Browser benutzte, um nach Dokumentationen zu suchen, und seinen eigenen Code umschrieb, wenn er auf ein Problem stieß. Es schien, als ob er während des Prozesses lernte, seine eigenen Fehler behob und Herausforderungen meisterte – alles Dinge, die ein menschlicher Entwickler jeden Tag tut. Diese Fähigkeit, ein kompliziertes, mehrstufiges Projekt aus einer einzigen Anweisung zu verwalten, brachte wirklich alle ins Gespräch und löste die erste Welle der Begeisterung aus.

Ernsthaft beeindruckende Benchmark-Ergebnisse

Um das zu untermauern, was sie in den Demos zeigten, verwies Cognition auf ihre Ergebnisse im SWE-bench-Benchmark. Dies ist ein Test, der KI-Systemen reale Probleme aus Open-Source-GitHub-Projekten gibt und sie auffordert, diese zu beheben. Laut ihrem technischen Papier gelang es Devin, 13,86 % dieser Probleme von Anfang bis Ende korrekt zu lösen.

Nun mögen 13,86 % allein nicht wie eine bahnbrechende Zahl klingen, aber es war eine massive Verbesserung gegenüber früheren Modellen, die kaum 2 % erreichten. Dies war nicht nur ein kleiner Schritt nach oben; es war eine fast siebenfache Verbesserung bei einem Test, der darauf ausgelegt ist, die Komplexität der realen Welt nachzuahmen. Es deutete darauf hin, dass sich grundlegend etwas daran geändert hatte, wie diese KI schlussfolgern, planen und ihre Werkzeuge einsetzen konnte.

Modell	SWE-bench-Ergebnis (ohne Unterstützung)
Devin	13,86 %
Claude 2	4,80 %
Vorheriger SOTA	1,96 %

Der Realitätscheck: Devins Grenzen

Als die anfängliche Aufregung nachließ, begann die Community, etwas genauer hinzusehen. Detaillierte Analysen, Foren-Threads und Entwickleranalysen zeichneten ein komplizierteres Bild. Es wurde klar, dass es eine Lücke zwischen den aufpolierten Demos und der tatsächlichen Leistung von Devin gab.

Erzählen die Demos die ganze Geschichte?

Eine der detailliertesten Kritiken kam vom YouTube-Kanal "Internet of Bugs", der Devins virale Upwork-Demo Bild für Bild durchging. Was sie fanden, warf einige große Fragen darüber auf, wie die Aufgabe aufgebaut und präsentiert wurde.

Die Untersuchung brachte einige wichtige Punkte ans Licht:

• Die Aufgabe wirkte handverlesen: Die Aufgabe, an der Devin arbeitete, schien perfekt auf seine Fähigkeiten zugeschnitten zu sein, fast so, als wäre sie speziell ausgewählt worden, um Devin im bestmöglichen Licht zu zeigen, und nicht wie ein typischer Freelance-Auftrag.

• Das Debugging war etwas merkwürdig: An bestimmten Stellen im Video sah es so aus, als ob Devin tatsächlich selbst Fehler in den Code einbaute, nur um sie dann später "eindrucksvoll" zu finden und zu beheben.

• Der Zeitablauf war stark bearbeitet: Was in der Demo wie ein reibungsloser und schneller Prozess aussah, war in Echtzeit wahrscheinlich viel langsamer. Es ist wahrscheinlich, dass lange Pausen und fehlgeschlagene Versuche herausgeschnitten wurden, um es effizienter aussehen zu lassen.

Diese Punkte bedeuten nicht, dass Devin ein Fake ist, aber sie deuten darauf hin, dass die Demos eher wie ein sorgfältig zusammengestelltes Highlight-Reel waren als ein typischer Arbeitstag für die KI.

Die 86%ige Fehlerquote und das Kontextproblem

Kommen wir für einen Moment auf das SWE-bench-Ergebnis zurück. Eine Erfolgsquote von 13,86 % ist eine fantastische technische Leistung. Aber dreht man es um, ist es auch eine Fehlerquote von 86,14 %. Für ein Werkzeug, das ein autonomer Ingenieur sein soll, sind das eine ganze Menge ungelöster Probleme.

Dies unterstreicht ein größeres Problem, auf das viele Entwickler in den Bewertungen von Cognition AI hingewiesen haben: die "Kontextlücke". Die Softwareentwicklung in der realen Welt ist chaotisch. Sie ist voller vager Anfragen von Kunden, unausgesprochener Annahmen und ständigem Hin und Her mit Teammitgliedern. Ein Bug-Ticket enthält fast nie alle Informationen, die man zur Behebung benötigt. Ein menschlicher Ingenieur muss Nachfragen stellen, die geschäftlichen Gründe für eine Funktion verstehen und auf der Grundlage von Erfahrung Urteile fällen.

Wie eine Person in den freeCodeCamp-Foren es ausdrückte, fehlt Devin einfach dieser Kontext. Er ist brillant darin, eine perfekt definierte Aufgabe auszuführen, aber er gerät ins Straucheln, wenn er auf die Art von Mehrdeutigkeit stößt, die Teil fast jeder echten Ingenieuraufgabe ist.

Eher ein kluger Praktikant

Nach all den Tests und Analysen bildet sich in der Entwickler-Community der Konsens, dass Devin weniger ein unabhängiger Senior-Ingenieur ist und mehr ein super-fortgeschrittener Praktikant, der immer noch Aufsicht benötigt.

Er kann ein erstaunliches Werkzeug für die Bewältigung spezifischer, klar definierter Aufgaben sein. Aber er braucht immer noch einen Menschen, der ihm klare Anweisungen gibt, seine Arbeit im Auge behält und eingreift, wenn er stecken bleibt – was den Zahlen zufolge die meiste Zeit der Fall ist. Der Traum, einer KI eine vage Geschäftsidee zu geben und ein fertiges Softwareprodukt zurückzubekommen, ist vorerst nur ein Traum.

Über den Ingenieur hinaus: Lektionen von agentenbasierter KI

Die ganze Geschichte von Devin bietet eine wirklich wichtige Lektion für jedes Unternehmen, das über die Einführung von KI nachdenkt. Es ist verlockend, den großen Wurf zu wagen, den vollständig autonomen Agenten, der über Nacht eine ganze Abteilung ersetzen kann. Aber der wirkliche, unmittelbare Wert liegt nicht darin, komplexe, kreative Jobs zu ersetzen. Er liegt in der Automatisierung der richtigen Art von Arbeit.

Die Lehre aus Devin: Mit strukturierten, wiederholbaren Aufgaben beginnen

Die erfolgreichsten Einführungen von KI-Agenten, die man heute sieht, konzentrieren sich auf hochvolumige, strukturierte Prozesse, bei denen die Regeln klar sind und die Ergebnisse leicht zu messen sind. Ein perfektes Beispiel ist der Kundensupport oder ein interner IT-Helpdesk. Jeden Tag bearbeiten diese Teams Tausende ähnlicher Anfragen: "Ich muss mein Passwort zurücksetzen", "Wo ist meine Bestellung?" oder "Wie behebe ich dieses häufige Problem?"

Dies sind die idealen Umgebungen für die KI-Automatisierung. Die Probleme sind gut definiert, die Antworten finden sich normalerweise bereits in einer Wissensdatenbank oder in früheren Support-Tickets, und der Erfolg lässt sich leicht an Dingen wie der Lösungsgeschwindigkeit und der Kundenzufriedenheit messen. Hier können KI-Agenten sofort enorme, greifbare Erträge liefern.

Ein Workflow-Diagramm, das veranschaulicht, wie KI strukturierte, hochvolumige Aufgaben wie den Kundensupport automatisieren kann.

Die Notwendigkeit von Kontrolle und Simulation

Devins "Black-Box"-Ansatz, bei dem man einen Befehl gibt und die Daumen drückt, sorgt für eine coole Demo, ist aber für ein echtes Unternehmen etwas furchteinflößend. Wenn man mit echten Kunden oder geschäftskritischen Systemen zu tun hat, kann man sich eine Fehlerquote von 86 % einfach nicht leisten. Man braucht Zuverlässigkeit, Aufsicht und vollständige Kontrolle.

An dieser Stelle bietet eine Plattform wie eesel AI einen viel praxisnäheren Weg, um mit der Automatisierung zu beginnen. Sie ist von Grund auf so konzipiert, dass sie Unternehmen die Werkzeuge an die Hand gibt, die sie benötigen, um KI-Agenten sicher und effektiv einzusetzen.

• In Minuten live gehen, nicht in Monaten: Der Zugang zu Devin ist immer noch sehr begrenzt und geheimnisvoll. Im Gegensatz dazu ist eesel AI vollständig selbstbedienbar. Sie können es mit nur wenigen Klicks mit Ihrem Helpdesk, wie Zendesk oder Freshdesk, und all Ihren Wissensquellen verbinden. Sie müssen keine obligatorischen Verkaufsgespräche oder langwierigen Onboardings durchlaufen.

• Testen ohne Risiko: Eines der besten Dinge an eesel AI ist sein leistungsstarker Simulationsmodus. Bevor Ihr KI-Agent mit einer einzigen realen Person spricht, können Sie ihn mit Tausenden Ihrer vergangenen Support-Tickets testen. Dies gibt Ihnen eine klare, genaue Vorhersage seiner Leistung und ermöglicht es Ihnen, sein Verhalten in einer völlig sicheren Umgebung anzupassen.

• Sie sitzen am Steuer: Sie erhalten nicht nur einen unvorhersehbaren Agenten. Stattdessen bietet Ihnen eesel AI einen vollständig anpassbaren Workflow-Builder. Sie entscheiden genau, welche Arten von Tickets die KI bearbeitet, welche Persönlichkeit und welchen Ton sie haben soll und welche spezifischen Aktionen sie ausführen darf, sei es die Eskalation eines Tickets an einen menschlichen Agenten oder das Nachschlagen von Bestellinformationen in Ihrem Shopify-Store.

Der Simulationsmodus von eesel AI ermöglicht es Unternehmen, ihren KI-Agenten mit vergangenen Daten zu testen und so eine klare Prognose seiner Leistung zu erhalten, bevor er live geht.

Devins Preis: Was wir wissen

Aktuell hat Cognition AI keine öffentlichen Preise für Devin veröffentlicht. Dies ist ziemlich üblich für neue, hochwertige KI-Tools, die auf große Unternehmen abzielen. Es bedeutet mit ziemlicher Sicherheit, dass der Zugang einen langwierigen Verkaufsprozess mit Verträgen erfordert, die wahrscheinlich bei zehntausenden von Dollar pro Jahr oder mehr beginnen.

Für die meisten Unternehmen ist ein solches Modell einfach nicht praktikabel. Sie benötigen eine transparente und vorhersehbare Preisgestaltung, die es Ihnen ermöglicht, klein anzufangen, den Nutzen zu beweisen und zu skalieren, ohne an einen massiven Vertrag gebunden zu sein oder von überraschenden Gebühren getroffen zu werden.

Ist Devin die Zukunft der Softwareentwicklung?

Also, was ist das endgültige Urteil über Devin? Es ist unbestreitbar eine bemerkenswerte Technologie. Sie markiert einen echten Fortschritt in der Fähigkeit der KI, komplexe, mehrstufige Aufgaben zu bewältigen, und gibt uns einen aufregenden Einblick in eine Zukunft, in der autonome Agenten ein wichtiger Teil unserer Arbeit sind.

Aber wie die Bewertungen von Cognition AI und die kritischen Analysen gezeigt haben, ist die Realität vor Ort etwas komplizierter. Devin ist ein beeindruckendes Werkzeug, aber es ist nicht der autonome Ersatz für menschliche Entwickler, als der er ursprünglich dargestellt wurde. Für Unternehmen, die heute echte, konkrete Ergebnisse von KI erzielen wollen, sollte der Fokus wahrscheinlich nicht auf dem futuristischen Mondschuss liegen. Er sollte auf praktischer, kontrollierbarer und zuverlässiger Automatisierung für die Aufgaben liegen, die geradezu danach schreien.

Ihr nächster Schritt: Automatisieren Sie Workflows, die Sie kontrollieren können

Wenn Sie bereit sind, den Hype hinter sich zu lassen und einen KI-Agenten zu nutzen, der Ihnen die volle Kontrolle gibt, schauen Sie sich an, wie eesel AI Ihre Kundensupport- oder internen Helpdesk-Workflows in nur wenigen Minuten automatisieren kann.