Fehleranalyse im Kundensupport: So finden und beheben Sie, warum Support-Antworten danebengehen

Kira
Geschrieben von

Kira

Katelin Teen
Geprüft von

Katelin Teen

Zuletzt bearbeitet October 5, 2026

Expertengeprüft
Handgezeichnete Illustration: Eine Support-Leiterin sortiert mit einer Lupe falsche Ticket-Antworten in Behälter für Wissen, Quellen, Richtlinien und Übergabe, während zwei Kollegen zusehen

Was ist Fehleranalyse im Kundensupport?

Fehleranalyse im Kundensupport ist eine wiederholbare Prüfung falscher oder schwacher Support-Antworten: Jeder Fehler bekommt ein Ursachen-Label, die Labels werden gezählt, und die häufigste Ursache wird an der Quelle behoben. Sie funktioniert gleich, ob die Antwort von einem Mitarbeiter, einem Makro oder einem KI-Agenten kam.

Der Begriff stammt aus dem maschinellen Lernen, wo es der Schritt ist, den Leute überspringen. Ein Hacker-News-Kommentator brachte es vor mehr als zehn Jahren deutlich auf den Punkt:

Hacker News

"3) Do error analysis/run diagnostics. Go to 1. It is the last step I find inexperienced people usually lacking. You need to examine your errors and find commonalities among them."

Das ist die ganze Idee. Eine falsche Antwort ist eine Anekdote. Vierzig falsche Antworten, in Blöcke sortiert, sind eine To-do-Liste.

Man verwechselt sie leicht mit der Support-QA, deshalb hier, wie ich beide trenne:

Support-QAFehleranalyse
Frage, die sie beantwortetWie gut war die Antwort dieses Mitarbeiters?Warum gehen Antworten schief, und wo?
PrüfeinheitEin Mitarbeiter, eine BewertungskarteEin Fehler, eine Ursache
StichprobeZufällige oder zugewiesene TicketsTickets, die bereits schiefgegangen sind (Wiedereröffnungen, schlechte CSAT, Eskalationen, abgelehnte Entwürfe)
ErgebnisEine Bewertung und Coaching-NotizenEine gerankte Liste von Ursachen, jede mit einem Verantwortlichen
Wer es behebtDer MitarbeiterWer die Ursache verantwortet: der KB-Autor, der Richtlinien-Verantwortliche, der KI-Admin, das Produktteam

QA bleibt wichtig. Fehleranalyse ist das, was Sie mit den Fehlern tun, die die QA findet, damit sie sich nicht wiederholen. Ich baue bei eesel KI-Agenten, und die nützlichste Stunde bei jedem Rollout ist die, in der jemand 50 fehlgeschlagene Tickets liest und aufschreibt, warum jedes gescheitert ist.

Warum die meisten Support-Fehler nicht am Mitarbeiter liegen

Wenn ein Kunde eine falsche Antwort bekommt, ist der Instinkt, den Absender zu suchen. Aber liest man, was Mitarbeiter über ihre eigenen Fehler sagen, zeigt sich schnell ein Muster: Der Mitarbeiter hat mit schlechten Informationen gearbeitet.

Reddit

"Yes..and they're always outdated never load.. and if you have questions the supervisor will always refer you back there and give you a bad review saying you must not have checked it."

Richtlinienänderungen sind der klassische Fall. Das Update landet in einer E-Mail oder einem Chat-Kanal, und der Artikel in der Wissensdatenbank ändert sich nicht:

Reddit

"Emails get buried so fast man I swear I will find a important update like 3 days later after already giving wrong info to 10 customers. The knowledge base is good when they actually update it but half the time someone forgot to change the article"

Eine falsche Antwort, zehn Kunden. Den Mitarbeiter zu coachen behebt nichts, denn der nächste Mitarbeiter liest denselben veralteten Artikel. In einem anderen Thread beschrieb ein Mitarbeiter, wie er um Hilfe bat, bei einer Frage zu einem Rabatt: Der Vorgesetzte sagte 30 $ im Monat, ein Kollege sagte, es gebe keinen Rabatt, ein anderer sagte die Hälfte, und ein Coach brauchte zehn Minuten, um zu bestätigen, dass es die Hälfte ist. Drei Personen, drei Antworten. Das ist eine fehlende zentrale Wahrheitsquelle, kein nachlässiger Mitarbeiter. Mein Leitfaden zum Management von Richtlinienänderungen zeigt, wie Sie das an der Quelle stoppen.

KI-Agenten scheitern genauso, nur schneller. Als der Support-Bot von Cursor Nutzern erklärte, ein Logout sei eine neue „One-Device“-Richtlinie, behandelte Hacker News das als KI-Halluzinationsgeschichte. Cursors Mitgründer erklärte im Thread die eigentliche Ursache:

Hacker News

"For context, this user's complaint was the result of a race condition that appears on very slow internet connections. The race leads to a bunch of unneeded sessions being created which crowds out the real sessions. We've rolled out a fix."

Der Bot hatte kein Dokument, das den Fehler erklärte, also erklärte er das Symptom mit etwas Plausiblem. Die falsche Antwort war das letzte Glied einer Kette, die mit einem Produktfehler begann, den niemand dokumentiert hatte. Wenn Sie nur „die KI reparieren“, übersehen Sie den Teil, der wirklich kaputt war. Mein Beitrag zu KI-Halluzinationen im Support geht tiefer auf dieses Muster ein.

Und manchmal ist der „Fehler“ gar keiner. Hier die Aufschlüsselung aus dem E-Commerce-Test, in dem Mitarbeiter einen eesel-Entwurf unverändert senden oder umschreiben konnten. Nur 12 % der Entwürfe gingen bei 284 Chats unverändert raus, was schrecklich klingt, bis man sich ansieht, warum:

Handgezeichnetes Balkendiagramm, warum Mitarbeiter KI-Entwürfe umgeschrieben haben: etwa 65 % zu lang oder falscher Ton, etwa 20 % fehlende Bestell- oder Systemdaten, etwa 5 % sachlich falsch
Handgezeichnetes Balkendiagramm, warum Mitarbeiter KI-Entwürfe umgeschrieben haben: etwa 65 % zu lang oder falscher Ton, etwa 20 % fehlende Bestell- oder Systemdaten, etwa 5 % sachlich falsch

Mitarbeiter machten aus Entwürfen mit 8 bis 15 Sätzen typischerweise Antworten mit 1 bis 3 Sätzen. Die meisten Umschreibungen waren ein Stilproblem, lösbar durch Training mit den gesendeten Antworten des Teams und eine klare KI-Markenstimme. Etwa ein Fünftel brauchte Daten aus Systemen, die noch nicht angebunden waren. Das „Genauigkeitsproblem“ war größtenteils ein Längenproblem und ein Datenzugriffsproblem. Genau dafür ist die Fehleranalyse da: Sie verhindert, dass Sie einen Monat lang Hilfeartikel umschreiben, obwohl die echte Lösung „halte es auf drei Sätze“ und „binde das Bestellsystem an“ lautet.

Die sechs Stellen, an denen eine Support-Antwort danebengeht

Jede falsche Antwort hat einen ersten Fehler. Der Trick ist, beim ersten aufzuhören, denn alles danach ist eine Folge. Wenn die KI den falschen Artikel gezogen hat, spielt es keine Rolle, dass die Antwort auch zu lang war.

Handgezeichnete Kette aus fünf Prüfpunkten, durch die eine falsche Antwort zurückverfolgt wird: Frage verstanden, richtige Quelle gefunden, Quelle korrekt und aktuell, Richtlinie befolgt, bei Bedarf übergeben, jeweils mit der passenden Korrektur
Handgezeichnete Kette aus fünf Prüfpunkten, durch die eine falsche Antwort zurückverfolgt wird: Frage verstanden, richtige Quelle gefunden, Quelle korrekt und aktuell, Richtlinie befolgt, bei Bedarf übergeben, jeweils mit der passenden Korrektur

Ich nutze sechs Blöcke: die fünf Prüfpunkte oben plus einen sechsten für Antworten, die korrekt sind, aber nicht ankommen. Wählen Sie einen Block, um zu sehen, wie er aussieht, wie Sie ihn erkennen und wer ihn behebt.

BeispielEin Kunde fragt, wie er ein einzelnes Add-on kündigt. Die Antwort erklärt, wie man das gesamte Konto kündigt.
So erkennen Sie esDie Antwort stimmt, aber für eine andere Frage. Der Kunde antwortet „das habe ich nicht gefragt“.
Wer es behebtDer KI-Admin oder Teamleiter.
KorrekturFügen Sie eine Regel hinzu, eine Rückfrage zu stellen, wenn zwei Anliegen ähnlich aussehen. Taggen Sie das ähnliche Paar, damit Sie es zählen können.
BeispielEin Kunde fragt nach Lieferzeiten in die EU. Die Antwort nennt den US-Versandartikel, der zwar korrekt ist, aber nicht für ihn.
So erkennen Sie esDer richtige Artikel existiert, aber die Antwort zitiert oder paraphrasiert einen anderen. Prüfen Sie die Quellen, die der Mitarbeiter oder die KI genutzt hat.
Wer es behebtDer KB-Verantwortliche.
KorrekturBenennen Sie überlappende Artikel um und teilen Sie sie, entfernen Sie Beinahe-Duplikate und ergänzen Sie Region oder Tarif in den Titeln, damit die Suche sie unterscheiden kann.
BeispielDie Rückgabefrist wurde letzten Monat von 30 auf 14 Tage verkürzt. Der Artikel sagt noch 30, also sagt jede Antwort 30.
So erkennen Sie esDie Antwort entspricht genau der Quelle, und die Quelle ist falsch, veraltet oder schweigt. Mehrere Mitarbeiter machen denselben Fehler.
Wer es behebtWer die Richtlinie verantwortet, plus der KB-Autor.
KorrekturAktualisieren oder schreiben Sie den Artikel und synchronisieren Sie dann jede Stelle, an der er kopiert ist: Makros, KI-Quellen, gespeicherte Antworten.
BeispielEin Kunde will kündigen, weil die App abstürzt. Die Antwort führt die Kündigung durch, ohne zuerst den Absturz zu beheben.
So erkennen Sie esErfahrene Mitarbeiter sagen „das machen wir nie“, aber es steht nirgends geschrieben. Die Regel lebt in den Köpfen.
Wer es behebtDer Support-Leiter.
KorrekturSchreiben Sie die Regel als einfachen Satz in Ihre SOP und in die Anweisungen der KI: „Erst Fehler beheben, dann kündigen.“
BeispielEin Kunde erwähnt eine Rückbuchung. Der Bot antwortet weiter, statt das Ticket an die Abrechnung zu geben.
So erkennen Sie esDas Gespräch ist lang, der Kunde verlangt einen Menschen, oder die Antwort versucht etwas, das nur ein Mensch genehmigen kann.
Wer es behebtDer KI-Admin oder Helpdesk-Admin.
KorrekturNehmen Sie das Thema in Ihre Übergaberegeln auf und prüfen Sie, ob das Routing es an die richtige Gruppe schickt. Siehe meinen Leitfaden zur KI-Eskalation.
BeispielDie Antwort ist korrekt, aber 12 Sätze lang und beginnt mit einer Entschuldigung für nichts Bestimmtes.
So erkennen Sie esMitarbeiter schreiben den Entwurf um, ohne die Fakten zu ändern. CSAT-Kommentare sagen „verwirrend“ oder „nicht alles gelesen“.
Wer es behebtDer Teamleiter, über den Tonleitfaden.
KorrekturLegen Sie pro Tickettyp ein Längenlimit fest und trainieren Sie mit den besten gesendeten Antworten Ihres Teams. Siehe meinen Beitrag zum Tonleitfaden.

Beachten Sie, dass nur der erste Block davon handelt, wie die Frage gelesen wurde. Die Blöcke zwei bis fünf betreffen Wissen, Regeln und Routing, also Dinge, die ein Support-Leiter einmal ändern und damit für alle beheben kann. Deshalb zahlt sich Fehleranalyse schneller aus als das Coaching einzelner Mitarbeiter: Eine Artikelkorrektur kann denselben Fehler bei allen Mitarbeitern und der KI gleichzeitig stoppen.

So führen Sie eine Fehleranalyse im Kundensupport in 7 Schritten durch

Den ersten Durchgang schaffen Sie in etwa zwei Stunden. Danach ist es eine wöchentliche Routine von 30 Minuten.

  1. Ziehen Sie die Fehlschläge, keine zufällige Stichprobe. Wiedereröffnete Tickets, schlechte CSAT, Eskalationen von der KI, Tickets, bei denen ein Mitarbeiter einen KI-Entwurf abgelehnt oder umgeschrieben hat, und wiederholte Kontakte innerhalb weniger Tage. Zendesk Explore hat dafür die Kennzahlen Reopens und One-touch tickets, und mein Leitfaden zur Kennzahl wiedereröffneter Tickets zeigt, wie Sie sie filtern.
  2. Nehmen Sie 50. Weniger, und eine seltsame Woche verzerrt alles. Mehr, und niemand wird fertig. Bei geringem Volumen nehmen Sie alles aus dem letzten Monat.
  3. Lesen Sie jedes und labeln Sie den ersten Fehler. Nutzen Sie die sechs Blöcke oben. Ein Label pro Ticket. Wenn Sie sich nicht in 30 Sekunden entscheiden können, labeln Sie es „unklar“ und gehen weiter.
  4. Zählen Sie die Blöcke. Dieser Schritt ändert Meinungen. Aus „Die KI ist schlecht“ wird „14 von 50 waren derselbe veraltete Retouren-Artikel“.
  5. Beheben Sie den größten Block an der Quelle. Schreiben Sie den Artikel um, schreiben Sie die Regel in Ihre Support-SOPs, ändern Sie das Routing. Geben Sie jeder Korrektur einen Verantwortlichen und ein Datum.
  6. Spielen Sie vergangene Tickets erneut durch, um die Korrektur zu prüfen. Geben Sie dieselbe Art Frage erneut an Ihren Agenten oder Ihre KI und sehen Sie, ob sich die Antwort geändert hat. Warten Sie nicht einfach auf die Tickets der nächsten Woche.
  7. Wiederholen Sie es wöchentlich und verfolgen Sie die Block-Verteilung. In einem gesunden Programm schrumpft der größte Block, und ein neuer nimmt seinen Platz ein.
Handgezeichneter Wochenzyklus: 50 Tickets ziehen, ersten Fehler labeln, Blöcke zählen, größten Block beheben, vergangene Tickets erneut durchspielen
Handgezeichneter Wochenzyklus: 50 Tickets ziehen, ersten Fehler labeln, Blöcke zählen, größten Block beheben, vergangene Tickets erneut durchspielen

Schritt eins ist der, an dem die meisten Teams stillschweigend scheitern, weil die naheliegende Kennzahl lügt. Ein Ticket, das die KI „gelöst“ hat, kann trotzdem ein Fehlschlag sein:

Reddit

"Don't track deflection without tracking subsequent contact. A bot might "successfully" complete a chat, but if the user submits an email ticket 20 mins later – that bot was trash. You have to analyze repeat contact rates to get true transparency."

Auch HubSpots eigene Doku macht denselben Punkt: Deflections „do not always indicate resolution“, da ein Kunde einfach gehen kann (HubSpot knowledge base). Gleichen Sie also Bot-Gespräche mit Folgetickets desselben Kunden ab, bevor Sie einer Lösungsrate trauen. Mein Beitrag zum Messen von KI-Deflection behandelt den Abgleich.

Für Schritt vier genügt anfangs eine einfache Strichliste. Ein IT-Manager auf Reddit beschrieb genau das: zählen, wie viele Tickets auf dieselbe Ursache zurückgehen, und die Punkte verbinden, ohne das Team jedes Mal durch ein vollständiges „5 Whys“ zu schicken. Sind die Blöcke stabil, übertragen Sie sie in Ihren Helpdesk als Tags oder QA-Ursachen, damit das Zählen von selbst läuft. Mein Leitfaden zur Support-Ticket-Analyse enthält eine Vorlage für die Zähltabelle.

So analysieren Sie Fehler eines KI-Support-Agenten

Fehleranalyse bei einem KI-Agenten ist in einem wichtigen Punkt einfacher als bei Menschen: Die KI kann ihre Arbeit zeigen. Sie sehen, was sie gesucht hat, was sie fand und warum sie ihre Antwort gewählt hat. Das bekämen Sie von einem menschlichen Mitarbeiter am Ende einer langen Schicht nie.

Der Haken: Sie müssen es tatsächlich lesen. Ein Hacker-News-Kommentator, der Agenten baut, plädierte dafür, es von Hand zu tun, selbst wenn Sie automatisches Scoring haben:

Hacker News

"there's still a huge benefit in looking at traces yourself and labeling them. It's time-consuming, yes, but you'll learn a lot about the ways an agent fails in your particular domain, it gives you more reliable golden datasets, you have a mechanism to evaluate your judges, etc."

Beim Lesen von KI-Verläufen gelten weiter die sechs Blöcke, aber die Belege sehen anders aus:

  • Frage falsch verstanden: Die genannte Absicht oder der Anwendungsfall der KI passt nicht zur Frage des Kunden.
  • Falsche Quelle: Die Quellenliste zeigt einen Artikel, der nah dran, aber falsch ist.
  • Schlechte oder fehlende Quelle: Die KI hat den richtigen Artikel zitiert und der Artikel ist falsch, oder sie fand nichts und antwortete trotzdem. Das zweite ist die gefährliche Variante. Wenn die Suche leer zurückkommt, kann ein Modell die Lücke mit allgemeinem Wissen füllen. In einem eesel-Setup für ein Fahrzeug-Telematik-Team auf Zendesk bestätigte der Bot die Unterstützung von Automodellen, die nicht in der Produktdatenbank standen, weil das Help Center „wir unterstützen alle Modelle“ sagte.
  • Richtlinie nicht befolgt: Die Regel existiert in den Köpfen Ihres Teams, aber nicht in den Anweisungen der KI.
  • Hätte übergeben müssen: Das Gespräch berührte ein Thema auf Ihrer Übergabeliste, oder hätte es tun sollen, und ging weiter. Mein Leitfaden zur KI-Übergabe behandelt, was auf diese Liste gehört.

Eine Warnung aus Erfahrung: Springen Sie nicht direkt zum Modellwechsel. Simon Willison stellte auf HN die richtige Frage: Wenn Sie das Modell ohne Evals wechseln, "how will you tell if the model switch actually helped?" Und oft ist das Modell gar nicht das Problem. Ein anderer Kommentator merkte an, dass Teams, die dem LLM die Schuld gaben, "upstream calls to services that produce data" als eigentliche Ursache fanden. Im Support-Kontext: Die Bestellabfrage lieferte nichts, also hat die KI geraten. Das ist der 20-%-Block aus dem Test oben.

Wenn Ihre KI Entwürfe für Mitarbeiter erstellt, statt direkt zu antworten, sind abgelehnte oder umgeschriebene Entwürfe kostenlose Daten für die Fehleranalyse. Behandeln Sie die Änderung als Label. Mein Leitfaden zum Trainieren eines KI-Support-Agenten behandelt, wie Sie diese Änderungen zurückspeisen.

Was jeder Helpdesk zeigt, wenn eine Antwort danebengeht

Jeder große Helpdesk bietet inzwischen eine Möglichkeit zu sehen, warum seine KI so geantwortet hat. Sie unterscheiden sich stark darin, was sie zeigen und ob Sie eine Korrektur an vergangenen Tickets testen können.

HelpdeskWo Sie das „Warum“ sehenQuellen pro Antwort angezeigt?Eingebaute UrsachencodesKorrektur an Historie testen?VoraussetzungQuelle
ZendeskKonversationsprotokolle: pro Nachricht Plan, Response before customization, aktive AnweisungenPro Konversation (Resources used), nicht pro Artikel bei einfachen WissensantwortenEigene Lösungen inkl. Unresolved, Escalation failed; QA-Ursachen mit EbenenNicht als Massenfunktion dokumentiertProtokolle in allen Suite-Tarifen; QA braucht das QA- oder WEM-Add-onZendesk-Doku
FreshdeskAI Agent Studio Analyze: Tab Improve, Knowledge usage, Ticket logsAnswer Source in Tests; Zähler pro Quelle für Antworten und FeedbackImprove-Typen: New content, Edit contentTest-Tab: bis zu 100 getippte oder generierte AnfragenGrowth, Pro, EnterpriseFreshdesk-Doku
GorgiasShow reasoning unter jeder KI-Nachricht; Tab AI FeedbackJa, mit Daumen hoch oder runter pro QuelleDropdown „What went wrong“; 3 Übergabegründe; Opportunities: Fill knowledge gap, Resolve conflictEin bestehendes Ticket nach dem anderenFeedback erfordert Lead oder AdminGorgias-Doku
HubSpotCoaching opportunities; Agent-Insights im Help DeskJa, Wissensquellen pro Antwort zitiertReason: Knowledge, Handoff, Experience, Action, OtherNicht dokumentiertPro oder Enterprise plus HubSpot CreditsHubSpot-Doku
Help ScoutTab Beacon Sessions, ImprovementsNur wenn die KI scheitert oder nachfragt (Attempted Sources)Contact helped, Contact not helped, Human escalationNicht dokumentiertAlle kostenpflichtigen Tarife, $0.75 pro KI-LösungHelp-Scout-Doku
FrontAI-Replies-HubJa, mit dem genauen Auszug aus jeder QuelleFür KI-Übergaben nicht dokumentiertEine bestehende Konversation nach der anderenCopilot- oder Autopilot-Add-on; Smart QA $20/seat/monthFront-Doku

Alle Funktionen und Voraussetzungen wurden im Oktober 2026 in der jeweiligen Herstellerdoku geprüft.

Zendesks Ansicht auf Nachrichtenebene ist für seine generativen Abläufe die detaillierteste. Das Feld Plan zeigt die Überlegung der KI, und Response before customization zeigt den Text, bevor Ihre Persona und Anweisungen angewendet wurden, woran Sie erkennen, ob eine schlechte Antwort aus der Überlegung oder aus Ihren Toneinstellungen kam:

Zendesk AI Agent Message Overview mit Use Case, Plan, Prozedurschritt, Response before customization, aktiven Anweisungen und Toneinstellungen, wie aus Zendesks Help Center entnommen
Zendesk AI Agent Message Overview mit Use Case, Plan, Prozedurschritt, Response before customization, aktiven Anweisungen und Toneinstellungen, wie aus Zendesks Help Center entnommen

Gorgias macht die Begründung für jede Rolle lesbar, was wichtiger ist, als es klingt. Wenn Mitarbeiter sehen können, warum die KI übergeben oder geantwortet hat, können sie die Ursache melden statt nur „der Bot lag falsch“:

Gorgias-Panel Show reasoning mit den Schritten des KI-Agenten bei einer Abo-Kündigung und Rückgabeanfrage, mit Vorschau der Rückgaberichtlinie, wie aus Gorgias-Doku entnommen
Gorgias-Panel Show reasoning mit den Schritten des KI-Agenten bei einer Abo-Kündigung und Rückgabeanfrage, mit Vorschau der Rückgaberichtlinie, wie aus Gorgias-Doku entnommen

HubSpot versieht jede KI-Antwort mit dem, was sie genutzt hat, oder markiert sie als Wissenslücke. Dieses Label ist im Grunde Block drei, schon für Sie erledigt:

HubSpot Help-Desk-Agent-Insights mit einer Antwort auf Basis von Contact-Us-Inhalten und einer weiteren als Knowledge gap markierten, mit den Schaltflächen Rate reply und Coach agent, wie in HubSpots Wissensdatenbank gezeigt
HubSpot Help-Desk-Agent-Insights mit einer Antwort auf Basis von Contact-Us-Inhalten und einer weiteren als Knowledge gap markierten, mit den Schaltflächen Rate reply und Coach agent, wie in HubSpots Wissensdatenbank gezeigt

Help Scout zeigt Quellen nur, wenn die KI scheitert, aber für die Fehleranalyse ist das genau der Moment, in dem Sie sie brauchen. Eine Antwort, die drei Versandartikel durchsucht hat und die Frage „Meine Bestellung kam zu spät, warum?“ trotzdem nicht beantworten konnte, deutet auf einen fehlenden Artikel hin, nicht auf ein schlechtes Modell:

Help-Scout-AI-Answers-Konversation, in der die KI eine Frage zu einer verspäteten Bestellung nicht beantworten konnte, mit den durchsuchten Versandartikeln, wie aus Help Scouts Doku entnommen
Help-Scout-AI-Answers-Konversation, in der die KI eine Frage zu einer verspäteten Bestellung nicht beantworten konnte, mit den durchsuchten Versandartikeln, wie aus Help Scouts Doku entnommen

Freshdesks Tabelle Knowledge usage ist die beste eingebaute Ansicht für Block zwei. Sie zählt, wie oft jede Quelle in Bot-Antworten genutzt wurde, neben positivem und negativem Feedback. Freshdesks eigene Empfehlung: Eine häufig zitierte Quelle mit hohem Verhältnis von negativem zu positivem Feedback ist Ihr wichtigstes Ziel für eine inhaltliche Überprüfung:

Freshdesk-Tabelle zur Nutzung von Wissensquellen mit einer URL, einem PDF und einer FAQ samt Gesamtzahl der Bot-Antworten und Zahl positiver und negativer Rückmeldungen, wie aus Freshdesks Support-Seite entnommen
Freshdesk-Tabelle zur Nutzung von Wissensquellen mit einer URL, einem PDF und einer FAQ samt Gesamtzahl der Bot-Antworten und Zahl positiver und negativer Rückmeldungen, wie aus Freshdesks Support-Seite entnommen

Zwei Dinge sollten Sie wissen, bevor Sie sich auf eines davon verlassen. Erstens erklärt Freshdesks Root Cause Analysis trotz des Namens mit einer Treemap Ticket-Spitzen, nicht einzelne falsche Antworten, und es ist nur für Enterprise. Zweitens ist die Spalte „Korrektur testen“ durchgehend die Schwachstelle. Gorgias und Front lassen Sie ein bestehendes Ticket nach dem anderen erneut durchlaufen, und Freshdesk testet getippte oder generierte Fragen. Das ist für Stichproben nützlich, sagt Ihnen aber nicht, ob die Korrektur der letzten Woche die Fehlerquote über 50 echte Tickets bewegt hat.

Wo Sie Ursachen erfassen, damit Sie sie zählen können

Das Lesen von Verläufen findet die Ursache. Zum Zählen muss die Ursache irgendwo gespeichert sein, worüber Sie berichten können. Das sind die besten eingebauten Orte, die ich gefunden habe.

Zendesk-QA-Ursachen. Prüfer können beim Bewerten einer Kategorie optional eine Ursache hinzufügen, gewählt aus einer von Ihnen definierten Liste, in Ebenen und Unterebenen organisiert und in Dashboards auswertbar. Sie ist für negative Bewertungen gedacht, genau die Stichprobe der Fehleranalyse. Dafür ist das QA- oder WEM-Add-on nötig. Meine Übersicht zu Zendesk QA und der Leitfaden zu Scorecard-Kriterien behandeln die Einrichtung.

Zendesk-QA-Prüfpanel mit Auswahl Reason for rating und den Ebenen Knowledge issue, Incorrect replies mit Generic replies und Incorrect data provided sowie Process, wie aus Zendesks Help Center entnommen
Zendesk-QA-Prüfpanel mit Auswahl Reason for rating und den Ebenen Knowledge issue, Incorrect replies mit Generic replies und Incorrect data provided sowie Process, wie aus Zendesks Help Center entnommen

Ich würde Ebenen einrichten, die den sechs Blöcken entsprechen, mit Unterebenen für Ihre häufigsten Fälle („Schlechte oder fehlende Quelle > Retouren“, „Schlechte oder fehlende Quelle > Versand“). Zendesk QA bewertet auch KI-Agenten in Scorecards und hat ein BotQA-Dashboard für Eskalations- und Bot-Wiederholungsraten, unterstützt aber nur Bots, die aus dem Zendesk Marketplace installiert wurden.

HubSpot Coaching opportunities. Jede trägt einen Reason (Knowledge, Handoff, Experience, Action, Other) und einen Type, darunter Knowledge gap, Knowledge conflict und „Flagged by Help Desk rep“. Es ist der vollständigste Satz eingebauter Ursachencodes, den ich gefunden habe, und er passt gut auf die Blöcke drei und fünf.

Gorgias AI Feedback. Bei einer Bewertung Bad oder Okay wählen Leads aus einer Liste „What went wrong“, geben einzelnen Quellen Daumen hoch oder runter und können auf das Wissen verweisen, das hätte genutzt werden sollen:

Gorgias-Tab AI Feedback mit Bewertungen Bad, Okay und Good, einem Dropdown What went wrong, Review sources used mit Daumen pro Quelle und Was relevant knowledge missing, wie aus Gorgias-Doku entnommen
Gorgias-Tab AI Feedback mit Bewertungen Bad, Okay und Good, einem Dropdown What went wrong, Review sources used mit Daumen pro Quelle und Was relevant knowledge missing, wie aus Gorgias-Doku entnommen

Fronts AI-Replies-Hub. Kein Ursachencode, aber der schnellste Korrekturweg, den ich gesehen habe: jede Quelle hinter einer Antwort, mit dem genauen Auszug, und direkte Aktionen Edit, „Stop using this fact“ und Create note.

Front-AI-Replies-Hub mit KI-Entwürfen und gesendeten Antworten und einem Seitenpanel mit den Quellen und Auszügen hinter einer Antwort sowie Links Stop using this fact, wie aus Fronts Help Center entnommen
Front-AI-Replies-Hub mit KI-Entwürfen und gesendeten Antworten und einem Seitenpanel mit den Quellen und Auszügen hinter einer Antwort sowie Links Stop using this fact, wie aus Fronts Help Center entnommen

Hat Ihr Helpdesk nichts davon, funktioniert ein Ticket-Tag pro Block gut. Halten Sie die Liste kurz. Sechs Tags werden genutzt, dreißig ignoriert. Mein Leitfaden zum KI-Support-Tagging zeigt, wie Sie sie anwenden, ohne Mitarbeitern zusätzliche Klicks aufzubürden.

Das System beheben, nicht die Person

Fehleranalyse funktioniert nur, wenn Menschen Ihnen von Fehlern erzählen. Das hört auf, sobald sie zum Mittel wird, Leute zu ertappen. Mitarbeiter sind klar darüber, wie sich das anfühlt:

Reddit

"Hold hands up it was something I missed (or didn't consider) but the complaint feedback was otherwise good so it stung to get a fail rather than a learning and fix it"

Manchmal ist die Kennzahl selbst die Ursache. Ein Mitarbeiter beschrieb, dass er für Warteschleifen über drei Minuten bestraft wurde, obwohl die Bestätigung der richtigen Antwort drei Minuten oder mehr dauert:

Reddit

"If I put them on hold that long, some get annoyed or escalate. Either way, I'm doomed: penalized if you placed the caller on hold for more than 3 mins or returned back to the caller and tell them you needed more time."

Wenn ein Ziel Menschen dazu drängt, zu antworten, bevor sie geprüft haben, sind falsche Antworten das vorhersehbare Ergebnis. Nehmen Sie „die KPI“ in Ihre Blockliste auf, wenn sie auftaucht. Mein Beitrag zu Kundenservice-KPIs behandelt, welche nach hinten losgehen.

Nichts davon heißt, dass niemand Verantwortung trägt. Die Unterscheidung, die ich mag, stammt aus einem Thread zu schuldfreien Reviews: Menschen werden "still held to account for their decisions and actions but are not blamed for their results." Ein Mitarbeiter, der den Artikel übersprungen hat, sollte das hören. Ein Mitarbeiter, der einem falschen Artikel gefolgt ist, sollte ein Dankeschön fürs Finden bekommen.

So sieht eine gute Schleife in der Praxis aus, von einem Mitarbeiter, dessen Team es richtig macht:

Reddit

"But where I work if an agent finds inaccurate information, requests information, or has figured something out that isn't in KB all we have to do is send a message to our supervisor and they pass it along to our head of sales, and the next day KB is updated."

KB-Updates am nächsten Tag. Das ist das Ziel. Kombinieren Sie es mit einem regelmäßigen Audit der Wissensdatenbank und einer Wissenslückenanalyse und nutzen Sie Mitarbeiter-Feedback-Gespräche für die Fehler, die wirklich individuell sind.

Dasselbe gilt für eine KI. Ein HN-Kommentator sagte zum Fehler eines menschlichen Mitarbeiters, er wolle "better training/docs so it doesn't happen again", niemanden, der gefeuert wird. Behandeln Sie die KI genauso und leiten Sie wiederholte menschliche Fehler ins Coaching statt in Abmahnungen.

Wie eesel die Fehleranalyse handhabt

Ich baue bei eesel KI-Agenten, daher sage ich konkret, was unsere hier tut und was nicht.

Sie zeigt ihre Arbeit bei jedem Ticket. Jeder Lauf auf eesels Activity-Seite zeigt, wo er stattfand, was ihn ausgelöst hat, welche Quellen sie durchsucht hat, was sie getan hat, ihre Begründung Schritt für Schritt und ob sie auf eine Wissenslücke gestoßen ist. In Zendesk nennt jeder Entwurf seine Quellen. Eine falsche Antwort zu labeln dauert also einen Klick in den Lauf, kein Raten.

eesel-Activity-Seite mit aktuellen Aufgaben, Filtern Approved, Rejected und Pending und verlinkten Zendesk-Ticketnummern
eesel-Activity-Seite mit aktuellen Aufgaben, Filtern Approved, Rejected und Pending und verlinkten Zendesk-Ticketnummern

Korrekturen werden zu Regeln. Wenn eine Antwort falsch ist, sagen Sie ihr, was falsch war, im Ticket oder im Chat, und sie schreibt die Korrektur in ihre eigenen Anweisungen oder bearbeitet die bestehende Regel, falls eine schon passt. Ein Zendesk-Admin brachte ihr eine Korrektur für den Richtlinien-Block in zwei Zeilen bei: "I have a rule in CS where we do not address a cancel or refund request when there is an issue attached to it." Dann, beim nächsten Entwurf: "This is incorrect. You have not provided troubleshooting steps yet." Diese Regel gilt jetzt für jedes künftige Ticket, nicht nur für dieses.

eesel-Activity-Lauf mit einem Antwortentwurf und einem Chat, in dem der Admin eine kürzere, einfachere Version verlangt und der Agent seinen Entwurf aktualisiert, aus eesels Doku
eesel-Activity-Lauf mit einem Antwortentwurf und einem Chat, in dem der Admin eine kürzere, einfachere Version verlangt und der Agent seinen Entwurf aktualisiert, aus eesels Doku

Sie findet das Muster für Sie. Der Skill „Analyze and improve replies“ betrachtet, was Ihr Team abgelehnt oder bearbeitet hat, findet das Muster und schlägt Korrekturen vor. Das sind die Schritte drei bis fünf der obigen Methode, auf Ihren eigenen Daten ausgeführt.

Sie spielt echte vergangene Tickets erneut durch. Der Simulations-Skill lässt Ihren Agenten gegen echte gelöste Tickets laufen, vergleicht jede Antwort mit dem, was Ihr Team tatsächlich gesendet hat, bewertet sie nach Ticket-Thema und schlägt Änderungen an den Anweisungen vor. Im Beispiellauf der Doku mit 20 Tickets erreichten 17 die Antwortqualität des Teams, und der Bericht fand, dass die eigentliche Lücke nicht der Wortlaut war, sondern die Aktionen der Mitarbeiter, etwa ein Protokoll prüfen oder an die Technik eskalieren:

eesel-Helpdesk-Simulationsergebnisse für 20 Tickets: 17 von 20 erreichten die Antwortqualität des Teams, Ergebnisse nach Thema und gerankte Korrekturen, aus eesels Doku
eesel-Helpdesk-Simulationsergebnisse für 20 Tickets: 17 von 20 erreichten die Antwortqualität des Teams, Ergebnisse nach Thema und gerankte Korrekturen, aus eesels Doku

Diesen Schritt würde ich nie überspringen. Es ist der einzige Weg, den ich kenne, um an Dutzenden echter Tickets zu prüfen, dass eine Korrektur gewirkt hat, bevor Kunden sie sehen. Und wenn Ihr Team mit einem Terminal oder Skripten arbeitet, lässt Sie die eesel-CLI den Agenten korrigieren und seine aktuellen Regeln von der Kommandozeile ausgeben, sodass auch ein Coding-Agent den wöchentlichen Review durchführen kann.

Was sie nicht ist: ein Ersatz für eine QA-Scorecard Ihrer menschlichen Mitarbeiter. Ihre KI-CSAT ist die Bewertung der Antworten durch eine KI, kein Kundenfeedback, und ich würde Ihr menschliches QA-Programm parallel weiterlaufen lassen. Meine Übersicht zu Support-QA-Tools behandelt diese Seite.

Führen Sie Ihre Fehleranalyse mit eesel durch

Wenn Ihre KI oder Ihr Team immer wieder dieselben Fehler macht, gibt Ihnen der KI-Helpdesk-Teammate von eesel die Fehlerspur an einem Ort. Er schließt sich Ihrer bestehenden Zendesk-, Freshdesk-, Gorgias- oder Help-Scout-Warteschlange an, protokolliert bei jedem Ticket, was er gelesen hat und warum, macht aus Ihren Korrekturen dauerhafte Regeln und spielt echte vergangene Tickets erneut durch, damit Sie eine Korrektur wirken sehen, bevor sie live geht. Starten Sie ihn mit Entwürfen als interne Notizen, führen Sie eine Simulation mit den Tickets des letzten Monats durch, und Sie haben noch am selben Tag Ihre erste Block-Zählung. Es ist kostenlos mit 100 Credits testbar, und bezahlte Tarife beginnen bei $299 im Monat auf der eesel-Preisseite.

eesel erstellt eine Antwort in einem Zendesk-Ticket

eesel testen

Häufig gestellte Fragen

Was ist Fehleranalyse im Kundensupport?
Fehleranalyse im Kundensupport ist eine regelmäßige Prüfung fehlgeschlagener Support-Antworten: Jeder Fehler bekommt ein Ursachen-Label, die Labels werden gezählt, und die größte Ursache wird an der Quelle behoben. Sie ergänzt die Support-QA, die Antworten bewertet, indem sie erklärt, warum Antworten scheitern.
Wie führt man eine Fehleranalyse bei Support-Tickets durch?
Ziehen Sie 50 fehlgeschlagene Tickets (Wiedereröffnungen, schlechte CSAT, Eskalationen, umgeschriebene KI-Entwürfe), labeln Sie den ersten Fehler in jedem, zählen Sie die Blöcke, beheben Sie den größten und spielen Sie dann vergangene Tickets erneut durch, um die Korrektur zu bestätigen. Mein Leitfaden zur Support-Ticket-Analyse enthält eine Zählvorlage.
Was sind die häufigsten Ursachen falscher Support-Antworten?
Die meisten falschen Antworten lassen sich auf eine veraltete, fehlende oder widersprüchliche Quelle, eine nie dokumentierte Richtlinie oder ein Ticket zurückführen, das an einen Menschen hätte gehen müssen. Ein regelmäßiges Audit der Wissensdatenbank fängt die erste Gruppe ab, bevor Kunden sie bemerken.
Wie unterscheidet sich Fehleranalyse von Support-QA?
QA bewertet, wie gut die Antwort eines Mitarbeiters war. Die Fehleranalyse im Kundensupport betrachtet viele fehlgeschlagene Antworten, um zu erkennen, warum sie scheitern und wer die Korrektur verantwortet, und das ist oft die Wissensdatenbank oder ein Richtlinien-Verantwortlicher statt des Mitarbeiters. Siehe meine Übersicht zu QA-Tools.
Wie analysiere ich Fehler eines KI-Support-Agenten?
Lesen Sie bei jedem fehlgeschlagenen Ticket seinen Verlauf: was er verstanden hat, welche Quellen er genutzt hat und warum er geantwortet oder übergeben hat. Zendesk-Konversationsprotokolle, Gorgias Show reasoning und HubSpot Agent-Insights zeigen das alle. Mein Leitfaden zu KI-Halluzinationen im Support behandelt den Fall der leeren Suche.
Hat Zendesk ein Ursachenfeld für Support-Fehler?
Ja. In Zendesk QA können Prüfer beim Bewerten optional eine Ursache hinzufügen, aus einer von Ihnen definierten Liste mit Ebenen und Unterebenen, und in Dashboards darüber berichten. Dafür ist das QA- oder WEM-Add-on nötig. Meine Übersicht zu Zendesk QA behandelt die Einrichtung.
Welche Kennzahlen zeigen, dass eine Support-Antwort falsch war?
Wiedereröffnete Tickets, wiederholte Kontakte desselben Kunden innerhalb weniger Tage, schlechte CSAT, Eskalationen nach einer KI-Antwort und KI-Entwürfe, die Mitarbeiter abgelehnt oder umgeschrieben haben. Eine hohe Lösungsrate kann falsche Antworten verbergen, wenn Sie nicht auf Folgetickets prüfen.
Kann KI bei der Fehleranalyse im Kundensupport helfen?
Ja, wenn sie ihre Arbeit zeigt und anhand der Historie getestet werden kann. Der KI-Helpdesk-Teammate von eesel protokolliert die Quellen und die Begründung hinter jeder Antwort, findet Muster in abgelehnten Entwürfen und spielt echte vergangene Tickets erneut durch, damit Sie eine Korrektur bestätigen können, bevor sie live geht.

Share this article