Ein praktischer Leitfaden für das Testen von ServiceNow AI Agent Studio (2025)

KI-Agenten sind in aller Munde und versprechen, weit mehr zu tun, als nur vorgefertigte Antworten auszuspucken. Die Idee ist, dass sie ganze Arbeitsabläufe automatisieren, Probleme selbstständig durchdenken und wie ein weiteres Teammitglied agieren. Das ist ein ziemlich überzeugendes Bild. Aber wenn Sie derjenige sind, der die Rechnungen bezahlt, haben Sie wahrscheinlich eine Frage im Hinterkopf: „Das klingt fantastisch, aber woher weiß ich, dass es tatsächlich funktioniert, bevor ich es auf echte Kundentickets loslasse?“

Genau dafür sind Tests da. Aber das Testen von generativer KI ist nicht wie Ihre übliche Software-Qualitätssicherung. KI ist probabilistisch, was eine schicke Art zu sagen ist, dass sie nicht immer demselben Skript folgt. Sie können ihr zweimal denselben Prompt geben und zwei leicht unterschiedliche, aber dennoch korrekte Antworten erhalten. Sie jagen also nicht wirklich nach Fehlern im Code. Sie versuchen, Vertrauen aufzubauen, dass sich der Agent so verhalten wird, wie Sie es erwarten.

Dieser Leitfaden führt Sie durch die Testfunktionen im ServiceNow AI Agent Studio. Er richtet sich an IT- und Support-Führungskräfte, die die Plattform auf Herz und Nieren prüfen. Wir werden aufschlüsseln, was das Studio bietet, wie das Testen funktioniert und welche praktischen Einschränkungen Sie kennen sollten.

Was ist das ServiceNow AI Agent Studio Testing?

Verschaffen wir uns zunächst einen Überblick. Das ServiceNow AI Agent Studio ist eine Low-Code-Umgebung zum Erstellen, Verwalten und vor allem zum Testen von KI-Agenten, die innerhalb der ServiceNow-Plattform leben und atmen. Das Testen ist hier kein nachträglicher Gedanke; es ist eine zentrale Funktion, die Ihnen helfen soll, zu beweisen, dass Ihre Agenten auf dem richtigen Weg sind, Anweisungen befolgen und ihre Werkzeuge korrekt verwenden.

Laut der eigenen Dokumentation von ServiceNow gibt es zwei Hauptmethoden, um im Studio Tests durchzuführen:

1. Unit-Tests (Der Testing-Tab): Dies ist eher für Entwickler gedacht. Hier können Sie einen einzelnen Agenten oder Workflow in einer kontrollierten Umgebung durch ein spezifisches Szenario laufen lassen. Es ist wie eine schnelle Plausibilitätsprüfung, um Ihre Anweisungen zu debuggen und zu sehen, ob die grundlegende Logik standhält.

2. Tests im großen Maßstab (Evaluierungsläufe): Dies ist für den Fall, dass Sie sehen möchten, wie ein Agent eine ganze Reihe vergangener Szenarien auf einmal bewältigt. Das Ziel ist, die Leistung und Zuverlässigkeit in größerem Umfang zu messen, bevor Sie überhaupt an eine vollständige Einführung denken.

Der ganze Sinn dieser Funktionen besteht darin, Vertrauen aufzubauen. Sie müssen ein gutes Gefühl dabei haben, dass Ihr KI-Agent, wenn Sie den Schalter umlegen, Aufgaben richtig erledigt und keine Kopfschmerzen bereitet.

Die Herausforderung beim Testen im ServiceNow AI Agent Studio auf einer komplexen Unternehmensplattform

Das Testen eines KI-Agenten ist nicht so einfach wie sicherzustellen, dass 2 + 2 gleich 4 ist. Es ist eher der Versuch herauszufinden, warum der Agent überhaupt dachte, 4 sei die richtige Antwort. Dies schafft einige einzigartige Probleme, insbesondere in einem riesigen, vernetzten System wie ServiceNow.

Das erste große Problem ist das „Blackbox“-Thema. Große Sprachmodelle (LLMs) sind unglaublich kompliziert, und es kann schwierig sein, ihren genauen Denkprozess nachzuvollziehen. ServiceNow stellt Ihnen ein „Entscheidungsprotokoll“ zur Verfügung, das versucht, die Argumentationskette des Agenten aufzuzeigen, aber das Verstehen dieser Protokolle erfordert technisches Geschick. Sie überprüfen nicht nur die endgültige Antwort; Sie müssen auch die Logik bestätigen, mit der sie zustande kam.

Zweitens ist ein KI-Agent nur so intelligent wie die Informationen, auf die er zugreifen kann. Innerhalb von ServiceNow bedeutet das, dass sein Erfolg direkt von der Qualität Ihrer Wissensdatenbank, der Vorfallhistorie und anderer Daten abhängt. Wenn Ihre Hilfeartikel veraltet oder Ihre Ticketdaten unübersichtlich sind, leidet die Leistung des Agenten – sowohl in Ihren Tests als auch in der realen Welt. Sie kennen das alte Sprichwort: Müll rein, Müll raus.

Schließlich müssen Sie sich mit der Realität einer sich ständig ändernden Plattform auseinandersetzen. Ein kleines ServiceNow-Upgrade oder eine Änderung an einem erforderlichen Plugin wie Now Assist oder dem Generative AI Controller könnte das Verhalten Ihres Agenten unbemerkt verändern. Das macht Regressionstests extrem wichtig, aber es kann ein enormer Zeitfresser sein, jeden einzelnen Workflow nach jedem Update manuell erneut zu überprüfen.

Für Teams, die keine ServiceNow-Entwickler oder KI-Experten auf der Kurzwahltaste haben, kann die Bewältigung dieser Testprobleme ein Projekt leicht um Wochen oder sogar Monate verlängern.

Wie das Testen im ServiceNow AI Agent Studio funktioniert

Wie also hilft Ihnen ServiceNow tatsächlich bei diesen Herausforderungen? Lassen Sie uns auf die Einzelheiten der beiden Haupttestmethoden eingehen und wie sie in der Praxis aussehen, sowie auf einige ihrer Einschränkungen, die nicht immer im Prospekt erwähnt werden.

Manuelle Validierung mit dem Testing-Tab des ServiceNow AI Agent Studio

Stellen Sie sich den Testing-Tab wie eine persönliche Sandbox für Entwickler vor. Hier kann ein Administrator einen Agenten manuell auf Herz und Nieren prüfen. Sie geben ihm eine Aufgabe, zum Beispiel „Hilf mir, den Vorfall INC00123 zu lösen“, und beobachten, wie er den Prozess in einer simulierten Umgebung Schritt für Schritt durcharbeitet.

Wenn Sie einen Test durchführen, sehen Sie einige Dinge auf Ihrem Bildschirm:

• Ein simulierter Chat: Sie können die Konversation zwischen einem fiktiven Benutzer und dem KI-Agenten verfolgen.

• Eine Ausführungskarte: Dies ist ein Flussdiagramm, das zeigt, wie die KI verschiedene Agenten und Werkzeuge koordiniert, um die Aufgabe abzuschließen.

• Ein Entscheidungsprotokoll: Dies ist die detaillierte, schrittweise Aufzeichnung der Argumentation des Agenten, die zeigt, welche Werkzeuge er geprüft und welche Entscheidungen er auf dem Weg getroffen hat.

Dies ist hilfreich für das Debugging, hat aber einige Nachteile in der Praxis:

• Alles wird manuell durchgeführt, ein Test nach dem anderen. Sie können nur ein einziges Szenario testen, was Ihnen kein klares Bild davon vermittelt, wie der Agent bei Hunderten verschiedener Ticketarten abschneidet.

• Es testet nur die Logik des Agenten, nicht aber, was ihn auslöst. Der Test verrät Ihnen zum Beispiel nicht, ob der Agent korrekt anspringt, wenn ein neues Ticket erstellt wird. Das müssen Sie separat an anderer Stelle testen.

• Sie müssen ein technischer Benutzer sein. Um diese Tests durchzuführen und die Ergebnisse zu verstehen, benötigen Sie einen Administrator mit der Rolle „sn_aia.admin“, der die zugrunde liegenden Workflows versteht und weiß, wie man diese detaillierten Entscheidungsprotokolle liest.

Testen im großen Maßstab mit Evaluierungsläufen

Wenn Sie bereit sind, über einmalige Tests hinauszugehen, bietet ServiceNow „Evaluierungsläufe“ an. Dies ist ihre Methode für automatisierte, groß angelegte Tests. Sie können einen Agenten mit einem großen Satz historischer Aufgaben abgleichen, um zu sehen, wie gut er abschneidet.

Die Einrichtung ist jedoch ziemlich aufwendig:

1. Definieren Sie eine „Evaluierungsmethode“: Zuerst müssen Sie entscheiden, was Sie messen möchten. Betrachten Sie die „Aufgabenabschlussrate“ (hat er die Aufgabe erledigt?) oder die „Werkzeugleistung“ (hat er die richtigen Werkzeuge korrekt verwendet?).

2. Erstellen Sie einen Datensatz: Das ist der schwierige Teil. Um einen Datensatz zu erstellen, müssen Sie Daten aus früheren Ausführungsprotokollen von KI-Agenten ziehen. Dies führt zu einem klassischen Henne-Ei-Problem: Sie können Ihren Agenten nicht testen, bevor er nicht bereits eine Reihe von Aufgaben ausgeführt und genau die Protokolle erstellt hat, die Sie zum Testen benötigen.

3. Führen Sie die Evaluierung durch: Sobald Sie endlich einen Datensatz haben, können Sie den Test durchführen und einen Bericht mit Leistungsdaten erhalten.

Hier kann die Komplexität einer großen Unternehmensplattform einen wirklich ausbremsen. Das Erstellen und Verwalten dieser Datensätze ist keine einfache Point-and-Click-Aufgabe; es ist eine technische Aufgabe, die viel Vorbereitung und eine bestehende Historie von Agentenaktivitäten erfordert.

Die versteckten Kosten und Einschränkungen des ServiceNow AI Agent Studio Testing

Über die technische Seite des Testens hinaus gibt es einige größere, strategische Dinge zu bedenken, bevor Sie alles auf das KI-Ökosystem von ServiceNow setzen.

Die steile Lernkurve und der Bedarf an Spezialisten

Das Erstellen und Testen von Agenten in ServiceNow ist keine Aufgabe für einen Gelegenheitsnutzer. Es erfordert Administratoren mit tiefgreifenden Kenntnissen der Plattformarchitektur, von der Verwaltung von Plugins und Benutzerrollen über die Erstellung von Workflows im Flow Designer bis hin zur Orientierung in der Now Assist Admin Console.

Einige Anleitungen mögen behaupten, dass Sie einen benutzerdefinierten Agenten in weniger als einer Stunde erstellen können, aber ein produktionsreifer Agent, der zuverlässig reale Tickets bearbeiten kann, erfordert weitaus mehr Aufwand. Sie müssen Rollen definieren, sehr spezifische Anweisungen schreiben, verschiedene Werkzeuge wie Subflows und Skripte verbinden und das Ganze dann diesem mehrstufigen Testprozess unterziehen. Dies bedeutet in der Regel, dass Sie dedizierte Entwicklerzeit oder teure Berater benötigen.

Im Gegensatz dazu sind Lösungen wie eesel AI so konzipiert, dass jeder sie nutzen kann. Sie können Ihren Helpdesk verbinden, die KI mit Ihren Wissensquellen trainieren und einen Agenten in wenigen Minuten über ein einfaches Dashboard einrichten, ohne dass spezielle ServiceNow-Zertifizierungen erforderlich sind.

Die „Alles-oder-Nichts“-Plattformbindung

Die KI-Tools von ServiceNow sind leistungsstark, funktionieren aber am besten innerhalb des „geschlossenen Ökosystems“ der ServiceNow-Welt. Um wirklich auf Ihre Kosten zu kommen, sollten Ihre ITSM-, CSM- und HR-Workflows bereits auf der Plattform laufen.

Für die Tausenden von Unternehmen, die andere beliebte Helpdesks wie Zendesk, Freshdesk oder [REDACTED] verwenden, würde der Einsatz von ServiceNows KI-Agenten einen massiven und teuren Umzug auf eine völlig neue Plattform bedeuten.

Hier macht ein Werkzeug, das mit dem arbeitet, was Sie bereits haben, einen riesigen Unterschied. eesel AI lässt sich mit Ein-Klick-Integrationen direkt in Ihren bestehenden Helpdesk einbinden. Es ist nicht nötig, die Werkzeuge, mit denen Ihr Team bereits vertraut ist, herauszureißen und zu ersetzen.

Unklare Preisgestaltung und Lizenzierung

Sprechen wir zum Schluss über Geld. ServiceNow veröffentlicht seine Preise für die erforderlichen Lizenzen nicht. Um überhaupt mit dem AI Agent Studio beginnen zu können, benötigen Sie eine „Now Assist Pro+ oder Enterprise+“-Lizenz, aber Sie müssen ihr Vertriebsteam kontaktieren, um die Kosten zu erfahren. Dieser Mangel an Transparenz erschwert die Budgetierung und die Ermittlung Ihres potenziellen Return on Investment im Voraus.

Eine klare Preisgestaltung ist einfach eine bessere Art, Geschäfte zu machen. Mit eesel AI wissen Sie genau, wofür Sie bezahlen.

Tarif	Monatlich (monatliche Abrechnung)	Wichtige Funktionen
Team	299 $	Bis zu 1.000 KI-Interaktionen/Monat, Training mit Dokumenten/Websites, KI-Copilot für Agenten.
Business	799 $	Bis zu 3.000 KI-Interaktionen/Monat, Training mit vergangenen Tickets, KI-Aktionen (Triage/API), Massensimulation.
Benutzerdefiniert	Vertrieb kontaktieren	Unbegrenzte Interaktionen, erweiterte Aktionen, Multi-Agenten-Orchestrierung, benutzerdefinierte Integrationen.

Am wichtigsten ist, dass eesel AI keine Gebühren pro Lösungsfall erhebt. Unsere Tarife haben vorhersehbare Kosten, die Sie nicht dafür bestrafen, einen supportintensiven Monat zu haben – eine häufige und frustrierende Überraschung, die Sie bei anderen Anbietern erleben könnten.

Abschließende Gedanken: Ein einfacherer Weg zum Testen und Bereitstellen

Das ServiceNow AI Agent Studio verfügt über ein leistungsstarkes Set an Werkzeugen zum Erstellen und Testen von KI-Agenten. Aber diese Leistung geht mit hoher Komplexität einher, erfordert spezialisierte Ressourcen, bindet Sie an eine einzige Plattform und hat eine unklare Preisgestaltung.

Letztendlich ist das Ziel des Testens, sich sicher genug zu fühlen, um eine Lösung zu starten, die Ihrem Team und Ihren Kunden wirklich hilft. Für viele Teams ist ein direkterer und weniger ressourcenintensiver Weg nicht nur ein nettes Extra, sondern der einzige Weg, um mit KI zu beginnen.

Wenn Sie nach einer KI-Plattform suchen, die es Ihnen ermöglicht, mit Zuversicht zu testen und in Minuten statt Monaten live zu gehen, könnte es sich lohnen, eine Lösung zu erkunden, die auf Geschwindigkeit und Einfachheit ausgelegt ist. Mit leistungsstarker, einfach zu bedienender Simulation und direkter Integration in die von Ihnen bereits genutzten Werkzeuge bietet eesel AI einen schnelleren Weg, den wahren Wert von KI in Ihren Support-Workflows zu erkennen.