Tests und Optimierung¶

Qualitätsprozess

Zuverlässige Agenten entstehen durch wiederholbare Tests, nicht durch einen guten Demo-Anruf. Prüfen Sie Idealabläufe, vage Anrufer, fehlende Informationen, Tool-Timing, Routing und Fallbacks.

Behalten Sie Änderungen nur, wenn sie den Testsatz verbessern, ohne anderes Verhalten zu verschlechtern.

Tests machen aus einem vielversprechenden Agenten einen zuverlässigen Produktionsworkflow.

Verlassen Sie sich nicht auf ein einziges gutes Demo-Gespräch. Testen Sie Situationen, die Kunden wirklich erzeugen.

Was getestet werden sollte¶

Für jeden Agenten testen Sie:

häufige Fragen,
vage Fragen,
fehlende Informationen,
falsche Annahmen,
Tool-Nutzung,
Tool-Fehler,
Antworten aus der Wissensdatenbank,
Eskalation oder Weiterleitung,
Ablehnung und Grenzen.

Prompt-Testfälle¶

Prompt-Tests sind wiederverwendbare Gespräche oder Szenarien, mit denen Verhalten nach Änderungen verglichen werden kann.

Nützliche Testfälle:

Szenario	Warum es wichtig ist
Idealablauf	Bestätigt, dass der Hauptworkflow funktioniert.
Unklarer Anrufer	Prüft Nachfragen.
Fehlende Details	Prüft Datensammlung.
Anfrage außerhalb des Umfangs	Prüft Grenzen.
Tool erforderlich	Prüft Trigger und Parameter.
Tool nicht erlaubt	Prüft, dass der Agent nicht zu früh handelt.
Menschliche Übergabe	Prüft Eskalationsverhalten.

Optimierungsablauf¶

Nutzen Sie einen strukturierten Ablauf:

Ein Problem identifizieren.
Testfall dafür erstellen oder aktualisieren.
Prompt, Wissen, Parameter oder Tool-Anweisung ändern.
Dieselben Tests erneut ausführen.
Änderung nur behalten, wenn sie verbessert, ohne anderes Verhalten zu verschlechtern.

Varianten vergleichen¶

Beim Vergleich von Basisversion und Verbesserung achten Sie auf:

Korrektheit,
Befolgen von Anweisungen,
knappe Antworten,
passende Tool-Nutzung,
sicheres Fallback,
bessere Anrufererfahrung.

Wählen Sie eine Variante nicht nur, weil sie schöner klingt. Sie muss auch zuverlässiger sein.

Voice-QA¶

Für Voice Agents zusätzlich die Live-Erfahrung testen:

Begrüßung ist nicht unterbrechbar, falls erforderlich,
Unterbrechungen durch Anrufer werden natürlich behandelt,
Agent stellt eine Frage nach der anderen,
Warteansagen bei Weiterleitung sind klar,
Sprechtempo und Akzent passen zur Zielgruppe,
lange Antworten sind beim Zuhören nicht anstrengend.

Release-Checkliste¶

Prompt-Tests decken die wichtigsten Workflows ab.
Fragen zur Wissensdatenbank wurden getestet.
Tools wurden für Erfolg und Fehler getestet.
Routing wurde für Standardroute und Overrides getestet.
Voice-Verhalten wurde bei Bedarf mit echten Anrufen getestet.
Für größere Änderungen existiert ein Rollback-Plan.