Tests
Testfälle mit Akzeptanzkriterien schreiben und jede Änderung des Agenten von einem Prüfmodell kontrollieren lassen
Tests fangen eine schlechte Antwort ab, bevor ein Kunde sie sieht. Sie beschreiben ein Gespräch und legen fest, was der Agent tun muss (und was nicht); Happ spielt es in einem versteckten Playground-Chat durch — mit demselben Prompt, demselben Modell, denselben Tools und derselben Wissensdatenbank wie in Live-Chats — und ein Prüfmodell bewertet den Dialog: Bestanden oder Fehlgeschlagen, eine Punktzahl von 0 bis 1 und ein Urteil.
Sie finden sie in der Seitenleiste des Agenten unter Überwachung > Test. Tests laufen als Text-Chats; um die Stimme zu prüfen, nutzen Sie Per Anruf testen in der oberen Leiste.
Testfall hinzufügen
Fall hinzufügen öffnet den Editor:
| Feld | Funktion |
|---|---|
| Name | Bis zu 300 Zeichen, z. B. „Findet ein Produkt im Katalog“ |
| Modus | KI-Kunde — ein Modell spielt den Kunden nach Ihrem Szenario (bis zu 12 Runden). Skript — bis zu 10 Kundennachrichten, die wörtlich und in fester Reihenfolge gesendet werden |
| Kundenszenario / Kundennachrichten | Wer der Kunde ist, was er will, welche Daten er angibt — oder die genauen Nachrichten |
| Akzeptanzkriterien | Was der Agent tun muss und was er nicht tun darf, z. B. „Ruft search_in_vector() auf, bevor ein Preis genannt wird“ |
| Dynamische Variablen | Werte für {{placeholders}} im Prompt während dieses Tests — wie bei einem echten Anruf |
| Tool-Mocks | Simulierte Antworten für Tools (siehe unten) |
| Ausgabenlimits | Max. Nachrichten im Dialog (2–200) und Max. Kosten, $. Wird ein Limit überschritten, bricht der Fall mit einem Fehler ab |
Neue Fälle werden ausgeschaltet gespeichert: Aktivieren Sie in der Tabelle Mit allen, damit sie bei Alle ausführen berücksichtigt werden.
Vorschlagen (KI) entwirft Fälle für Sie: Das Modell liest den Prompt, die Tools und die Wissensdatenbank des Agenten. Geben Sie optional einen Schwerpunkt an („Rückerstattungen, unhöfliche Kunden“), wählen Sie die Anzahl (1–10) und übernehmen Sie die brauchbaren.
Tools mocken
Tool-Aufrufe in Tests sind echt, sofern sie nicht gemockt werden — ein Test kann eine echte Bestellung in Ihrem CRM anlegen. Mocken Sie alles, was Daten ändert:
- Alle Tools mocken — jeder Tool-Aufruf in jedem Test dieses Agenten erhält eine Mock-Antwort.
- Dieser Test / Alle Tests — ein Tool für einen Fall oder für den ganzen Agenten mocken. Regeln werden von oben nach unten geprüft, der erste Treffer gilt; eine Regel kann auf ein Aufrufargument prüfen (
parameter = value) und auch einen Fehler zurückgeben.
Ausführen
- Alle ausführen startet alle eingeschalteten Fälle; ▶ in einer Zeile startet einen einzelnen Fall, auch einen ausgeschalteten.
- Ausführen auf wählt die Hauptversion oder einen Entwurf — so testen Sie ein Experiment, bevor es live geht.
- Prüfmodell — das Modell des Prüfers. Standardmäßig das des Agenten; ein anderes, leistungsfähigeres Modell prüft zuverlässiger.
Vor jedem Durchlauf zeigt Happ eine Schätzung: Fälle, Modelle, Tokens und geschätzte Kosten. Es laufen jeweils drei Fälle gleichzeitig.
Ergebnisse lesen
Durchläufe zeigt jeden Durchlauf mit Status (In Warteschlange, Läuft, Abgeschlossen, Fehlgeschlagen), bestanden / gesamt, Tokens, Kosten und Dauer. Öffnen Sie einen Durchlauf, um Folgendes zu sehen:
- verschlechterte und behobene Fälle im Vergleich zum vorherigen Durchlauf;
- jeden Fall: Punktzahl, das Urteil des Prüfers, den vollständigen Dialog mit jedem Tool-Aufruf samt Ein- und Ausgabe;
- Korrektur vorschlagen — eine minimale Änderung am Prompt, mit der der Fall bestehen würde. Es ist nur ein Vorschlag: Übernehmen Sie ihn selbst und führen Sie den Fall dann erneut aus.
Ein Fall erhält Fehler statt Fehlgeschlagen, wenn er nicht abgeschlossen werden konnte: Ein Limit wurde erreicht, ein Tool ist ausgefallen oder der Prüfer hat eine unbrauchbare Antwort geliefert.
Weiter
- Versionen und Entwürfe — ein Experiment in einem Entwurf testen
- Auditor — Antworten live prüfen, nicht nur in Tests
- Tools — was der Agent aufrufen kann
Help me solve it
Happ answers right away and hands over to a manager when needed.