Auditor
Ein KI-Prüfer kontrolliert jede Antwort, bevor der Kunde sie sieht — und gibt sie frei, lässt sie umschreiben oder blockiert sie
Der Auditor ist ein zweites Modell, das jeden Antwortentwurf des Agenten liest, bevor er gesendet wird. Er gibt die Antwort frei, lässt sie vom Agenten umschreiben oder blockiert sie und sendet stattdessen eine Ersatznachricht — auf Wunsch mit Übergabe des Chats an einen Mitarbeiter. Er funktioniert nur in Text-Chats; Anrufe werden nicht geprüft.
Sie finden ihn in der Seitenleiste des Agenten unter Überwachung > Auditor. Änderungen übernehmen Sie mit Speichern in der oberen Leiste des Agenten.
So funktioniert eine Prüfung
- Kostenlose Vorprüfungen laufen bei jeder Antwort, ohne KI und ohne Kosten: falsche Tool-Argumente, ein fehlgeschlagener Tool-Aufruf, bei dem der Agent so antwortet, als wäre alles geklappt, oder eine leere Antwort.
- Der KI-Prüfer bewertet die Antwort nach vier Kriterien von 0 bis 1 — Fundiertheit, Relevanz, Tool-Korrektheit, Richtlinie — und fällt ein Urteil: Bestanden, Überarbeitet oder Blockiert.
- Bei Überarbeitet schreibt der Agent die Antwort um, und der Prüfer kontrolliert sie erneut — bis die Zahl der Umschreibversuche erreicht ist. Schwere Verstöße werden ohne Umschreiben sofort blockiert.
Einstellungen
| Feld | Standard | Funktion |
|---|---|---|
| Ein / Aus | Ein | Schaltet den Auditor für diesen Agenten ein |
| Prüfkriterien | — | Ihre zusätzlichen Regeln: Ton, Sprache, was nicht gesagt werden darf |
| Ersatznachricht | integrierter Text | Wird statt einer blockierten Antwort gesendet. Formulieren Sie eine eigene — die integrierte ist sehr allgemein gehalten |
| Modus | Nur melden | Nur melden speichert das Urteil und sendet die Antwort in jedem Fall. Mit Korrigieren und blockieren darf der Auditor Antworten ändern und zurückhalten |
| Wann prüfen | Jede Antwort | Jede Antwort oder Nur riskante — ein Tool wurde aufgerufen oder der Agent hat eine Vektor-Wissensdatenbank |
| Umschreibversuche | 1 | 0–5. Jeder Versuch wird wie eine normale Antwort abgerechnet |
| Bei nicht bestandener Prüfung | Ersatznachricht + Übergabe | Ersatznachricht, Ersatznachricht + Übergabe oder Nichts sagen |
| Timeout, ms | 8000 | 1000–60000. Wird die Prüfung nicht rechtzeitig abgeschlossen, greift die nächste Einstellung |
| Bei Fehler der Prüfung | Antwort unverändert senden | Bei Timeout oder Modellfehler: Antwort unverändert senden oder Antwort als durchgefallen behandeln |
| Anbieter / Modell | Wie beim Agenten | Das Modell des Prüfers. Am besten ein anderes als das des Agenten |
Ist die Bestellung bereits durchgegangen, greift keine Blockierung: Der Kunde erfährt, dass die Bestellung aufgegeben wurde, und der Chat geht an einen Mitarbeiter.
Beginnen Sie mit Nur melden: Die Prüfung läuft und verbraucht ohnehin Tokens — beobachten Sie die Urteile daher einige Tage, bevor Sie dem Auditor erlauben, Antworten zu ändern. Solange Sie die Einstellungen auf dieser Seite nicht gespeichert haben, verwendet der Agent das workspaceweite Auditor-Profil, sofern ein Administrator eines festgelegt hat.
Wo Urteile erscheinen
Nicht auf der Auditor-Seite, sondern direkt im Gespräch. Unter jeder geprüften KI-Antwort in Chats und Verlauf steht eine Urteilszeile; ein Klick darauf öffnet Antwort-Audit: Urteil und Konfidenz, Bewertungen je Kriterium, nicht erfüllte Kriterien und fehlgeschlagene Vorprüfungen, das Feedback des Prüfers, die Nachricht des Kunden, die Basisantwort, jede Neugenerierung und die finale Antwort, Latenz und Prüfer-Tokens.
Kosten
Prüfer-Tokens und jedes Umschreiben werden vom Workspace-Guthaben abgebucht und in der Abrechnung unter Auditor angezeigt. Vorprüfungen sind kostenlos.
Weiter
- Tests — schlechte Antworten abfangen, bevor sie live gehen
- Chats — die Urteile im Kontext lesen
- KI-Steuerung — was nach einer Übergabe passiert
Help me solve it
Happ answers right away and hands over to a manager when needed.