Instinct ist gerade deshalb nützlich, weil es handeln kann. Genau dadurch unterscheiden sich die Risiken von denen eines normalen Chatbots.
Das zentrale Risiko: eine falsche Aktion
Eine falsche Antwort kann korrigiert werden. Eine falsche Aktion kann dagegen:
- Geld ausgeben
- eine Buchung ändern
- etwas stornieren
- eine Nachricht versenden
- Daten verändern
Unabhängige Tests haben sowohl erfolgreiche Aufgaben als auch Fehlentscheidungen dokumentiert.
Drei Risikostufen
Niedrig
Recherche, Vergleich, Zusammenfassung, Entwurf.
Mittel
Kalendereinträge, vorbereitete Reservierungen, Datenorganisation.
Hoch
Zahlungen, Stornierungen, Umbuchungen, externe Kommunikation und Zugriff auf sensible Konten.
Deutschland: sinnvolle Sicherheitsregeln
- Euro-Limit für Käufe festlegen.
- Bei Telefonnummern
+49und Empfänger bestätigen. - Bei internationalen Terminen CET/CEST bzw. lokale Zeit nennen.
- Keine Stornierung mit Gebühr ohne Rückfrage.
- E-Mails oder Nachrichten vor Versand anzeigen lassen.
- Firmenkonten nur im Rahmen interner Richtlinien verbinden.
Rechte und Handlungslimits getrennt betrachten
Dass Instinct technisch eine Berechtigung besitzt, heißt nicht, dass jede Aktion automatisch erlaubt sein muss.
Beispiel: Gmail darf gelesen werden, aber Versand braucht Bestätigung. Eine Karte kann hinterlegt sein, aber Käufe über 50 € werden gestoppt.
Was tun, wenn etwas schiefgeht?
- Status beim externen Dienst prüfen.
- Weitere Aktionen stoppen oder Berechtigungen entziehen.
- Händler, Airline oder Anbieter kontaktieren.
- Falls nötig Daten- oder Kontoeinstellungen bei Instinct prüfen.
Vor irreversiblen Schritten anhalten
Recherche lässt sich leicht korrigieren, eine Stornierung, Löschung oder Zahlung nicht immer. Legen Sie Betrag, Empfänger, Ausschlussbedingungen und einen ausdrücklichen Genehmigungspunkt fest. Wenn ein Fehler passiert, stoppen Sie weitere Aktionen, sichern Sie Chat- und Händlerprotokoll und prüfen Sie den tatsächlichen Zustand beim externen Dienst, bevor der Agent erneut handelt.