Bevor Sie einen KI-Agenten einsetzen, legen Sie fest, was er tun darf

Ein KI-Agent kann einen Posteingang durchsehen, Informationen aus internen Systemen abrufen, eine Antwort entwerfen und einen Kundendatensatz aktualisieren, noch bevor ein Mitarbeiter den ersten Schritt überhaupt geprüft hat. Genau diese Geschwindigkeit macht die Technologie so attraktiv. Sie ist aber auch der Grund, warum eine schlecht konzipierte Implementierung gefährlicher ist als ein gewöhnlicher Chatbot.

Ein Chatbot wartet in der Regel auf eine Frage und gibt eine Antwort. Von einem Agenten wird erwartet, dass er ein Ziel verfolgt, Werkzeuge auswählt und eine Abfolge von Maßnahmen mit geringerem menschlichem Eingriff durchführt. Sobald er Zugriff auf E-Mails, Dokumente, Datenbanken oder Geschäftsanwendungen erhält, verhält er sich nicht mehr wie ein Schreibassistent, sondern fungiert eher wie ein Nachwuchsmitarbeiter mit Systemberechtigungen.

Dennoch setzen viele Unternehmen Agenten ein, ohne die Bedingungen festzulegen, die mit einer menschlichen Rolle einhergehen würden. Sie legen zwar fest, was das System leisten soll, lassen jedoch dessen Befugnisse, Grenzen und Eskalationspflichten vage. Das Ergebnis mag bei einer Demonstration beeindruckend funktionieren, ist jedoch für den tatsächlichen Betrieb ungeeignet. Bevor ein KI-Agent in einen Geschäftsprozess eingebunden wird, benötigt er so etwas wie eine Stellenbeschreibung.

Beginnen Sie mit einer eng gefassten Aufgabenstellung

“Dem Vertriebsteam helfen” ist weder für eine Person noch für einen KI-Agenten ein sinnvoller Aufgabenbereich. Daraus geht nicht hervor, welche Aufgaben zu dieser Rolle gehören, welche Entscheidungen der Agent treffen darf oder wie der Erfolg bewertet wird.

Eine umsetzbare Aufgabe sollte so konkret formuliert sein, dass das Unternehmen überprüfen kann, ob der Mitarbeiter sie korrekt erledigt hat. Dazu könnte beispielsweise gehören, eine morgendliche Zusammenfassung neuer Anfragen zu erstellen, eingehende Anfragen nach einem festgelegten Schema zu klassifizieren oder Folge-E-Mails auf der Grundlage von Informationen zu verfassen, die bereits im Kundenmanagementsystem gespeichert sind.

Diese Unterscheidung ist von Bedeutung, da weit gefasste Ziele den Agenten dazu anregen, seine Rolle selbst zu interpretieren. Ein Mensch kann bei unklaren Aufgaben auf organisatorisches Wissen, soziales Urteilsvermögen und jahrelange Erfahrung zurückgreifen. Ein KI-Agent hingegen handelt möglicherweise auf der Grundlage unvollständiger Informationen und präsentiert das Ergebnis mit ungerechtfertigter Zuversicht.

Unternehmen sollten daher mit Prozessen beginnen, die sich wiederholen, gut dokumentiert und relativ leicht rückgängig zu machen sind. Ein Agent kann mehr Verantwortung übernehmen, nachdem er unter realistischen Bedingungen zuverlässige Leistungen erbracht hat. Ein möglichst weit gefasster Aufgabenbereich zu Beginn kann zwar den Pilotversuch beschleunigen, erschwert jedoch die Analyse von Fehlern.

Ein eng gefasster Aufgabenbereich ist kein Zeichen mangelnden Ehrgeizes. Er bildet vielmehr die Grundlage für eine kontrollierte Expansion.

Festlegen, auf welche Daten der Agent zugreifen darf

Ein Agent kann nur auf der Grundlage der ihm zur Verfügung stehenden Systeme und Informationen handeln. Die Gestaltung der Zugriffsmöglichkeiten ist daher einer der wichtigsten Aspekte der Bereitstellung.

Der praktischste Ansatz besteht darin, den Agenten mit allem zu verbinden, was er möglicherweise benötigt: E-Mail, Kalender, Cloud-Speicher, interne Wissensdatenbanken und Betriebssoftware. Dies verringert Reibungsverluste während der Entwicklung, bietet dem System jedoch einen viel größeren Spielraum für Fehler.

Das sicherere Prinzip ist das Prinzip der geringsten Berechtigungen. Der Agent erhält nur die für seine definierte Aufgabe erforderlichen Zugriffsrechte und nicht mehr. Ein Assistent, der Besprechungsunterlagen vorbereitet, muss möglicherweise Kalendereinträge und ausgewählte Dokumente einsehen können, benötigt jedoch keine Berechtigung zum Löschen von Dateien oder zum Versenden von Nachrichten. Ein für die Rechnungsbearbeitung zuständiger Agent benötigt möglicherweise Zugriff auf eingehende Rechnungen und Bestellungen, ohne Einblick in das gesamte Finanzsystem zu erhalten.

Lese- und Schreibberechtigungen sollten getrennt behandelt werden. Die Erlaubnis für einen Mitarbeiter, Informationen abzurufen, birgt ein gewisses Risiko; die Erlaubnis, Datensätze zu ändern, Dateien zu übertragen oder Kontakt zu externen Parteien aufzunehmen, birgt ein weiteres Risiko.

Das Unternehmen sollte außerdem feststellen, ob der Agent über das Konto eines einzelnen Mitarbeiters oder über eine eigene technische Identität agiert. Eine eigene Identität lässt sich in der Regel leichter überwachen, einschränken und deaktivieren. Dadurch wird der Agent als eigenständiger Teilnehmer sichtbar, anstatt dass seine Handlungen nicht von denen eines menschlichen Nutzers zu unterscheiden sind.

Trennung von Vorbereitung und Ausführung

Viele wichtige KI-Aufgaben erfordern kein eigenständiges Handeln. Der Agent kann Informationen sammeln, eine Empfehlung ausarbeiten oder den nächsten Schritt entwerfen, während die Ausführung einem Mitarbeiter überlassen bleibt.

Diese Unterscheidung ist insbesondere in der Anfangsphase der Einführung von großem Nutzen. Ein Agent kann zwar eine Antwort an einen Kunden entwerfen, aber erst eine Person versendet diese. Er kann Rechnungen identifizieren, die inkonsistent erscheinen, doch das Finanzteam entscheidet, ob die Zahlung gesperrt werden soll. Er kann eine Aktualisierung der Datenbank vorschlagen, doch die Änderung wird erst nach der Genehmigung vorgenommen.

Die manuelle Überprüfung wird manchmal als Hindernis für die Automatisierung abgetan. In der Praxis ermöglicht sie es dem Unternehmen jedoch, von der Geschwindigkeit zu profitieren und gleichzeitig zu erkennen, in welchen Bereichen der Bot zuverlässig arbeitet und in welchen nicht.

Die Freigabe sollte nicht zu einem rein formellen Klick verkommen. Der Prüfer benötigt ausreichende Informationen, um nachzuvollziehen, was der Agent getan hat, welche Quellen er verwendet hat und wo noch Unsicherheiten bestehen. Die Vorlage einer ausgefeilten Antwort ohne diesen Kontext begünstigt den „Automation Bias“ – die Tendenz, eine maschinengenerierte Empfehlung zu akzeptieren, nur weil sie vollständig erscheint.

Mit zunehmendem Vertrauen können risikoarme Handlungen automatisch genehmigt werden, während Entscheidungen mit weitreichenden Konsequenzen weiterhin einer Überprüfung unterliegen. Autonomie sollte sich der Agent Aufgabe für Aufgabe verdienen, anstatt sie ihm als allgemeines Merkmal zu gewähren.

Klare Entscheidungsgrenzen festlegen

Jeder Beauftragte benötigt Grenzen für die Entscheidungen, die er eigenständig treffen darf. Diese Grenzen können sich nach dem finanziellen Wert, der rechtlichen Bedeutung, der Sensibilität der Daten oder den möglichen Auswirkungen auf einen Kunden, Mitarbeiter oder Lieferanten richten.

Ein Beschaffungsmitarbeiter darf möglicherweise genehmigte Materialien unterhalb eines festgelegten Wertes nachbestellen, darf jedoch keinen neuen Lieferanten auswählen. Ein Kundendienstmitarbeiter kann routinemäßige Fragen zur Lieferung klären, muss jedoch Beschwerden, die Entschädigungsforderungen, rechtliche Drohungen oder schutzbedürftige Kunden betreffen, an eine höhere Ebene weiterleiten. Ein Terminplaner kann Terminvorschläge unterbreiten, ohne einen bestätigten externen Termin abzusagen.

Entscheidend ist, dass die Grenze konkret umsetzbar sein muss. Die Anweisung an den Mitarbeiter, “wichtige” oder “sensible” Fälle weiterzuleiten, lässt zu viel Interpretationsspielraum. Das Unternehmen sollte beobachtbare Auslöser definieren: bestimmte Werte, Themen, Kundenkategorien, Konfidenzniveaus oder Ausnahmen.

Agenten benötigen außerdem Regeln für widersprüchliche Anweisungen. Ein Benutzer könnte das System auffordern, eine Aktion auszuführen, die außerhalb seines Zuständigkeitsbereichs liegt. Ein aus dem Internet abgerufenes Dokument könnte Text enthalten, der versucht, die ursprünglichen Anweisungen des Agenten außer Kraft zu setzen. Eine andere Anwendung könnte unvollständige oder inkonsistente Daten liefern.

Der Agent sollte nicht jeden Konflikt selbst lösen. Unter bestimmten Umständen besteht das richtige Vorgehen darin, den Vorgang zu unterbrechen und eine Entscheidung durch einen Menschen einzuholen.

Verbotene Handlungen sind genauso wichtig wie zugewiesene Aufgaben

Eine herkömmliche Stellenbeschreibung konzentriert sich auf die Aufgabenbereiche. Eine Spezifikation für einen KI-Agenten benötigt zudem eine explizite Liste verbotener Handlungen.

Dem Makler kann untersagt werden, Verträge abzuschließen, Bankdaten zu ändern, personenbezogene Daten weiterzugeben, Datensätze zu löschen, bestimmte externe Parteien zu kontaktieren oder Entscheidungen in Bezug auf Beschäftigungsverhältnisse zu treffen. Er darf keine Informationen eines Kunden nutzen, um einem anderen Kunden zu helfen, oder Inhalte in einen nicht genehmigten Dienst übertragen.

Diese Verbote sollten, soweit möglich, auf technischer Ebene durchgesetzt werden. Eine schriftliche Anweisung an den Mitarbeiter, keine Dateien zu löschen, ist weniger wirksam als ein Benutzerkonto, für das keine Löschberechtigung besteht. Richtlinien sind zwar notwendig, doch bietet die Systemarchitektur eine zuverlässigere Kontrollmöglichkeit.

Das Unternehmen sollte auch indirekte Maßnahmen in Betracht ziehen. Ein Akteur, der kein Geld überweisen kann, kann dennoch Zahlungsanweisungen in einem System ändern, das von einem anderen Prozess genutzt wird. Ein Mitarbeiter, der keine externen Veröffentlichungen vornehmen kann, könnte Inhalte in einen Ordner ablegen, der später automatisch veröffentlicht wird.

Um diese nachgelagerten Auswirkungen abzubilden, ist es erforderlich, den gesamten Arbeitsablauf zu verstehen und nicht nur die unmittelbare Schnittstelle des Agenten.

Geben Sie dem Mitarbeiter einen Eskalationsweg vor

Menschliche Mitarbeiter wissen, wann sie einen Vorgesetzten um Rat fragen, einen Rechtsberater hinzuziehen oder einen erfahrenen Kollegen einbeziehen müssen. Auch Agenten benötigen ein ebenso klares Eskalationskonzept.

Das System sollte erkennen, unter welchen Umständen ihm ausreichende Informationen fehlen, eine Ausnahme auftritt oder es an die Grenzen seiner Befugnisse stößt. In diesem Fall muss es den Fall an eine identifizierbare Person oder ein Team weiterleiten und dabei genügend Hintergrundinformationen bereitstellen, damit die Arbeit fortgesetzt werden kann.

Die Eskalation gewinnt besonders dann an Bedeutung, wenn der Mitarbeiter außerhalb der normalen Arbeitszeiten tätig ist. Ein Prozess, der um Mitternacht eine potenziell betrügerische Transaktion erkennt, benötigt Regeln, die festlegen, ob diese Transaktion blockiert, zur Überprüfung am nächsten Morgen in die Warteschlange gestellt oder ein Mitarbeiter im Bereitschaftsdienst benachrichtigt werden soll.

Das Unternehmen benötigt zudem klare Erwartungen an den Service. Wenn der Mitarbeiter Fälle zu häufig eskaliert, könnten die Mitarbeiter zu einer dauerhaften Support-Ebene für die Automatisierung werden, die eigentlich Zeit sparen sollte. Wenn er Fälle zu selten eskaliert, handelt er möglicherweise außerhalb seiner Kompetenz.

Die Überprüfung von Eskalationsmustern kann Aufschluss darüber geben, wo Anweisungen präzisiert werden müssen, die Datenqualität zu wünschen übrig lässt oder die Aufgabe noch nicht für eine autonome Bearbeitung geeignet ist.

Legen Sie fest, wie sich der Agent identifiziert

Personen, die mit einem KI-Agenten interagieren, sollten grundsätzlich wissen, dass sie es mit einem solchen zu tun haben. Dies ist besonders wichtig, wenn das System mit Kunden, Bewerbern, Lieferanten oder Mitarbeitern kommuniziert.

Die Identifizierung wirkt sich auf Vertrauen und Verantwortlichkeit aus. Ein Empfänger interpretiert eine Nachricht möglicherweise anders, wenn sie automatisch generiert und versendet wird, anstatt von einem namentlich genannten Mitarbeiter verfasst zu sein. Außerdem benötigt er möglicherweise eine unkomplizierte Möglichkeit, menschliche Unterstützung anzufordern.

Der Mitarbeiter sollte keine fiktive menschliche Identität annehmen oder den Eindruck erwecken, dass eine Person eine Mitteilung geprüft hat, wenn eine solche Prüfung nicht stattgefunden hat. Ein Unternehmen kann einen natürlichen und professionellen Ton beibehalten, ohne die Art der Interaktion zu verschleiern.

Auch interne Transparenz ist wichtig. Die Mitarbeiter sollten erkennen können, wann ein Datenbankeintrag, eine Empfehlung oder ein Dokument von einem Mitarbeiter erstellt wurde. Andernfalls vermischt sich das Ergebnis mit menschlicher Arbeit, und Fehler lassen sich nur schwer zurückverfolgen.

Die Protokollierung muss geplant werden, bevor etwas schiefgeht

Wenn ein Mitarbeiter eine falsche Entscheidung trifft, muss das Unternehmen rekonstruieren, was genau passiert ist. Dazu reicht es nicht aus, lediglich das Endergebnis zu speichern. Zu den nützlichen Aufzeichnungen können die Anweisungen gehören, die der Mitarbeiter erhalten hat, die Informationen, auf die er zugegriffen hat, die von ihm aufgerufenen Tools, die von ihm unternommenen Maßnahmen sowie die von ihm eingeholten Genehmigungen. Das System sollte außerdem Fehler, wiederholte Versuche und alle nach menschlichem Eingreifen vorgenommenen Änderungen protokollieren.

Diese Protokolle unterstützen Sicherheitsuntersuchungen, die Qualitätsverbesserung und die Erfüllung gesetzlicher Auflagen. Außerdem ermöglichen sie es dem Unternehmen, einen Modellfehler von fehlerhaften Quelldaten, unzureichenden Berechtigungen oder einem unklaren Arbeitsablauf zu unterscheiden.

Die Protokollierung bringt jedoch eigene datenschutzrechtliche Aspekte mit sich. Die Protokolle können vertrauliche Eingabeaufforderungen, personenbezogene Daten oder sensible Dokumente enthalten. Daher sollten Aufbewahrungsfristen und Zugriffskontrollen festgelegt werden, anstatt zuzulassen, dass sich detaillierte Agentenverläufe unbegrenzt ansammeln.

Die Überwachung sollte sich auf relevante Verhaltensweisen konzentrieren: ungewöhnliche Datenmengen, Zugriff auf unerwartete Systeme, wiederholte Ausfälle, steigende Kosten und Vorgänge, die von den üblichen Mustern abweichen. Ein Protokoll, das niemand überprüft, bietet kaum Schutz.

Den Maßstab für akzeptable Leistung setzen

Ein Mitarbeiter kann den Anschein erwecken, erfolgreich zu sein, weil er die Aufgabe ohne offensichtliche Zwischenfälle erledigt hat. Das reicht jedoch nicht aus. Das Unternehmen sollte vor dem Einsatz messbare Standards festlegen. Dazu können Genauigkeit, Bearbeitungszeit, Eskalationsrate, Kosten pro Aufgabe und der Prozentsatz der Ergebnisse, die korrigiert werden müssen, gehören. Für risikoreiche Prozesse sind möglicherweise strengere Grenzwerte erforderlich als für administrative Tätigkeiten mit geringen Auswirkungen.

Bei der Bewertung sollten reale Fälle herangezogen werden, darunter auch schwierige und ungewöhnliche Beispiele, und nicht nur die für eine Demonstration ausgewählten, einwandfreien Eingaben. Der Agent muss mit unvollständigen Daten, widersprüchlichen Dokumenten und Anfragen getestet werden, die außerhalb seines Zuständigkeitsbereichs liegen.

Die Leistung kann sich im Laufe der Zeit ebenfalls ändern. Anbieter aktualisieren ihre Modelle, vernetzte Systeme entwickeln sich weiter und Geschäftsregeln ändern sich. Ein Agent, der vor drei Monaten noch zuverlässig funktionierte, kann sich nun anders verhalten, ohne dass sichtbare Änderungen an seiner Schnittstelle vorgenommen wurden.

Regelmäßige Tests sind daher Teil des Betriebs und nicht nur Teil des Startprozesses. Wesentliche Änderungen am Modell oder am Arbeitsablauf sollten eine neue Überprüfung auslösen, bevor der Agent wieder vollständig autonom arbeitet.

Einen menschlichen Verantwortlichen zuweisen

Ein KI-Agent sollte theoretisch niemals in der Verantwortung aller und praktisch in der Verantwortung von niemandem liegen. Für jeden Einsatz muss ein namentlich benannter Verantwortlicher aus dem Unternehmen bestimmt werden, der den Prozess versteht und für dessen fortdauernde Eignung verantwortlich ist. Technische Teams können zwar die Integration warten, die Sicherheitsabteilung kann Kontrollmaßnahmen festlegen und die Rechtsabteilung kann bestimmte Risiken prüfen, doch muss jemand entscheiden, ob der Agent noch immer dem geschäftlichen Zweck dient, für den er eingeführt wurde.

Der Eigentümer sollte die Leistung überprüfen, Änderungen genehmigen und sicherstellen, dass die Mitarbeiter wissen, wie sie Probleme melden können. Er sollte außerdem befugt sein, den Beauftragten bei veränderten Umständen einzuschränken oder zu suspendieren.

Die Zuständigkeit ist besonders wichtig, wenn ein Mitarbeiter abteilungsübergreifend tätig ist. Ein System, das die Bereiche Vertrieb, Finanzen und Kundenservice umfasst, kann leicht zwischen den organisatorischen Grenzen ins Leere laufen. Ohne einen klaren Entscheidungsträger führen Fehler zu Diskussionen über die Zuständigkeit, anstatt dass sie zügig behoben werden.

Ein Verfahren zum Herunterfahren vorbereiten

Unternehmen legen häufig fest, wie ein Agent seine Arbeit aufnimmt, ohne zu entscheiden, wie er sie beendet. Das Unternehmen benötigt eine einfache Möglichkeit, den Zugriff zu widerrufen, automatisierte Aktionen zu deaktivieren und die Kontrolle über den Prozess wieder in menschliche Hände zu legen. Dies kann nach einem Sicherheitsvorfall, einem Ausfall des Anbieters, einer unerwarteten Modellaktualisierung oder bei wiederholtem unzuverlässigem Verhalten erforderlich sein.

Das Abschaltverfahren sollte genügend Informationen für die Untersuchung sichern und gleichzeitig weitere Maßnahmen verhindern. Die Mitarbeiter müssen wissen, welcher manuelle Prozess den Agenten ersetzt und wer entscheidet, wann er wieder aktiviert werden kann.

Dies entspricht in der Praxis dem Entzug der Zugriffsrechte eines Mitarbeiters, wenn dieser eine Position verlässt. Ein Agent sollte nicht allein deshalb weiterhin mit den Systemen verbunden bleiben, weil sich die Zuständigkeit geändert hat oder das ursprüngliche Pilotprojekt beendet wurde.

Die Ausstiegsplanung gilt auch für Anbieter. Das Unternehmen sollte klären, ob Arbeitsabläufe, Eingabeaufforderungen, Protokolle und Konfigurationen bei einem Plattformwechsel übertragen werden können. Ein äußerst kompetenter Mitarbeiter kann dennoch eine schlechte strategische Entscheidung darstellen, wenn er nicht ersetzt werden kann, ohne den Prozess von Grund auf neu aufzubauen.

Stellenbeschreibung für einen Makler

Vor der Einführung sollte das Unternehmen in der Lage sein, eine Reihe prägnanter Fragen zu beantworten.

Zweck: Welches konkrete Ergebnis soll der Mitarbeiter erzielen?

Geltungsbereich: Welche Aufgaben fallen in den Zuständigkeitsbereich des Agenten, und welche verbleiben bei den Mitarbeitern?

Zugang: Welche Daten und Systeme darf es auslesen, und was darf es ändern?

Behörde: Welche Aufgaben kann es selbstständig erledigen?

Grenzen: Ab welcher finanziellen, rechtlichen oder betrieblichen Schwelle muss damit Schluss sein?

Verbote: Welche Handlungen sind niemals erlaubt?

Eskalation: Wer erhält Ausnahmegenehmigungen, und welche Informationen sind damit verbunden?

Offenlegung: Wie können Nutzer und externe Parteien erkennen, dass ein Mitarbeiter beteiligt ist?

Überwachung: Welche Handlungen und Entscheidungen werden aufgezeichnet und überprüft?

Leistung: Welches Maß an Genauigkeit, Kosten und Zuverlässigkeit ist akzeptabel?

Eigentumsverhältnisse: Wer ist für die Bereitstellung verantwortlich?

Herunterfahren: Wie kann der Agent deaktiviert und die Steuerung wieder in menschliche Hände zurückgegeben werden?

Diese Fragen mögen im Vergleich zum Versprechen autonomer Arbeit einschränkend erscheinen. In Wirklichkeit machen sie Autonomie jedoch erst nutzbar. Ein Mitarbeiter kann mehr Verantwortung übernehmen, wenn die Organisation weiß, wo diese Verantwortung beginnt und wo sie endet.

Autonomie erfordert mehr Management, nicht weniger

Der Reiz von KI-Agenten liegt darin, dass sie den Bedarf an ständiger menschlicher Anleitung verringern. Das mindert jedoch nicht den Bedarf an Management. Es verändert lediglich dessen Form. Anstatt jede Handlung direkt zu überwachen, müssen Unternehmen im Voraus Befugnisse, Berechtigungen, Kontroll- und Überprüfungsmechanismen festlegen. Je besser dieser Rahmen gestaltet ist, desto sicherer kann der Agent darin agieren. Einen Agenten ohne diese Grenzen einzusetzen, ist vergleichbar damit, einen Mitarbeiter einzustellen, ihm umfassenden Systemzugriff zu gewähren und ihm lediglich die Anweisung zu geben, “die Effizienz zu steigern”. Die Person würde um Klarstellung bitten. Der Agent hingegen könnte einfach anfangen zu handeln. Ein erfolgreicher Einsatz beginnt nicht mit der Frage, wie autonom die Technologie werden kann. Er beginnt mit der Entscheidung, welche Autonomie die Organisation zu gewähren bereit ist, unter welchen Bedingungen und unter wessen Verantwortung. Bevor ein KI-Agent eine Aufgabe erhält, muss er seine Aufgabe kennen. Bevor er Zugriff erhält, muss er seine Grenzen kennen.