Rogue AI Agents, Teil 1: Wenn KI in Ihrem Namen handelt

Dies ist der erste von drei Teilen der Serie Rogue AI Agents. Er klärt, was KI-Agenten von klassischer Software unterscheidet und wo das eigentliche Risiko liegt.

Vom Werkzeug zum handelnden System

Bei klassischer Geschäftssoftware geben Menschen die einzelnen Schritte vor: Eine Tabellenkalkulation rechnet mit den eingegebenen Daten, ein CRM speichert die Einträge der Mitarbeitenden, und ein E-Mail-System versendet die verfasste Nachricht. Auch frühere KI-Anwendungen dienten vor allem der Unterstützung. Sie entwarfen Texte, machten Vorschläge, fassten Informationen zusammen oder beantworteten Fragen.

KI-Agenten sind dagegen darauf ausgelegt, ein Ziel zu verfolgen und dafür mehrere Aktionen auszuführen. Ein Unternehmen könnte einem Agenten beispielsweise folgenden Auftrag geben:

«Finde alle unbezahlten Rechnungen, die älter als 30 Tage sind, erstelle Erinnerungsvorschläge, aktualisiere das CRM und bereite einen Bericht für die Finanzabteilung vor.»

Ein leistungsfähiger Agent kann daraufhin Systeme durchsuchen, Daten interpretieren, Inhalte erstellen, Felder aktualisieren und weitere Schritte vorbereiten. Das kann Zeit sparen, Fehler reduzieren und schnellere Reaktionen ermöglichen. Mitarbeitende werden von wiederkehrenden Aufgaben entlastet.

Damit verändert sich allerdings auch, was das Unternehmen delegiert. Es nutzt nicht mehr nur ein Werkzeug, sondern überträgt eine Abfolge von Entscheidungen und Handlungen. Gibt ein Chatbot eine falsche Antwort, ist das unangenehm. Hat ein Agent zusätzlich Zugriff auf E-Mail, Kundendaten, Buchhaltung oder operative Systeme, kann dieselbe falsche Einschätzung unmittelbar Folgen haben:

eine Nachricht an den falschen Kunden
eine falsch geänderte Kundenakte
eine unberechtigte Datenfreigabe
eine fehlerhafte Rechnung
eine falsche Systemänderung
hunderte automatisch wiederholte Fehler

Organisatorisch ähneln KI-Agenten deshalb eher digitalen Mitarbeitenden als klassischer Software: Sie erhalten Zugriffsrechte und können selbstständig Schritte ausführen. Anders als Menschen besitzen sie jedoch kein natürliches Verständnis für Verantwortung oder die Folgen ihres Handelns.

Was «rogue AI» im Unternehmensalltag wirklich bedeutet

«Rogue AI» klingt nach einer rebellierenden oder böswilligen Maschine. Im Unternehmensalltag beschreibt der Begriff jedoch ein viel näherliegendes Problem: Ein Rogue AI Agent ist hier ein System, dessen tatsächliche Handlungsfreiheit grösser ist als die Kontrolle des Unternehmens. Dafür braucht es keine böse Absicht. Es genügt beispielsweise, dass Berechtigungen zu weit reichen oder Zuständigkeiten unklar bleiben:

Ein Agent darf Kundenantworten erstellen und kann sie versehentlich auch selbst versenden.
Ein Agent erhält Zugriff auf mehr Kundendaten, als für seine Aufgabe notwendig wäre.
Ein Agent liest eine manipulierte E-Mail oder Webseite und interpretiert darin enthaltene Anweisungen als Teil seiner Aufgabe.
Ein Agent wiederholt denselben Fehler über hunderte Datensätze.
Mitarbeitende verbinden KI-Tools mit internen Daten, ohne dass diese Nutzung geprüft oder freigegeben wurde.
Niemand kann im Nachhinein nachvollziehen, was ein Agent getan hat und wer dafür verantwortlich war.

KI ist deshalb nicht grundsätzlich unkontrollierbar. Problematisch wird es, wenn ein Unternehmen mehr Autonomie gewährt, als seine Regeln, Zuständigkeiten und Kontrollen absichern können. Mit dieser Governance sollte sich die Geschäftsleitung anhand von drei konkreten Fragen befassen:

Welche KI-Systeme können in unserem Unternehmen handeln?
Auf welche Daten und Systeme haben sie Zugriff?
Welche Handlungen können sie ohne menschliche Freigabe ausführen?

Wenn diese Fragen nicht klar beantwortet werden können, besteht bereits eine Governance-Lücke.

Die eigentliche Terminator-Lektion

Gerade weil die Terminator-Geschichte überzeichnet, macht sie das Kontrollproblem deutlich. Skynets Intelligenz allein ist in der Erzählung nicht die Gefahr. Gefährlich wird das System, weil es Kontrolle über kritische Infrastruktur erhält und ohne wirksame menschliche Aufsicht handeln kann. Die Warnung lautet also nicht pauschal «Maschinen sind gefährlich», sondern: Fähigkeit ohne Verantwortung und Kontrolle ist gefährlich.

Der Vergleich soll Business-KI nicht mit Skynet gleichsetzen. Unternehmen können aber im kleineren Massstab ein ähnliches strukturelles Problem schaffen:

Ein Agent hat Zugriff auf Kunden-, Finanz- und operative Systeme.
Er kann über mehrere Systeme hinweg handeln.
Seine Entscheidungen sind schwer nachvollziehbar.
Niemand trägt klar die Verantwortung für seine Aktionen.
Mitarbeitende verlassen sich zunehmend auf seine Ergebnisse.
Die Geschäftsleitung erkennt Fehler erst, nachdem ein Schaden entstanden ist.

Solche Situationen lassen sich ohne Science-Fiction erklären: Es fehlen wirksame Regeln und klare Verantwortlichkeiten. Die Aufgabe der Führung ist daher nicht, KI möglichst kleinzuhalten, sondern menschliches Urteilsvermögen dort zu erhalten, wo Entscheidungen bedeutende Folgen haben.

Die Serie im Überblick

Teil 1: Wenn KI in Ihrem Namen handelt (dieser Beitrag)
Teil 2: Das Schweizer Governance Gap
Teil 3: Trust by Design und die CEO-Checkliste