Rogue AI Agents, Teil 3: Trust by Design und die CEO-Checkliste

Die ersten beiden Teile haben das Risiko und die Governance-Lücke beschrieben. Dieser letzte Teil zeigt, wie Unternehmen Vertrauen und Kontrolle von Anfang an in ihre KI-Prozesse einbauen.

Trust by Design: sechs Führungsprinzipien

Mehr Autonomie muss nicht bedeuten, auf Innovation zu verzichten. Sie verlangt aber, Vertrauen und Kontrolle von Anfang an in die Prozesse einzubauen. Der hier verwendete Rahmen Trust by Design bündelt diese Aufgabe in sechs Führungsprinzipien.

1. Klarheit: Die Mission definieren

Jeder KI-Agent braucht einen klar definierten geschäftlichen Zweck. Ein allgemeiner Auftrag wie dieser lässt zu viel offen:

«Nutze KI, um unseren Kundenservice zu verbessern.»

Klarer wäre:

«Dieser Agent erstellt Entwürfe für Kundenantworten ausschliesslich auf Basis freigegebener Wissensartikel. Er darf keine Nachrichten ohne menschliche Freigabe versenden.»

Je klarer der Auftrag, desto leichter lassen sich Grenzen, Verantwortlichkeiten und Erfolgskriterien definieren.

2. Kontrolle: Zugriff begrenzen

Ein KI-Agent sollte nur auf die Systeme und Daten zugreifen können, die er für seine Aufgabe benötigt. Wer Support-Tickets zusammenfasst, braucht keinen Zugriff auf Lohndaten. Wer Rechnungen vorbereitet, muss keine Kundendaten löschen dürfen.

Dieses Prinzip heisst Least Privilege: Die Berechtigungen werden auf das notwendige Mass begrenzt. Das reduziert den möglichen Schaden, falls der Agent eine Aufgabe falsch interpretiert, manipulierte Inhalte verarbeitet oder selbst kompromittiert wird.

3. Bestätigung: Menschen dort einbinden, wo Konsequenzen zählen

Eine automatische Terminbestätigung oder Versandinformation kann sinnvoll sein, ohne dass jedes Mal ein Mensch zustimmt. Anders sieht es bei Handlungen mit erheblichen finanziellen, rechtlichen oder personellen Folgen aus – ebenso dann, wenn Ruf oder Geschäftsbeziehungen betroffen sind. Hier sollte die menschliche Kontrolle erhalten bleiben. Dazu gehören beispielsweise:

• Zahlungen und finanzielle Verpflichtungen
• Vertragsänderungen
• Löschung kritischer Daten
• wichtige externe Kundenkommunikation
• Personalentscheide und Disziplinarmassnahmen
• rechtliche, medizinische oder regulatorische Einschätzungen
• Änderungen an sicherheitskritischen Systemen

Die Grenze lässt sich so ziehen: KI darf vorbereiten; Menschen entscheiden dort, wo Konsequenzen erheblich oder schwer rückgängig zu machen sind. Um beim Terminator-Vergleich zu bleiben: Dem System werden nicht die Startcodes überlassen. Für ein Unternehmen heisst das, einem KI-Agenten keine unkontrollierte Autorität über kritische Prozesse zu geben.

4. Nachvollziehbarkeit: Handlungen sichtbar machen

Ein Unternehmen sollte im Nachhinein beantworten können:

• Auf welche Daten hat der Agent zugegriffen?
• Welche Aktionen hat er ausgeführt?
• Welche Informationen hat er verwendet?
• Welche Person hat eine Aktion genehmigt?
• Was war das Ergebnis?

Solche Aufzeichnungen ermöglichen es, Verantwortung zuzuordnen. Ohne Nachvollziehbarkeit lassen sich Vorfälle kaum untersuchen, Fehler korrigieren oder Entscheidungen erklären. Auch aus Situationen, in denen ein Schaden gerade noch vermieden wurde, kann das Unternehmen dann nur schwer lernen. Es geht also nicht um Bürokratie um ihrer selbst willen.

5. Eindämmung: Fehler einkalkulieren

Kein System arbeitet fehlerfrei. Bei der Gestaltung eines KI-Prozesses sollte die Führung deshalb mit Fehlern rechnen und fragen: Wie gross kann der Schaden werden, wenn es passiert? Der mögliche Schadensradius lässt sich begrenzen, etwa durch folgende Massnahmen:

• zuerst in einer Testumgebung einsetzen
• mit einem klar abgegrenzten Prozess starten
• Berechtigungen reduzieren
• Freigabeschritte definieren
• Volumen und Häufigkeit begrenzen
• ungewöhnliches Verhalten überwachen
• einen klaren Kill Switch oder Pausenmechanismus vorsehen

Diese Vorkehrungen gehören zu einer professionellen Systemgestaltung. Sie machen es möglich, Neues zu erproben, ohne unnötig grosse Risiken einzugehen.

6. Gewissen: Automatisierung an Werten ausrichten

Technische Machbarkeit allein ist kein ausreichender Grund für Automatisierung. Neben Kosten und Produktivität sollte die Führung vor einer Einführung auch die Menschen und Werte berücksichtigen, die davon betroffen sind:

• Respektiert dieser Prozess die Menschen, deren Daten verarbeitet werden?
• Würden wir einer Kundin offen erklären, wie dieser Prozess funktioniert?
• Würden sich Mitarbeitende dadurch fair und respektvoll behandelt fühlen?
• Stärkt die Automatisierung Verantwortung oder macht sie diese unsichtbar?
• Dient der Prozess Menschen oder reduziert er menschliche Beteiligung nur um ihrer selbst willen?

Ein einfacher Führungstest lautet:

Wenn unsere beste Kundin, unser angesehenster Mitarbeitender und unser zukünftiges Ich diesen Entscheid prüfen würden, wären wir noch immer damit einverstanden?

Fällt die Antwort negativ aus, sollte die Gestaltung des Prozesses überdacht werden. Das Problem liegt dann wahrscheinlich weniger in der Technologie selbst als in der Art, wie sie eingesetzt werden soll.

Ethik ist keine Innovationsbremse

Datenschutz, Fairness, Transparenz und Sicherheit sind wichtige Bestandteile der KI-Ethik. Für die Unternehmensführung geht es darüber hinaus um die Frage, ob der Einsatz von Technologie zu den Werten passt, für die das Unternehmen stehen möchte. Viele der folgenden Prinzipien sind auch in der christlichen Wirtschaftsethik verankert:

• Menschenwürde: Menschen sind mehr als Datenpunkte oder Kostenfaktoren.
• Verantwortungsvolle Verwaltung: Macht, Daten, Kapital und Technologie sollen verantwortungsvoll eingesetzt werden.
• Wahrhaftigkeit: Unsichere Ergebnisse dürfen nicht als Gewissheit verkauft werden.
• Gerechtigkeit: Automatisierung darf Menschen nicht stillschweigend benachteiligen.
• Verantwortung: Bequemlichkeit hebt persönliche Verantwortung nicht auf.
• Dienst: Technologie sollte letztlich Menschen dienen.

Diese Werte sind nicht ausschliesslich christlich. Sie finden sich ebenso in verantwortungsvoller Unternehmensführung, demokratischen Institutionen und der Schweizer Vertrauenskultur. Gemeinsam erinnern sie daran, dass ein effizienter Prozess nicht automatisch ein verantwortbarer Prozess ist.

Die Lektion von Jehoschafat

Die Frage nach verantwortbarem Handeln ist älter als jede Technologie. In der biblischen Geschichte von König Jehoschafat geht dieser eine Allianz mit einem anderen König ein. Mehr Ressourcen, mehr Stärke und ein gemeinsames Ziel lassen sie zunächst strategisch plausibel erscheinen. Die Geschichte wirft jedoch die Frage auf, ob ein machbarer Plan auch ein richtiger Plan ist.

Darin liegt die Parallele zur heutigen Unternehmensführung. Eine KI-Initiative kann wirtschaftlich überzeugen, Kosten senken, Prozesse beschleunigen und die Produktivität erhöhen. Trotzdem bleibt zu prüfen: Passt die Art, wie wir dieses Ziel erreichen, zu dem Unternehmen, das wir sein wollen? Gute Führung beurteilt nicht nur, ob etwas funktioniert, sondern auch, ob es nachhaltig, verantwortungsvoll und vertrauenswürdig ist.

Die praktische CEO-Checkliste

Bevor Sie den Einsatz von KI-Agenten ausbauen, sollte Ihre Geschäftsleitung zehn Fragen beantworten können:

1. Welche KI-Tools und Agenten werden bereits eingesetzt?
2. Auf welche Systeme und Daten können sie zugreifen?
3. Welche Aktionen können sie selbstständig ausführen?
4. Welche Handlungen benötigen zwingend eine menschliche Freigabe?
5. Können wir nachvollziehen, was ein Agent getan hat?
6. Können wir einen Agenten kurzfristig stoppen oder deaktivieren?
7. Wer ist für jeden KI-gestützten Prozess verantwortlich?
8. Wie werden kritische KI-Ergebnisse geprüft?
9. Nutzen Mitarbeitende KI ausserhalb der kontrollierten Unternehmensumgebung?
10. Was ist unser Vorgehen bei einem Daten-, Finanz-, Compliance- oder Reputationsvorfall?

Kann Ihr Führungsteam noch nicht alle Fragen sicher beantworten, ist das kein Grund zur Panik. Die offenen Punkte liefern einen konkreten Ausgangspunkt, um Zuständigkeiten und Kontrollen zu klären.

Die strategische Chance für Schweizer KMU

Die beschriebenen Risiken sprechen nicht gegen den Einsatz von KI. Gerade für KMU können Agenten nützlich sein, beispielsweise in folgenden Bereichen:

• Kundenservice
• Angebotserstellung
• Lead-Qualifizierung
• Dokumentenverarbeitung
• Reporting
• internem Wissensmanagement
• Beschaffung
• administrativen Prozessen
• operativer Koordination

Kleinere Unternehmen haben häufig begrenzte administrative Kapazitäten. KI kann hier wiederkehrende Arbeit reduzieren, ohne dass dafür ein grosses internes Technologie-Team nötig ist. Für einen langfristigen Wettbewerbsvorteil kommt es allerdings weniger auf eine möglichst schnelle als auf eine glaubwürdige Einführung an. Das zeigt sich etwa daran, ob ein Unternehmen seinen Kunden Folgendes sagen kann:

«Wir nutzen KI, um Sie schneller und besser zu bedienen. Gleichzeitig schützen wir Ihre Daten und behalten qualifizierte Menschen dort in der Verantwortung, wo es darauf ankommt.»

Eine solche Erklärung sagt mehr aus als das Etikett «AI-powered». Gerade in der Schweiz kann die Art, wie ein Unternehmen KI führt und dabei Vertrauen erhält, zu einem Differenzierungsfaktor werden.

Die eigentliche Führungsfrage

Während sich die Technologie schnell verändert, bleiben die grundlegenden Fragen guter Unternehmensführung bestehen. Leistungsfähigere Agenten werden mehr Aufgaben übernehmen können. Damit wächst auch der Anreiz, weitere Entscheidungen, Datenzugriffe und Kundeninteraktionen zu automatisieren. Die Geschäftsleitung muss dabei weiterhin beantworten: Was für ein Unternehmen wollen wir sein?

Ausgezeichnete Systeme verhindern keine schlechten Entscheidungen, und beeindruckende Automatisierung ersetzt keine klare Verantwortung. Ein Unternehmen kann effizienter werden und zugleich das Vertrauen verlieren, das es erfolgreich gemacht hat. Langfristiger Erfolg wird deshalb nicht allein davon abhängen, wie viel automatisiert wird, sondern auch davon, ob Kunden, Mitarbeitende und Partner dem Unternehmen danach noch vertrauen.

Die Serie im Überblick

• Teil 1: Wenn KI in Ihrem Namen handelt
• Teil 2: Das Schweizer Governance Gap
• Teil 3: Trust by Design und die CEO-Checkliste (dieser Beitrag)