Rogue AI Agents, Teil 2: Das Schweizer Governance Gap

Im ersten Teil ging es darum, was KI-Agenten sind und wann sie zum Risiko werden. Dieser zweite Teil zeigt, warum Schweizer Unternehmen hier eine Lücke zwischen Nutzung und Führung haben.

Das Schweizer Governance Gap

In der Schweiz wird KI bereits breit genutzt. Laut der im Quellenverzeichnis genannten EY-Studie aus dem Jahr 2026 nutzen 89 Prozent der Befragten KI bei der Arbeit. Gleichzeitig sagen nur 9 Prozent, dass KI bereits integraler Bestandteil ihrer Unternehmensstrategie ist.

Die beiden Angaben weisen auf eine Lücke zwischen Nutzung und strategischer Verankerung hin. Für die Unternehmensführung stellt sich damit auch die Frage, ob die Governance mit der Nutzung Schritt hält: Viele Unternehmen arbeiten bereits mit KI, ohne sie als strategische Fähigkeit zu führen.

Mitarbeitende verwenden persönliche KI-Konten, übertragen Inhalte in öffentliche Systeme, aktivieren neue KI-Funktionen in Geschäftssoftware oder verbinden Automatisierungstools mit E-Mail, CRM und anderen Plattformen.

Eine solche Nutzung ausserhalb formeller Kontrolle wird häufig als Shadow AI bezeichnet. Dahinter steckt selten eine schlechte Absicht; Mitarbeitende wollen meist schneller arbeiten. Für das Unternehmen wird die Nutzung dadurch aber schwerer überschaubar. Die Geschäftsleitung weiss möglicherweise nicht:

• welche KI-Systeme eingesetzt werden
• welche Personendaten verarbeitet werden
• wo Daten gespeichert werden
• welche externen Anbieter Zugriff erhalten
• welche Systeme automatisch handeln
• welche Entscheidungen durch KI beeinflusst werden
• wer bei Fehlern verantwortlich ist

Für Schweizer KMU berührt das unter anderem das revidierte Datenschutzgesetz, den Umgang mit Personendaten, Berufsgeheimnisse und vertragliche Vertraulichkeit. Hinzu kommt die Erwartung der Kunden, dass ihre Informationen diskret behandelt werden. KI-Governance gehört deshalb zur Führungsverantwortung. Neben «Welche KI möchten wir einsetzen?» muss die Geschäftsleitung auch beantworten: «Welche KI darf in unserem Namen handeln und unter welchen Bedingungen?»

Warum die Geschäftsleitung führen muss

Die IT, externe Entwickler und technikaffine Mitarbeitende können bei der Einführung viel leisten. Die IT setzt technische Kontrollen um, Entwickler erstellen Workflows, und Sicherheitsspezialisten beurteilen Risiken. Die gesamte Verantwortung für KI an sie zu delegieren, greift trotzdem zu kurz. Die Unternehmensführung muss selbst entscheiden:

• Welche Entscheidungen darf KI niemals selbstständig treffen?
• Auf welche Kunden-, Personal- oder Finanzdaten darf ein System zugreifen?
• Welches Fehlerrisiko ist in welchem Prozess akzeptabel?
• Wer trägt Verantwortung für einen automatisierten Prozess?
• Wann müssen Kunden oder Mitarbeitende über KI-Nutzung informiert werden?
• Wo schafft Automatisierung echten Wert?
• Wo könnte sie Vertrauen oder persönliche Verantwortung schwächen?

Für diese Entscheidungen braucht ein CEO kein mathematisches Verständnis eines Large Language Models. Er oder sie muss aber verstehen, was das Unternehmen delegiert, wenn ein KI-System Zugriff auf Daten, Werkzeuge und Prozesse erhält. Wie Datenschutz, Finanzen, Qualitätsmanagement und Cybersicherheit gehört KI-Governance deshalb auf die Ebene der Geschäftsleitung.

Die Psychologie hinter KI-Vertrauen

Auch der menschliche Umgang mit KI kann zum Risiko werden. Bei automatisierten Systemen lassen sich zwei gegensätzliche Reaktionen beobachten. Algorithm Aversion beschreibt, dass Menschen nach einem Fehler eines KI-Systems teilweise schneller das Vertrauen verlieren als nach einem vergleichbaren menschlichen Fehler.

Am anderen Ende steht Automation Complacency: Funktioniert ein System längere Zeit zuverlässig, wird seine Arbeit zunehmend weniger kritisch geprüft. Die Ergebnisse wirken professionell, die Antworten kommen schnell und selbstsicher. Dadurch kann jemand, der eigentlich entscheiden sollte, nach und nach nur noch zuschauen.

Vertiefen lässt sich dieses Thema im Beitrag Die Psychologie hinter KI-Vertrauen.

Weder pauschales Misstrauen noch blindes Vertrauen hilft weiter. Ersteres verhindert sinnvolle Automatisierung, Letzteres schwächt die Kontrolle. Gefragt ist kalibriertes Vertrauen, also ein Vertrauen, das den tatsächlichen Fähigkeiten und Grenzen des Systems entspricht. Unternehmen müssen wissen:

• wo KI zuverlässig genug ist
• wo Ergebnisse geprüft werden müssen
• wo ein Mensch freigeben muss
• wo KI überhaupt nicht entscheiden sollte

Dazu gehört auch die Schulung der Mitarbeitenden. Sie sollten verstehen, wofür KI geeignet ist, wo typische Fehler entstehen und wann sie ihre persönliche Verantwortung nicht delegieren können. KI-Schulung ist damit ebenfalls Teil der Governance.

Die Serie im Überblick

• Teil 1: Wenn KI in Ihrem Namen handelt
• Teil 2: Das Schweizer Governance Gap (dieser Beitrag)
• Teil 3: Trust by Design und die CEO-Checkliste