Der Fall, der den Standard setzte
Der Chatbot versprach, das Unternehmen haftete
Im Jahr 2022 verlor der Kanadier Jake Moffatt seine Großmutter und fragte den Chatbot von Air Canada nach Trauertarifen. Der Bot antwortete, Moffatt könne ein Ticket zum vollen Preis kaufen und den Rabatt nachträglich beantragen. Das war falsch – die eigenen Richtlinien der Fluggesellschaft ließen keine rückwirkende Erstattung zu, und Air Canada wies seinen Anspruch zurück.
Moffatt zog vor die zuständige Streitbeilegungsstelle, die 2024 zu seinen Gunsten entschied. Die Verteidigung von Air Canada war bemerkenswert: Das Unternehmen argumentierte, der Chatbot sei eine eigenständige juristische Einheit, die für ihr eigenes Handeln verantwortlich sei. Das Gericht wies dies klar zurück – der Chatbot ist Teil der Website des Unternehmens, und das Unternehmen ist für alle Informationen darauf verantwortlich, ob sie von einer statischen Seite oder einem Bot stammen.
Die Summe war bescheiden, rund 650 kanadische Dollar. Das Prinzip war es nicht: Ein Unternehmen haftet für das, was seine KI sagt und tut. Dieses Prinzip ist inzwischen das Fundament der europäischen Regulierung.
Die Regulierung
Die KI-Verordnung: Wo die Anforderungen heute stehen
Die KI-Verordnung der EU (AI Act) ist stufenweise in Kraft getreten. Die Verbote inakzeptabler KI gelten seit Februar 2025, und am 2. August 2026 wurden die Transparenzpflichten aus Artikel 50 durchsetzbar: Chatbots und andere KI-Systeme, die mit Menschen interagieren, müssen klar offenlegen, dass der Nutzer mit einer KI spricht, und KI-generierte Inhalte müssen maschinell erkennbar sein. Verstöße können bis zu 15 Mio. Euro oder 3 Prozent des weltweiten Umsatzes kosten.
Die Anforderungen an Hochrisikosysteme, darunter KI für Personalauswahl, Kreditwürdigkeitsprüfung und den Zugang zu wesentlichen Diensten, wurden mit dem sogenannten Digital Omnibus auf Dezember 2027 verschoben. Ein Freifahrtschein ist der Aufschub jedoch nicht: Die Anforderungen an Risikomanagement, Protokollierung, menschliche Aufsicht und Dokumentation stehen fest, und Systeme, die jetzt eingeführt werden, müssen sie erfüllen können.
Zugleich zog die EU-Kommission ihren Vorschlag für eine eigene KI-Haftungsrichtlinie 2025 zurück. Die Folge: Die Haftung für KI-Fehler richtet sich nach nationalem Recht – und dort gilt die Moffatt-Logik: Wer die KI in Betrieb nimmt, haftet für das, was sie gegenüber Kunden und der Außenwelt sagt und tut.
Das Risiko
Diese Fragen müssen Sie beantworten können
- Welche KI-Systeme haben Sie? Die meisten Organisationen haben mehr, als sie glauben – eingekauft, in SaaS-Produkte eingebettet und selbst entwickelt. Ohne vollständiges Inventar kann niemand das Risiko bewerten.
- Wem gehören sie? Jede KI braucht einen benannten Verantwortlichen für das, was sie sagt und tut – so wie Air Canada ihn für ihren Chatbot hätte haben sollen.
- Worauf haben sie Zugriff? Ein Chatbot, der Preislisten und Kundendaten lesen kann, kann auch Rabatte versprechen und Daten preisgeben. Der Zugriff bestimmt das Schadenspotenzial.
- Können Sie es dokumentieren? Protokollierung und Nachvollziehbarkeit sind sowohl eine Anforderung der Verordnung als auch Ihr einziger Nachweis, wenn es zum Streitfall kommt.
- Wissen Ihre Kunden, dass sie mit einer KI sprechen? Die Transparenzpflicht aus Artikel 50 gilt jetzt und wird von den nationalen Aufsichtsbehörden durchgesetzt.
KI-Compliance ist Zugriffsmanagement
Die Diskussion über KI-Haftung endet fast immer an derselben Stelle: Was konnte das System, und wer hatte es ihm erlaubt? Ein KI-Agent oder Chatbot ist in der Praxis eine nicht-menschliche Identität mit Zugriffen, Berechtigungen und Handlungsspielraum – und muss als solche gesteuert werden.
Das bedeutet minimale Rechte: Der Kundenservice-Bot soll die freigegebenen Antworten lesen können, nicht das gesamte Intranet. Es bedeutet Verantwortung und Lebenszyklus: Die KI wird über einen kontrollierten Prozess angelegt, in festen Abständen rezertifiziert und stillgelegt, wenn sie nicht mehr gebraucht wird. Und es bedeutet Nachvollziehbarkeit: Wer hat der KI wann welchen Zugriff gegeben, und wofür hat sie ihn genutzt?
Mit diesen Disziplinen sind Artikel 50 und die Dokumentationspflichten kein Feuerwehreinsatz, sondern ein Auszug aus Systemen, die Sie bereits im Griff haben. Ohne sie ist jedes neue KI-System ein Moffatt-Fall, der nur darauf wartet, einzutreten.
Wo sollten Sie anfangen?
Beim Inventar und den Zugriffen. Erfassen Sie Ihre KI-Systeme, benennen Sie für jedes einen Verantwortlichen, und prüfen Sie, worauf sie tatsächlich zugreifen können. Es ist dieselbe Übung wie bei Servicekonten und API-Schlüsseln – KI-Agenten sind lediglich die neuesten nicht-menschlichen Identitäten in der Reihe.
Darauf lässt sich die Compliance aufbauen: Transparenz gegenüber den Nutzern, Protokollierung des Systemverhaltens und Dokumentation, die Sie vorlegen können, wenn die Aufsichtsbehörde oder ein unzufriedener Kunde fragt. Je früher das Zugriffsmanagement steht, desto günstiger wird der Rest.
Wissen Sie, was Ihre KI in Ihrem Namen versprechen kann?
Ein IAM Healthcheck erfasst Ihre Identitäten und Zugriffe – Menschen, Servicekonten und KI-Agenten – und liefert Ihnen einen priorisierten Plan, bevor die Aufsicht oder Ihre Kunden Fragen stellen. Ergebnisse auf Englisch, Dialog auf Deutsch.
