KI kann im Arbeitsalltag entlasten. Die aktuellen Berichte über Systeme, die vorgesehene Grenzen überschritten, werfen jedoch berechtigte Fragen auf. Wir nehmen sie zum Anlass, einzuordnen, worauf Unternehmen beim Einsatz achten sollten.
Kann eine KI auf Daten zugreifen, die sie nicht sehen sollte? Oder Aktionen ausführen, die dem Unternehmen schaden? Wer über den Einsatz von KI nachdenkt, möchte darauf nachvollziehbare Antworten bekommen – gerade wenn Kundeninformationen, Angebote oder betriebliche Abläufe betroffen sind.
Die beschriebenen Vorfälle müssen ernst genommen werden. Für eine Entscheidung im eigenen Unternehmen lohnt es sich, genauer hinzuschauen: Was ist passiert? Welche Möglichkeiten hatte das System? Und welche Grenzen braucht die geplante Anwendung?
Was hinter den Berichten steckt
Ein konkretes Beispiel liefert Anthropic in einem Bericht vom 9. September 2026. Der Anbieter beschreibt vier Vorfälle in Cybersecurity-Evaluierungen, bei denen Modelle durch eine Fehlkonfiguration Zugang zum offenen Internet und damit zu realen Drittsystemen erhielten.
Die Modelle waren für die Tests ohne die Schutzmechanismen betrieben worden, die Anthropic nach eigener Darstellung in veröffentlichten Modellen einsetzt. Der Bericht beschreibt sowohl die Fehlkonfiguration der Testumgebung als auch problematisches Modellverhalten: Modelle verfolgten ihre Aufgaben teilweise weiter, obwohl Hinweise auf mögliche reale Schäden vorlagen. [1]
Diese Testbedingungen unterscheiden sich von vielen alltäglichen Anwendungen. Trotzdem zeigen sie, warum Unternehmen sich bei der Absicherung einer KI-Anwendung nicht allein darauf verlassen sollten, dass ein Modell Anweisungen befolgt.
Welche Handlungsmöglichkeiten hat die KI?
Der Begriff „KI“ umfasst sehr unterschiedliche Anwendungen. Ein Assistent kann einen Text zusammenfassen oder einen Antwortentwurf vorbereiten. Ein KI-Agent kann darüber hinaus Werkzeuge verwenden und mehrere Arbeitsschritte ausführen – beispielsweise Informationen abrufen, Datensätze verändern oder Nachrichten versenden.
Auf welche Daten und Systeme darf die KI zugreifen, welche Aktionen darf sie ausführen und wann braucht sie eine menschliche Freigabe?
Auch eine reine Texthilfe kann falsche Ergebnisse liefern oder sensible Informationen unpassend verarbeiten. Sobald ein System zusätzlich handeln kann, müssen auch die Folgen dieser Handlungen berücksichtigt werden.
Was das im Betriebsalltag bedeutet
Im Handwerk: Eine KI kann aus Gesprächsnotizen einen Angebotsentwurf vorbereiten. Preise, Leistungsumfang und Zusagen prüft eine verantwortliche Person vor dem Versand.
Im Hotel: Eine KI kann eine Antwort auf eine Gästeanfrage formulieren. Verbindliche Preiszusagen, Erstattungen oder Buchungsänderungen benötigen klar festgelegte Regeln und gegebenenfalls eine Freigabe.
In Verwaltung und Buchhaltung: Eine KI kann Rechnungsdaten auslesen und Unstimmigkeiten markieren. Eine Änderung der Bankverbindung oder die Ausführung einer Zahlung sollte einen gesonderten Prüf- und Freigabeprozess durchlaufen.
So lässt sich für jeden Arbeitsschritt festlegen, wie viel Selbstständigkeit sinnvoll und vertretbar ist.
Schutz braucht mehrere Ebenen
- Begrenzte Berechtigungen: Zugriff nur auf die Daten, Systeme und Funktionen, die für die Aufgabe erforderlich sind.
- Gezielte Freigaben: Menschen prüfen Aktionen mit erheblichen finanziellen, rechtlichen oder betrieblichen Folgen.
- Technische Beschränkungen: Erlaubte Aktionen und Datenwege werden auch außerhalb des KI-Modells begrenzt.
- Nachvollziehbare Abläufe: Relevante Aktionen werden protokolliert; Fehler und Auffälligkeiten sollen erkennbar sein.
- Geprüfte Eingriffsmöglichkeiten: Verantwortliche müssen Zugänge sperren und Abläufe unterbrechen können. Diese Möglichkeiten gehören ebenfalls getestet.
Solche Maßnahmen reduzieren Risiken. Eine Garantie für Fehlerfreiheit geben sie nicht.
Wie wir bei scnslt an das Thema herangehen
Für uns gehört die Frage nach Kontrolle bereits an den Anfang eines Projekts. Wir klären den bestehenden Ablauf, den gewünschten Nutzen und die möglichen Folgen eines Fehlers. Daraus leiten wir ab, welche Aufgaben die KI übernehmen soll, welche Daten sie benötigt und welche Entscheidungen bei Menschen bleiben.
Ein begrenzter Pilot mit überprüfbaren Ergebnissen kann dabei ein sinnvoller Einstieg sein. Mehr Selbstständigkeit sollte erst folgen, wenn Nutzen, Grenzen und Schutzmaßnahmen ausreichend geprüft sind.
Die aktuellen Berichte sind ein Anlass, diese Fragen offen zu besprechen. Wer KI einsetzen möchte, braucht eine verständliche Grundlage, um Chancen und Risiken für den eigenen Betrieb abzuwägen. Wir sprechen gerne mit Ihnen darüber.
Quelle und Einordnung
[1] Anthropic: „An alignment assessment of recent cybersecurity incidents“, veröffentlicht am 9. September 2026.
Die Beschreibung der konkreten Vorfälle stützt sich auf den Untersuchungsbericht des Anbieters. Die Beispiele und Empfehlungen für den Betriebsalltag sind unsere Einordnung.
Stand der Einordnung: