KI-Risikomanagement wird für Unternehmen zunehmend zu einer zentralen Aufgabe. Denn mit der Integration Künstlicher Intelligenz in Geschäfts- und Produktionsprozesse entstehen neue Anforderungen an Sicherheit, Verantwortlichkeiten und Kontrolle. Der Digitalverband Bitkom hat dazu den kostenfreien Leitfaden „Verantwortungsvoller KI-Einsatz: Risiken verstehen, steuern und versichern“ veröffentlicht. Die Publikation beschreibt typische Schadensszenarien und zeigt, mit welchen organisatorischen und technischen Maßnahmen Unternehmen KI-bezogene Risiken begrenzen können.
KI-Risikomanagement gewinnt mit zunehmender Automatisierung an Bedeutung
Künstliche Intelligenz übernimmt in Unternehmen immer mehr Aufgaben. Nach Angaben des Bitkom setzen bereits 57 Prozent der Unternehmen in Deutschland KI ein. Weitere 38 Prozent planen oder diskutieren entsprechende Anwendungen. Mit dieser Entwicklung rückt neben der Leistungsfähigkeit der Systeme auch deren kontrollierter Betrieb stärker in den Fokus.
Fehlerhafte Prognosen, unberechtigte Zahlungen oder automatisierte Fehlentscheidungen können wirtschaftliche Schäden verursachen. Besondere Herausforderungen entstehen, wenn KI-Systeme tief in bestehende Geschäftsprozesse integriert sind und ihre Ergebnisse unmittelbar weitere Aktionen auslösen.
„KI kann vorhandene Prozesse deutlich schneller und effizienter machen, zugleich besteht aber die Gefahr, dass sie bestehende Risiken deutlich verstärkt“, erklärt Lukas Spohr, Experte für Digital Insurance und InsurTech beim Bitkom. Fehler könnten sich schneller verbreiten, größere Auswirkungen haben und nachträglich schwieriger nachvollziehbar sein.
Autonome KI-Agenten erhöhen die Anforderungen an Kontrollmechanismen
Ein Schwerpunkt des Leitfadens liegt auf sogenannten KI-Agenten. Anders als Systeme, die lediglich Informationen auswerten oder Empfehlungen erstellen, können agentische KI-Anwendungen eigenständig Aufgaben planen und Aktionen ausführen. Damit erweitert sich ihr Handlungsspielraum innerhalb betrieblicher Prozesse.
Für Unternehmen ergeben sich daraus zusätzliche Anforderungen an die technische und organisatorische Absicherung. Zugriffsrechte müssen begrenzt, kritische Aktionen durch Freigabeprozesse abgesichert und automatisierte Abläufe überwacht werden. Auch die menschliche Kontrolle spielt eine wesentliche Rolle, insbesondere bei Entscheidungen mit potenziell hohen wirtschaftlichen oder sicherheitsrelevanten Auswirkungen.
In automatisierten Industrieprozessen ist diese Unterscheidung besonders relevant. Werden KI-basierte Entscheidungen mit betrieblichen IT-Systemen oder operativen Abläufen verknüpft, müssen Verantwortlichkeiten und Eingriffsmöglichkeiten eindeutig definiert sein. Entscheidend ist dabei nicht allein die Qualität einzelner KI-Ergebnisse, sondern auch die Frage, welche Folgeaktionen ein System auslösen darf.
KI-Governance und Security als Grundlage für kontrollierten Betrieb
Der Bitkom-Leitfaden behandelt zentrale Qualitätsfaktoren für eine wirksame KI-Governance und KI-Sicherheit. Unternehmen benötigen geeignete Verfahren, um Risiken bereits vor der Einführung einer Anwendung zu bewerten und während ihres Betriebs kontinuierlich zu überwachen.
Dazu gehören nachvollziehbare Zuständigkeiten, angemessene Berechtigungskonzepte und Kontrollmechanismen für automatisierte Entscheidungen. Für technisch Verantwortliche stellt sich außerdem die Frage, wie fehlerhafte Systemreaktionen erkannt und ihre Auswirkungen begrenzt werden können.
Gerade bei der Integration von KI in bestehende Automatisierungsarchitekturen ist eine abgestimmte Betrachtung von IT-Sicherheit, Betriebsprozessen und Risikomanagement sinnvoll. Technische Schutzmaßnahmen und organisatorische Vorgaben müssen dabei ineinandergreifen.
Welche Schäden durch künstliche Intelligenz entstehen können
Der Leitfaden unterscheidet unterschiedliche Schadensbilder, die durch fehlerhafte KI-Anwendungen entstehen oder verstärkt werden können. Dazu zählen Schäden innerhalb des eigenen Unternehmens ebenso wie Schäden bei Dritten und Reputationsverluste.
Ein weiteres Thema ist das sogenannte AI-Washing. Darunter wird die irreführende Darstellung von Produkten, Dienstleistungen oder Unternehmensprozessen als KI-basiert verstanden. Solche Aussagen können rechtliche und wirtschaftliche Risiken nach sich ziehen.
Die Publikation betrachtet damit nicht ausschließlich technische Fehler, sondern auch Governance- und Compliance-Risiken. Für Unternehmen ist diese Einordnung relevant, weil sich mögliche Schäden je nach Anwendung, Verantwortlichkeit und betroffenen Geschäftsprozessen deutlich unterscheiden können.
Versicherbarkeit hängt vom konkreten Schadensszenario ab
Neben Präventionsmaßnahmen untersucht der Bitkom-Leitfaden, welche KI-bezogenen Risiken bereits versicherbar sind und wo weiterhin Deckungslücken bestehen. Im Mittelpunkt steht dabei weniger die verwendete Technologie als das konkrete Schadensbild.
Für die versicherungstechnische Bewertung spielt außerdem eine Rolle, ob Unternehmen ihre KI-Systeme durch geeignete Governance-Strukturen, dokumentierte Verantwortlichkeiten und wirksame Kontrollmaßnahmen absichern. Damit gewinnt die technische und organisatorische Beherrschbarkeit von KI-Anwendungen auch für das betriebliche Risikomanagement an Bedeutung.
Leitfaden für Unternehmen und technische Verantwortliche
Die Veröffentlichung richtet sich insbesondere an Unternehmen, Versicherer, InsurTechs, Makler sowie Fach- und Führungskräfte aus Underwriting, Risikomanagement und IT-Sicherheit. Auch für Verantwortliche der industriellen Automatisierung bietet sie Anknüpfungspunkte, wenn KI-Anwendungen zunehmend eigenständig in betriebliche Abläufe eingreifen.
Der Leitfaden „Verantwortungsvoller KI-Einsatz: Risiken verstehen, steuern und versichern“ steht auf der Website des Bitkom kostenlos zum Download bereit:
Zum Download







