Künstliche Intelligenz (KI) hat in den vergangenen Jahren erstaunliche Fortschritte gemacht, und ihr Potenzial für komplexe Expertenaufgaben in der Cybersicherheit ist enorm. Studien zeigen jedoch, dass die Zusammenarbeit von menschlichen Expertinnen und Experten mit KI-Systemen keineswegs automatisch zu besseren Ergebnissen führt.

Das neue, vom Nationalen Forschungszentrum für angewandte Cybersicherheit ATHENE durchgeführte Forschungsprojekt „Human-AI Collaboration for Cybersecurity“ (HAICC) setzt genau an dieser Stelle an. Es untersucht, wie sich die Zusammenarbeit zwischen Menschen und KI bei der Lösung von komplexen und wenig erforschten Aufgaben in der Cybersicherheit gezielt verbessern lässt.

Komplexe Sicherheitsprobleme lösen

Das Verbundvorhaben wird von Professorin Iryna Gurevych, Inhaberin der ersten ATHENE Distinguished Professorship, an der Technischen Universität Darmstadt koordiniert und läuft von 2026 bis 2029.
Im Zentrum steht ein kooperativer Ansatz: Statt auf vollständig autonome Systeme zu setzen, arbeiten Expertinnen und Experten und KI-Agenten zusammen, um komplexe Sicherheitsprobleme zu lösen. Die Zusammenarbeit erfolgt in einem iterativen Prozess, in dem KI-Systeme komplexe Probleme „auf Augenhöhe“ schnell und effektiv bearbeiten.

Ein besonderer Fokus liegt auf der Integration kontextbezogener und menschlicher Präferenzen, der Nutzung multimodaler Daten sowie der sprachlichen Interaktion. KI-Systeme sollen zudem nicht nur leistungsfähig, sondern auch nachvollziehbar und kontrollierbar sein, sodass Fachkräfte ihre Ergebnisse prüfen und einordnen können.

In diesem Zusammenspiel adressiert das Projekt zentrale Herausforderungen der generativen KI wie den sogenannten Automation Bias, also die unkritische Übernahme von KI-Empfehlungen, sowie die begrenzte Verfügbarkeit von Daten im Cybersicherheitsbereich.

Athene: Mehrere Fachgbiete der TU Darmstadt beteiligt

Die im Projekt entwickelten Ansätze werden unter anderem in Szenarien zur Analyse von Sicherheitslücken und Protokollen erprobt. KI-Agenten unterstützen dabei, große und heterogene Datenbestände aufzubereiten, während menschliche Expertinnen und Experten die Bewertung, Einordnung und Weiterentwicklung übernehmen.

Ziel ist es, die Effizienz zu steigern, ohne die Qualität und Verlässlichkeit der Entscheidungen zu beeinträchtigen. Am Vorhaben sind mehrere Fachgebiete der TU Darmstadt beteiligt. Dazu zählen das Artificial Intelligence & Machine Learning Lab, das Data and AI Systems Lab, das Multimodal AI Lab, das PEASEC – Science and Technology for Peace and Security, die Security in Information Technology Group, die Software Technology Group, das Ubiquitous Knowledge Processing (UKP) Lab, das Urban Interaction Lab sowie das Visual Inference Lab.

Ebenfalls beteiligt ist der Lehrstuhl für Cybersicherheit der Goethe-Universität Frankfurt, einer Partnerin der TU Darmstadt in der Allianz der Rhein-Main-Universitäten (RMU), der auch die Johannes Gutenberg-Universität Mainz angehört. Die Ludwig-Maximilians-Universität München erhält einen Unterauftrag und bringt ihre dezidierte Expertise zum dynamischen Gedächtnis von KI-Agenten ein.