Generic filters
Exact matches only
Search in title
Search in excerpt
Search in content
FS Logoi

Prüfung von Generativer KI: ZEW-Forschende entwickeln Rahmenbedingungen

Die beschlossene KI-Verordnung der EU sieht vor, dass KI-Modelle „für allgemeine Zwecke mit systemischem Risiko“ besonders strikt überprüft werden. In diese Modellkategorie gehören auch populäre generative KI-Modelle wie GPT4 von OpenAI. ZEW-Forschende schlagen nun Rahmenbedingungen vor, wie die Prüfungen solcher Modelle systematisch durchgeführt werden sollten. Der Vorschlag basiert auf einem Forschungsprojekt, das von der Baden-Württemberg […]

von | 25.04.24

Die KI-Verordnung sieht vor, dass betreffende KI-Modelle durch sogenanntes Adversarial Testing systematisch auf Schwachstellen geprüft werden.
Foto: putilov_denis - stock-adobe.com

Die beschlossene KI-Verordnung der EU sieht vor, dass KI-Modelle „für allgemeine Zwecke mit systemischem Risiko“ besonders strikt überprüft werden. In diese Modellkategorie gehören auch populäre generative KI-Modelle wie GPT4 von OpenAI. ZEW-Forschende schlagen nun Rahmenbedingungen vor, wie die Prüfungen solcher Modelle systematisch durchgeführt werden sollten. Der Vorschlag basiert auf einem Forschungsprojekt, das von der Baden-Württemberg Stiftung gefördert wurde.

„Die Prüfung generativer KI mit systemischen Risiken benötigt klar definierte Ziele, abgegrenzte Rollen sowie Anreiz- und Koordinierungssysteme für alle Beteiligten. Nur so sind verlässliche Prüfergebnisse zu erwarten – und diese sollten in standardisierter Form veröffentlicht werden. Um Interessenkonflikte zu vermeiden, sollte die Prüfung durch unabhängige Dritte durchgeführt werden. Als externe Dienstleistung kann so ein spezialisierter Markt für KI-Sicherheitstests entstehen“, fasst Dr. Dominik Rehse, Ko-Autor des Vorschlags und Leiter der ZEW-Nachwuchsforschungsgruppe „Design digitaler Märkte“, zusammen.

Prüfung auf Schwachstellen durch Adversarial Testing

Die KI-Verordnung sieht vor, dass betreffende KI-Modelle durch sogenanntes Adversarial Testing systematisch auf Schwachstellen geprüft werden. Dabei handelt es sich um Stresstests, die darauf ausgelegt sind die KI-Modelle durch wiederholte Interaktion zu unerwünschtem Verhalten zu provozieren.

„Allerdings ist das Adversarial Testing in der KI-Verordnung nicht genauer geregelt. Die Vorgabe verweist lediglich auf Verhaltenskodizes und harmonisierte Standards, die nun entwickelt werden. Es gilt, diese Kodizes und Standards so zu gestalten, dass sie zu einer effizienten und effektiven Prüfung führen“, so Rehse.

Hierfür eignet sich aus Sicht der ZEW-Wissenschaftler insbesondere das sogenannte Red Teaming. Diese umfassendere Form des geforderten Adversarial Testing bezieht zusätzlich verschiedene Arten von Angriffen auf das Modell selbst ein.

„Internes Red Teaming wird zwar nach eigenem Bekunden von den meisten großen KI-Entwicklungshäusern bereits durchgeführt, allerdings gibt es dafür keine standardisierten Ansätze, auch nicht für KI-Modelle desselben Typs. Dadurch wird der Vergleich der Ergebnisse unnötig erschwert. Vor allem fehlt bei den derzeitigen Versuchen meist ein klar definiertes Ziel, sodass unklar ist, ob und wann ein Modell ausreichend getestet wurde“, kritisiert ZEW-Wissenschaftler Sebastian Valet, Ko-Autor aus dem Forschungsbereich „Digitale Ökonomie“.

ZEW-Forschende schlagen vier Rollen für das Red Teaming vor

Entsprechend müssen für das Red Teaming klare Strukturen und Rollen definiert werden, damit die Potenziale dieses Prüfverfahrens effizient genutzt werden können. Die ZEW-Forschenden schlagen dafür vier definierte Rollen vor, die je eigene Aufgaben, Ziele und Anreize haben, um den Prüfprozess möglichst effizient zu gestalten. Die Rollen sind:

  1. die Organisatoren der Prüfung,
  2. das testende Red Team,
  3. Validierer, die entscheiden, ob tatsächlich ein Fehlverhalten gefunden wurde, und
  4. das KI-Entwicklerteam. Jede dieser Rollen sollte dabei von unabhängigen Einheiten ausgefüllt werden.

Nur so hat beispielsweise ein testendes Red Team einen Anreiz seine Aufgabe bestmöglich zu erfüllen.

„Ähnlich wie bei der externen Rechnungsprüfung darauf spezialisierte Unternehmen beauftragt werden, sollte auch das Red Teaming an externe Prüfstellen gegeben werden. Dabei sollten die KI-Entwicklungshäuser die Kosten für ein unabhängiges Red Teaming tragen: Da der Prüfprozess günstiger ist, je weniger Fehlverhalten gefunden wird, haben die Entwickler so einen Anreiz, ihre Modelle bereits im Vorfeld so gut wie möglich zu testen“, erklärt Ko-Autor Johannes Walter aus dem ZEW-Forschungsbereich „Digitale Ökonomie“.

Weitere Informationen gibt es unter www.zew.de.

Jetzt Newsletter abonnieren

Brennstoff für Ihr Wissen, jede Woche in Ihrem Postfach.

Hier anmelden

Kreislaufwirtschaft: VCI und PlasticsEurope Deutschland sehen Deutschland auf gutem Weg
Kreislaufwirtschaft: VCI und PlasticsEurope Deutschland sehen Deutschland auf gutem Weg

VCI und PlasticsEurope Deutschland haben eine umfassende gemeinsame Bewertung der neuen „Nationalen Kreislaufwirtschaftsstrategie“ (NKWS) des Bundesministerium für Umwelt, Naturschutz, nukleare Sicherheit und Verbraucherschutz (BMUV) veröffentlicht. In ihrer Stellungnahme betonen die beiden Verbände die positiven Ansätze des Entwurfs von Mitte Juni, üben aber auch konkrete Kritik an den einzelnen Maßnahmen.

mehr lesen
Junge Ingenieure zieht es in die Automobil- und Rüstungsindustrie
Junge Ingenieure zieht es in die Automobil- und Rüstungsindustrie

Trotz schwächelnder Konjunktur und globaler Krisen zieht es junge Ingenieure vor allem in die Automobilindustrie. Wie eine von der Wirtschaftswoche in Auftrag gegebene Studie zeigt, sind Jobs in der Autoindustrie sehr beliebt, aber auch im Sektor Luftfahrt und Rüstung sehen viele junge Menschen gute berufliche Perspektiven.

mehr lesen
Call for Papers: Digital Business Models im atp magazin 10/2024
Call for Papers: Digital Business Models im atp magazin 10/2024

Im atp magazin 10/2024 zur SPS 2024 dreht sich alles um digitale Geschäftsmodelle. Denn die Digitalisierung unserer Industrie schreitet voran. Viele neue Technologien werden gerade auch im Bereich der Automatisierungstechnik entwickelt und propagiert. Manchmal ist allerdings noch nicht klar, ob und wie daraus ein Geschäft werden kann. Teilweise fehlen die Geschäftsmodelle oder entsprechende Erfolgsgeschichten.

mehr lesen
AUTOMATION 2024: 25. Ausgabe stand im Zeichen der KI
AUTOMATION 2024: 25. Ausgabe stand im Zeichen der KI

Wie wird Künstliche Intelligenz die Produktion von morgen verändern? Wie wird sich dabei Automation weiterentwickeln, welche Rolle spielen weitere Megatrends der Digitalisierung? Spannende Zukunftsthemen nahm die Fachwelt bei der Jubiläumsauflage des Automatisierungskongresses in den Blick. Über 350 Teilnehmende waren Anfang Juli zum 25. VDI-Kongress AUTOMATION und der parallel stattfindenden 6. VDI-Fachkonferenz Gebäudeautomation in Baden-Baden zusammengekommen.

mehr lesen

atp weekly

Der Newsletter der Branche

Ihr kostenfreier E-Mail-Newsletter für alle Belange der Automatiserung.

Sie möchten das atp magazin testen

Bestellen Sie Ihr kostenloses Probeheft

Überzeugen Sie sich selbst: Gerne senden wir Ihnen das atp magazin kostenlos und unverbindlich zur Probe!

Finance Illustration 03