Prof. Angela Schoellig von der Technischen Universität München (TUM) und ihr Team setzen ChatGPT ein, um Drohnen-Choreographien passend zur jeweiligen Musik zu entwickeln. Ein zusätzlicher Sicherheitsfilter verhindert, dass die Flugroboter in der Luft zusammenstoßen. Damit beweisen die Forschenden erstmalig, dass Large Language Models (LLMs) wie ChatGPT in der Robotik grundsätzlich zum Einsatz kommen können.

Das Webinterface ist einfach zu bedienen: Doktorand Martin Schuck sucht sich einen Musiktitel aus und trägt in einem Textfeld ein, dass ihm das System eine Choreographie vorschlagen soll. Über einen weiteren „Prompt“ im ChatGPT-Tool lassen sich zusätzliche Anweisungen an den Drohnenschwarm geben, ehe ein Algorithmus überprüft, ob diese Flugbahnen machbar sind. Auf dem Bildschirm im Learning Systems and Robotics Lab ist nun ein simuliertes Flugfeld zu erkennen, auf dem sechs Drohnen im Kreis fliegen, passend zur Musik. Gefällt dem Wissenschaftler aus dem Lehrstuhl für Sicherheit, Performanz und Zuverlässigkeit für lernende Systeme der TUM diese Choreographie, loggt er sie ein und wenig später heben sechs Handteller-große Drohnen vom Boden des Robotik-Labs ab.

Sicherheitsalgorithmus verhindert Kollisionen während der Drohnen-Choreographien

Im Labor von Prof. Angela Schoellig hat das Forschendenteam dafür in einem etwa 40 Quadratmeter großen und drei Meter hohen Raum sechs Kameras an der Decke angebracht. Auf dem Boden sind mit Isolierband Kreuze markiert – die Startpositionen der Drohnen. Hat der Rechner nun eine mögliche Choreographie verifiziert, kann der Flug beginnen. 200 Mal in der Sekunde detektieren die Kameras die Position der mit vier Propellern und Motoren ausgestatteten Quadrocopter. Das System gleicht sie mit der erwünschten Position ab. Zu 100 % sicher sind die Flugshows im Learning Systems and Robotics Lab heute, die das Forschendenteam mit bis zu neun Drohnen realisiert. Ohne den speziellen Sicherheitsfilter geht nur jede vierte Flugshow unfallfrei über die Bühne.

Für den „Tanz der Flugroboter“ hat Prof. Angela Schoellig ChatGPT mit dem Sicherheitsfilter kombiniert. „Das KI-Tool ChatGPT wurde primär dafür geschaffen, um Texte zu generieren, doch es kann auch Choreografien vorschlagen“, sagt die Professorin. „Allerdings weiß es zunächst nichts über die Eigenschaften von Drohnen und physikalischen Grenzen für die Flugbahnen. Klar ist also, dass ChatGPT Fehler macht.“

Der zusätzliche Sicherheitsalgorithmus schließt diese Lücke und plant die Flugbahnen für die vorgeschlagene Choreografie exakt so um, dass die Drohnen in der Luft nicht miteinander kollidieren. Selbst ein diagonaler Flug zweier sich entgegenkommender Drohnen wird so möglich. Das für den Einsatz von mehreren Flugrobotern konzipierte Gesamtkonzept aus ChatGPT und Sicherheitsfilter nennt Prof. Schoellig SwarmGPT. Das Tool generiert einerseits die Abläufe in der Luft und dient andererseits als Interface zwischen Roboter und Mensch, der keinerlei Expertenwissen benötigt.

ChatGPT bietet neue Potenziale für die autonome Robotik

Als Angela Schoellig vor knapp 15 Jahren mit ihrer Forschung an Drohnen begann, wurden Choreografien von Hand entwickelt. Bis die ersten sechs Choreographien für sechs Drohnen entwickelt waren und funktionierten, vergingen mehr als drei Jahre. „ChatGPT hat hier einen Quantensprung bewirkt“, so Prof. Schoellig. In den letzten drei Monaten experimentierten die Forschenden mit über 30 Choreographien für bis zu neun Drohnen. Um heute eine sichere Choreograhie für einzelne etwa 30 Sekunden lange Musikclips mit drei Drohnen zu entwickeln, benötigen die Forschenden gerade einmal etwa fünf Minuten. Je mehr Drohnen hinzukommen, umso länger muss ChatGPT rechnen, und desto länger dauert der Vorschlag für eine Choreographie. Doch ist Schoellig sich sicher: „Das Konzept ist skalierbar.“

Können auch andere Roboter mit einem solchen Interface über ChatGPT eingesetzt werden? Für Roboter, die über Sprachsteuerung Dinge greifen, Kabel legen oder Türen öffnen, liegt die Erfolgsrate der Szenarien derzeit bei nur 63, 56 und 80 %. Auf den Einsatz in anderen Robotikszenarien ist also bis jetzt eher wenig Verlass. Für Prof. Angela Schoellig ist das ein Ansporn: „Ich gehe davon aus, dass unser Ansatz auch mit anderen Szenarien immer besser funktionieren wird.“ Saug- und industrielle Roboter könnten sich demnächst womöglich einfach durch Sprachanweisung umprogrammieren lassen, ohne Experten- und Programmierwissen.

Weitere Informationen gibt es unter www.ce.cit.tum.de/lsy/home oder im nachfolgenden Youtube-Video: