Generic filters
Exact matches only
Search in title
Search in excerpt
Search in content
FS Logoi

ChatGPT: Forschende nutzen LLM für Drohnen-Choreographien

Prof. Angela Schoellig von der Technischen Universität München (TUM) und ihr Team setzen ChatGPT ein, um Drohnen-Choreographien passend zur jeweiligen Musik zu entwickeln. Ein zusätzlicher Sicherheitsfilter verhindert, dass die Flugroboter in der Luft zusammenstoßen. Damit beweisen die Forschenden erstmalig, dass Large Language Models (LLMs) wie ChatGPT in der Robotik grundsätzlich zum Einsatz kommen können. Das […]

von | 30.04.24

Als Angela Schoellig vor knapp 15 Jahren mit ihrer Forschung an Drohnen begann, wurden Choreografien von Hand entwickelt.
Foto: TU München

Prof. Angela Schoellig von der Technischen Universität München (TUM) und ihr Team setzen ChatGPT ein, um Drohnen-Choreographien passend zur jeweiligen Musik zu entwickeln. Ein zusätzlicher Sicherheitsfilter verhindert, dass die Flugroboter in der Luft zusammenstoßen. Damit beweisen die Forschenden erstmalig, dass Large Language Models (LLMs) wie ChatGPT in der Robotik grundsätzlich zum Einsatz kommen können.

Das Webinterface ist einfach zu bedienen: Doktorand Martin Schuck sucht sich einen Musiktitel aus und trägt in einem Textfeld ein, dass ihm das System eine Choreographie vorschlagen soll. Über einen weiteren „Prompt“ im ChatGPT-Tool lassen sich zusätzliche Anweisungen an den Drohnenschwarm geben, ehe ein Algorithmus überprüft, ob diese Flugbahnen machbar sind. Auf dem Bildschirm im Learning Systems and Robotics Lab ist nun ein simuliertes Flugfeld zu erkennen, auf dem sechs Drohnen im Kreis fliegen, passend zur Musik. Gefällt dem Wissenschaftler aus dem Lehrstuhl für Sicherheit, Performanz und Zuverlässigkeit für lernende Systeme der TUM diese Choreographie, loggt er sie ein und wenig später heben sechs Handteller-große Drohnen vom Boden des Robotik-Labs ab.

Sicherheitsalgorithmus verhindert Kollisionen während der Drohnen-Choreographien

Im Labor von Prof. Angela Schoellig hat das Forschendenteam dafür in einem etwa 40 Quadratmeter großen und drei Meter hohen Raum sechs Kameras an der Decke angebracht. Auf dem Boden sind mit Isolierband Kreuze markiert – die Startpositionen der Drohnen. Hat der Rechner nun eine mögliche Choreographie verifiziert, kann der Flug beginnen. 200 Mal in der Sekunde detektieren die Kameras die Position der mit vier Propellern und Motoren ausgestatteten Quadrocopter. Das System gleicht sie mit der erwünschten Position ab. Zu 100 % sicher sind die Flugshows im Learning Systems and Robotics Lab heute, die das Forschendenteam mit bis zu neun Drohnen realisiert. Ohne den speziellen Sicherheitsfilter geht nur jede vierte Flugshow unfallfrei über die Bühne.

Für den „Tanz der Flugroboter“ hat Prof. Angela Schoellig ChatGPT mit dem Sicherheitsfilter kombiniert. „Das KI-Tool ChatGPT wurde primär dafür geschaffen, um Texte zu generieren, doch es kann auch Choreografien vorschlagen“, sagt die Professorin. „Allerdings weiß es zunächst nichts über die Eigenschaften von Drohnen und physikalischen Grenzen für die Flugbahnen. Klar ist also, dass ChatGPT Fehler macht.“

Der zusätzliche Sicherheitsalgorithmus schließt diese Lücke und plant die Flugbahnen für die vorgeschlagene Choreografie exakt so um, dass die Drohnen in der Luft nicht miteinander kollidieren. Selbst ein diagonaler Flug zweier sich entgegenkommender Drohnen wird so möglich. Das für den Einsatz von mehreren Flugrobotern konzipierte Gesamtkonzept aus ChatGPT und Sicherheitsfilter nennt Prof. Schoellig SwarmGPT. Das Tool generiert einerseits die Abläufe in der Luft und dient andererseits als Interface zwischen Roboter und Mensch, der keinerlei Expertenwissen benötigt.

ChatGPT bietet neue Potenziale für die autonome Robotik

Als Angela Schoellig vor knapp 15 Jahren mit ihrer Forschung an Drohnen begann, wurden Choreografien von Hand entwickelt. Bis die ersten sechs Choreographien für sechs Drohnen entwickelt waren und funktionierten, vergingen mehr als drei Jahre. „ChatGPT hat hier einen Quantensprung bewirkt“, so Prof. Schoellig. In den letzten drei Monaten experimentierten die Forschenden mit über 30 Choreographien für bis zu neun Drohnen. Um heute eine sichere Choreograhie für einzelne etwa 30 Sekunden lange Musikclips mit drei Drohnen zu entwickeln, benötigen die Forschenden gerade einmal etwa fünf Minuten. Je mehr Drohnen hinzukommen, umso länger muss ChatGPT rechnen, und desto länger dauert der Vorschlag für eine Choreographie. Doch ist Schoellig sich sicher: „Das Konzept ist skalierbar.“

Können auch andere Roboter mit einem solchen Interface über ChatGPT eingesetzt werden? Für Roboter, die über Sprachsteuerung Dinge greifen, Kabel legen oder Türen öffnen, liegt die Erfolgsrate der Szenarien derzeit bei nur 63, 56 und 80 %. Auf den Einsatz in anderen Robotikszenarien ist also bis jetzt eher wenig Verlass. Für Prof. Angela Schoellig ist das ein Ansporn: „Ich gehe davon aus, dass unser Ansatz auch mit anderen Szenarien immer besser funktionieren wird.“ Saug- und industrielle Roboter könnten sich demnächst womöglich einfach durch Sprachanweisung umprogrammieren lassen, ohne Experten- und Programmierwissen.

Weitere Informationen gibt es unter www.ce.cit.tum.de/lsy/home oder im nachfolgenden Youtube-Video:

Jetzt Newsletter abonnieren

Brennstoff für Ihr Wissen, jede Woche in Ihrem Postfach.

Hier anmelden

Kreislaufwirtschaft: VCI und PlasticsEurope Deutschland sehen Deutschland auf gutem Weg
Kreislaufwirtschaft: VCI und PlasticsEurope Deutschland sehen Deutschland auf gutem Weg

VCI und PlasticsEurope Deutschland haben eine umfassende gemeinsame Bewertung der neuen „Nationalen Kreislaufwirtschaftsstrategie“ (NKWS) des Bundesministerium für Umwelt, Naturschutz, nukleare Sicherheit und Verbraucherschutz (BMUV) veröffentlicht. In ihrer Stellungnahme betonen die beiden Verbände die positiven Ansätze des Entwurfs von Mitte Juni, üben aber auch konkrete Kritik an den einzelnen Maßnahmen.

mehr lesen
Junge Ingenieure zieht es in die Automobil- und Rüstungsindustrie
Junge Ingenieure zieht es in die Automobil- und Rüstungsindustrie

Trotz schwächelnder Konjunktur und globaler Krisen zieht es junge Ingenieure vor allem in die Automobilindustrie. Wie eine von der Wirtschaftswoche in Auftrag gegebene Studie zeigt, sind Jobs in der Autoindustrie sehr beliebt, aber auch im Sektor Luftfahrt und Rüstung sehen viele junge Menschen gute berufliche Perspektiven.

mehr lesen
Call for Papers: Digital Business Models im atp magazin 10/2024
Call for Papers: Digital Business Models im atp magazin 10/2024

Im atp magazin 10/2024 zur SPS 2024 dreht sich alles um digitale Geschäftsmodelle. Denn die Digitalisierung unserer Industrie schreitet voran. Viele neue Technologien werden gerade auch im Bereich der Automatisierungstechnik entwickelt und propagiert. Manchmal ist allerdings noch nicht klar, ob und wie daraus ein Geschäft werden kann. Teilweise fehlen die Geschäftsmodelle oder entsprechende Erfolgsgeschichten.

mehr lesen
AUTOMATION 2024: 25. Ausgabe stand im Zeichen der KI
AUTOMATION 2024: 25. Ausgabe stand im Zeichen der KI

Wie wird Künstliche Intelligenz die Produktion von morgen verändern? Wie wird sich dabei Automation weiterentwickeln, welche Rolle spielen weitere Megatrends der Digitalisierung? Spannende Zukunftsthemen nahm die Fachwelt bei der Jubiläumsauflage des Automatisierungskongresses in den Blick. Über 350 Teilnehmende waren Anfang Juli zum 25. VDI-Kongress AUTOMATION und der parallel stattfindenden 6. VDI-Fachkonferenz Gebäudeautomation in Baden-Baden zusammengekommen.

mehr lesen

atp weekly

Der Newsletter der Branche

Ihr kostenfreier E-Mail-Newsletter für alle Belange der Automatiserung.

Sie möchten das atp magazin testen

Bestellen Sie Ihr kostenloses Probeheft

Überzeugen Sie sich selbst: Gerne senden wir Ihnen das atp magazin kostenlos und unverbindlich zur Probe!

Finance Illustration 03