Drohnendaten für die künstlichen Welten autonomer Fahrzeuge
Simulationen und dabei vor allem solche, die eine möglichst ausgeprägte Realitätsnähe wiedergeben, sind von besonderer Relevanz für das Erreichen höherer Autonomiegrade beim automatisierten Fahren. Bis eine geeignete Flottengröße diese Daten liefern kann, stellt das Gewinnen von Messdaten zur Steigerung der Simulationsgenauigkeit die größte Herausforderung dar. Neben Video- und Lidardaten aus der Fahrzeugperspektive werden auch die kompletten Fahrdaten verschiedener Verkehrssituationen benötigt. Mit der drohnenbasierten Luftbeobachtung lassen sich solche Verkehrsmessdaten erheben. Die IT-Designers Gruppe, in der auch das Steinbeis-Transferzentrum Softwaretechnik aktiv ist, hat mit dieser Methode schon Erfahrungen gesammelt.
Horizontal gedrehte Ausschnitte einer Luftbeobachtung auf der A8 bei Wendlingen. Die Ausschnitte zeigen die verfolgten Fahrzeuge mit Bounding Boxes (oben), die ermittelten 3D-Fahrzeugdimensionen (Mitte) und die Fahrspuren (unten), auf welche die Fahrzeuge zugeordnet werden.
Auf dem „AI Day“ 2021 zeigte Tesla einen beachtlichen Entwicklungsstand seines Fahrstrategiemoduls. Sowohl für die Entwicklung seines bestehenden Fahrstrategiesystems als auch für einen neuen, KI-basierten Planer wird eine künstliche 3D-Trainingsumgebung verwendet. Die Trainingsdaten hierfür werden aus den Flottendaten der verkauften Fahrzeuge erhoben, aktuell laut Tesla über 1,5 Millionen Fahrzeuge. So können Daten für anspruchsvolle Fahrsituationen abgefragt und gesammelt werden. Dadurch steigt insbesondere die Erkennungsrate seltener Ereignisse, die das sichere, automatisierte Fahren gefährden könnten. Diese Datenerhebungsmethode ist aktuell die einfachste und wird sehr wahrscheinlich auch geeignete Daten für seltene Verkehrsereignisse liefern – unter der Voraussetzung, dass genügend Messfahrzeuge vorhanden sind.
Eine noch größere Rolle spielen künstliche Welten bei der Alphabet-Tochter Waymo, die seit rund fünf Jahren an selbstfahrenden Fahrzeugen arbeitet. Waymo besitzt mit rund 1.000 Fahrzeugen eine deutlich kleinere Flotte. Der größte Teil der Testfahrten wird deshalb in Simulationen durchgeführt. Im Jahr 2020 waren dies laut Waymo etwa 30 Millionen Kilometer pro Tag.
Drohnendaten als Alternative zu Testfahrten
Inzwischen hat sich die drohnenbasierte Luftbeobachtung als sinnvolle Alternative für die Erhebung von Verkehrsmessdaten etabliert. Kameradrohnen können flexibel und schnell an verschiedenen verkehrlich interessanten Orten aufsteigen und dabei circa 500 Meter lange Straßenabschnitte und Kreuzungsbereiche aufzeichnen. Voraussetzungen sind, dass für die Flüge entsprechend geschultes Personal benötigt wird, Genehmigungen vorliegen müssen und die Aufnahmedauer auf etwa eine halbe Stunde begrenzt ist. Dennoch können bei Messkampagnen mit mehreren Flügen leicht mehrere Stunden Verkehrsdaten aufgezeichnet werden.
Das Team der IT-Designers Gruppe nutzt diese Messmethode für ihre Entwicklungen. In einem dreißigminütigen Drohnenflug an einer innerstädtischen Verkehrsader konnte es rund 1.350 Fahrzeuge verfolgen. Diese legten insgesamt 530 Kilometer Strecke in 41 Stunden Gesamtfahrzeit zurück. Das entspricht zwar bei Weitem nicht dem Aufkommen von Flottenmessdaten, allerdings können kritische Straßenabschnitte kontinuierlich beobachtet werden, die von Messfahrzeugen dagegen nur vereinzelt durchfahren würden.
„Für die Rekonstruktion des Straßenverkehrs werden die Videodaten in einer automatisierten Auswertungspipeline verarbeitet. Unsere Arbeitsschritte umfassen eine Kameraverfolgung, die Detektion und Verfolgung der Fahrzeuge, eine Regression der 3D-Bounding-Boxes der Fahrzeuge sowie eine Fahrspurerkennung und Fahrspurzuweisung“, erläutert Dr. Stefan Kaufmann (IT-Designers GmbH), der am Projekt mitarbeitet. Für die Erkennung und die Verfolgung der Fahrzeuge wird ein neuronales Netz zur Objektdetektion und Klassifikation nach Pkw, Van, Lkw/Bus und Motorrad verwendet. Für das Training verwendet das Projektteam aktuell 66.000 manuell annotierte oder verifizierte Fahrzeugabbildungen. Ein weiteres neuronales Re-Identification (ReID)-Netz unterstützt den Tracking-Prozess, indem es Fahrzeuge aufgrund ihrer visuellen Eigenschaften voneinander unterscheiden und somit gleiche Fahrzeuge in unterschiedlichen Videobildern wiederentdecken kann. Dieses Netz wurde mit 350.000 aus den bestehenden Daten automatisiert extrahierten Fahrzeugabbildungen trainiert. Mithilfe von Clustering-Methoden können Fahrzeugtrajektorien nach der Ähnlichkeit ihrer Verläufe gruppiert werden. Daraus ergeben sich Fahrspurinformationen. Bisher liefert diese Methode bei einfachen Straßenverläufen – wie beispielsweise auf Schnellstraßen – verlässliche Ergebnisse. Für mehrspurige Kreuzungsverläufe sind aktuell noch manuelle Anpassungen nötig.
Zu den Messergebnissen gehören die Fahrzeugdimensionen, Fahrtrichtung sowie die Fahrzeugpositionen in Geokoordinaten, lokalen Koordinaten und zurückgelegtem Weg auf einer Fahrspur. Außerdem werden die Fahrzeuggeschwindigkeiten und Beschleunigungswerte abgeleitet. Bei Vergleichsmessungen mit Referenzfahrzeugen konnte das Projektteam keine signifikanten Abweichungen der Messdaten feststellen [1], allerdings steht eine konkrete Ermittlung der Messfehler noch aus.
Ausblick auf steigende Komplexität und Zweidimensionalität
Das aktuelle System liefert somit bereits brauchbare Eingangsdaten für Simulations- und Trainingssysteme. In ersten Untersuchungen konnte das Team der IT-Designers Gruppe Messdaten erfolgreich in einer Verkehrssimulation nachstellen, für die Berechnungen verwendete es dabei das mikroskopische Kerner-Klenov-Simulationsmodell. Mit dem Ziel einer möglichst realitätsnahen Nachbildung der Messung werden für jedes Fahrzeug individuelle Simulationsparameter ermittelt. Hierfür wird jedes Fahrzeug einzeln im Verkehrsfluss der gemessenen Fahrzeugtrajektorien simuliert. Ein genetischer Algorithmus optimiert in hunderten Durchläufen die Simulationsparameter des Fahrprofils für eine möglichst ähnliche Wiedergabe des Geschwindigkeitsverlaufs. Für die Einzelanpassungen erreichte das Team so im Durchschnitt eine Übereinstimmung von 89 % [2]. Diese simulierten Fahrzeuge bewegen sich bisher nur eindimensional entlang ihrer Fahrspuren. Sie können Fahrspurwechsel durchführen, allerdings fahren sie dafür nur einfache kontinuierliche Manöver.
Luftbeobachtung eines innerstädtischen Straßenabschnitts (oben) und Nachstellung der Messung in einer SUMO-Simulation (unten).
In weiteren Schritten wollen die Experten der IT-Designers Gruppe die Fahrprofile automatisiert optimieren und extrahieren, um sie daraufhin als Trainingsszenarien in Simulationsumgebungen einbinden zu können. Auch komplexere, zweidimensionale Fahrstrategien sollen unterstützt werden. Dafür bieten sich KI-basierte Fahrmodelle an, die für das Training allerdings deutlich mehr Messdaten benötigen. Diese sollen als nächster Schritt im vom Bundeswirtschaftsministerium geförderten Forschungsprojekt LUKAS (Lokales Umfeldmodell für das kooperative, automatisierte Fahren in komplexen Verkehrssituationen, www.projekt-lukas.de) erhoben werden.
Kontakt
Prof. Dr. Joachim Goll (Autor)
Steinbeis-Unternehmer
Steinbeis-Transferzentrum Softwaretechnik (Esslingen)
www.stz-softwaretechnik.de
Dr. Stefan Kaufmann (Autor)
Mitarbeiter
IT-Designers GmbH (Esslingen)