In der aktuellen Drive:AI Podcast-Folge habe ich Dr. Holger Banzhaf zu Gast, seines Zeichens Geschäftsführer von DeepScenario, einem Unternehmen, welches die reale in die virtuelle Welt hineinbringt, dort verschiedenste Testszenarien durchspielt für Automobilhersteller, um das autonome Fahren eben ein Stück weit näher und besser kennenzulernen.
Im Detail versteht das Holger natürlich wesentlich besser, das Ganze zu vermitteln und da mit uns gemeinsam in diese Welt einzutauchen. Insofern gehen wir jetzt auch direkt rein in die aktuelle Folge. Viel Spaß beim Zuhören.
Gerne kannst du uns auch Fragen zum autonomen Fahren per Mail zukommen lassen, welche dich im Alltag beschäftigen. Die Antwort darauf könnte auch für andere Hörer des Podcasts von Interesse sein. Wie immer gilt: Über Kritik, Kommentare und Co. freuen wir uns. Also gerne melden, auch für die bereits erwähnten Themenvorschläge. Und über eine positive Bewertung beim Podcast-Anbieter deiner Wahl freuen wir uns natürlich auch sehr! Vielen Dank.
Transkript zu: DeepScenario: Virtuelle Fahrschule des autonomen Fahrens
Sebastian
Hallo Holger, vielen Dank, dass du dir heute Zeit nimmst für den Drive.AI-Podcast, dass wir uns ein wenig über autonomes Fahren beziehungsweise ja auch eure Arbeit in diesem Umfeld unterhalten. Bevor wir allerdings einsteigen, stelle dich doch gerne unseren Zuhörer*innen mal selbst vor.
Holger Banzhaf
Ja, Sebastian, ich freue mich auf den Podcast mit dir. Genau, mein Name ist Holger Banzhaf und ich bin vor achteinhalb Jahren zum ersten Mal in Kontakt mit dem autonomen Fahren gekommen. Die Technologie hat mich damals vor achteinhalb Jahren, ich erinnere mich noch genau, das war an der University of California in Berkeley, so fasziniert, dass ich seither immer der Technologie treu geblieben bin.
Und das wirklich Faszinierende an dieser Technologie ist einfach das Zusammenspiel der verschiedenen Disziplinen. Zum einen brauchst du die künstliche Intelligenz, die für das Sehen-Verständnis und für die Entscheidungen sorgt. Du brauchst andere Disziplinen wie die Robotik, die Informatik, die Elektrotechnik für die Signalverarbeitung. Und dann natürlich musst du die berechneten Aktionen auch auf die Straße bringen. Dafür brauchst du auch den Maschinenbau. Somit hast du wirklich diese Vielzahl von Disziplinen, wo jede einzelne schon super spannend ist.
Darüber hinaus, warum ich dieser Domäne treu geblieben bin, ist, dass ich einfach glaube, dass es eine einmalige Chance ist für unsere Generation, hier was zu bauen, dass das einfach noch viele Generationen später referenzieren werden. Wir werden hier eine Sprunginnovation aufbauen, die wirklich radikal verändern wird, wie wir zukünftig mobil sein werden und damit auch Historie schreiben.
Und ich glaube, das Ausmaß, das wir damit erreichen werden, ist ähnlich zur Erfindung des Automobils, auf die wir uns auch heute noch oft zurückberufen. Und ja, der letzte Punkt, weshalb das automatisierte Fahren so spannend ist, ist einfach, weil es schwieriger ist als zum Mond zu fliegen. Es ist aktuell einfach eines der schwierigsten KI-Probleme, die wir haben.
Sebastian
Spannende Aufgabe, die man da auf jeden Fall lösen kann, der man sich annehmen kann. Vor allem, du hast es schön gesagt: Sprunginnovation. Also es wird nicht erwartet, dass wir ebendieses lineare Wachstum da haben.
Das ist auch eine Meinung, die Dr. Mario Herger, mit dem ich ja auch schon öfter im Gespräch war, eben teilt, der auch sagt, okay, wenn es kommt, dann kommt es richtig. Also dann wird das nicht so ganz lapidar vor sich hin plätschern die nächsten Jahre, sondern es wird dann tatsächlich Sprünge machen, die wir so nicht erwarten können.
Du hast ja jetzt aber auch schon, um auf deinen Werdegang vielleicht noch mal ein Stück weit einzugehen, verschiedene Stationen innerhalb der letzten achteinhalb Jahre mitgemacht, die dich jetzt auch dorthin gebracht haben, wo du aktuell bist. Vielleicht magst du die noch ganz kurz aufgreifen und uns dann sagen, wie du jetzt bei DeepScenario gelandet bist, was du ja 2021, wenn ich es richtig auf dem Schirm habe, eben gegründet hast.
Holger Banzhaf
Genau. Begonnen, wie zuvor besprochen, hat es dann der UC Berkeley mit einem Forschungsaufenthalt, danach mein Studium sehr in diese Richtung fokussiert. Im Anschluss an mein Studium war ich bei Bosch in der Zentralabteilung „Forschung und Entwicklung automatisiertes Fahren“. Hier habe ich eine Promotion zusammen mit dem KIT geschrieben, diese auch verteidigt.
Im Anschluss noch als Forschungsingenieur bei Bosch im gleichen Bereich tätig gewesen und dann mit den Einblicken in die Industrie über diese vielen Jahre ein Start-up gegründet 2021, DeepScenario, in dem ich Geschäftsführer aktuell bin.
Sebastian
Und mit DeepScenario, vielleicht holst du uns da ab. Was macht ihr? Idealerweise ein Stück weit einfacher ausgedrückt, damit das hier jeder auch versteht, der vielleicht nicht diesen Hintergrund hat, den du da ja schon mit dir bringst.
Holger Banzhaf
Genau, um da ein Intro zu geben, müssen wir verstehen: Was sind die kritischen Punkte aktuell beim automatisierten Fahren? Und da haben wir zwei verschiedene Bereiche.
Wir haben zum einen den Fahrerassistenz-Bereich, den kennen wir von heutigen Systemen. Level-2-Systeme haben viele in ihrem Fahrzeug bereits heute. Hier geht es in Zukunft darum, die Automatisierungsgrade zu steigern. Das heißt, dass der Fahrer zum Beispiel auf der Autobahn nicht mehr das System überwachen muss.
Gleichzeitig geht es auch hier drum, bei der Fahrerassistenz, also bei dem assistierten Fahren, dies nicht nur auf der Autobahn zu ermöglichen, sondern auch im städtischen Kontext zu ermöglichen. Das ist der eine Bereich der Fahrerassistenz. Der andere Bereich ist das automatisierte Fahren. Bei automatisiertem Fahren denkt man oft an Fahrzeuge, aber was ein riesiger Use Case ist, ist auch das automatisierte Trucking. Und hier sehen wir überall auf der Welt verschiedene Lösungen, erste Lösungen in einzelnen Regionen. Und jetzt geht es darum, diese Lösungen zu skalieren, auf größere Regionen zu erweitern. Von San Francisco, wo wir sehr, sehr viel automatisiertes Fahren aktuell sehen, auf weitere Städte zu erweitern.
Was beide Bereiche, also die Fahrerassistenz und das automatisierte Fahren gemeinsam haben, was ein kritischer Punkt dort ist, ist, dass die Entwicklungszeiten und die Entwicklungskosten deutlich reduziert werden müssen. Genau darauf fokussieren wir uns mit DeepScenario. Der Schlüssel dafür ist das Trainieren und Testen der Systeme in virtuellen Welten, das heißt in Simulation. Gerne kann ich das weiter ausführen. Virtuelle Welten, Simulationen kann man sich vorstellen wie ein Computerspiel. Wir alle haben wahrscheinlich schon mal ein Computerspiel gespielt, in dem sich Autos befanden.
Jetzt genau, was man da machen möchte, ist, dass man eine quasi virtuelle Fahrschule aufbauen möchte, in der das Fahrzeug Tests durchlaufen kann und somit, schon bevor wir es auf die Straße bringen, schauen kann: Wie gut ist es, wie sicher ist das Fahrzeug? Diese Aussagen, die wir da ableiten können, die sind eben nur aussagekräftig, wenn diese virtuelle Welt der realen Welt entspricht. Das heißt, das ist die Krux, dass ich in die virtuelle Welt die reale Welt übertragen kann.
Wenn wir über virtuelle Welten sprechen, dann stellt man sich oft vor, dass es Gebäude sind, dass es Straßen sind, dass es Straßenmarkierungen sind. Das ist die statische Komponente der virtuellen Welt und das ist eine sehr, sehr, sehr wichtige. Allerdings, was die wirklich schwierig ist, ist die dynamische Komponente. Das heißt, wie wir Menschen uns auf den Straßen bewegen und wie wir miteinander interagieren. Und vor allem wir Menschen, wir interagieren eben oder verhalten uns nicht nur immer rational.
Das heißt, es können auch Grenzfälle auftreten, die eben explizit sehr schwierig dann zu lösen sind für diese automatisierte Fahrzeuge. Und genau diese Fälle möchte ich eben aus der realen Welt in die virtuelle Welt bringen. Und genau das machen wir bei DeepScenario.
Sebastian
Wow. Also ja, sehr, sehr interessant klingt das auf jeden Fall. Und ich glaube, du hast es realistisch gezeichnet, dieses Bild mit der virtuellen Fahrschule. Da erinnere ich mich auch an ein Gespräch, was ich mit Mario eben hatte, der mir eben gesagt hat, Tesla, die profitieren beispielsweise davon, dass sie halt schon zig Hunderttausende Fahrzeuge auf der Straße haben, wo sie Daten sammeln, mit denen sie immer wieder arbeiten können.
Und das ist jetzt quasi euer Vorteil, den ihr einbringt. Falls ein Hersteller, ein Automobilhersteller oder Anbieter eben für autonomes Fahren ebendiese Fahrzeuge noch nicht auf der Straße hat, um reale Daten zu sammeln, macht ihr das eben virtuell. So hatte ich das jetzt eingeordnet.
Holger Banzhaf
Wir bei DeepScenario, wir bauen die Software auf, mit der du gemessene Daten in virtuelle Welten umwandeln kannst und das eben vollautomatisiert, hochgenau und die Software muss überall auf der Welt für Szenarien, die überall auf der Welt aufgenommen werden, funktionieren.
Diese Gesamtschleife von der Messung in die virtuelle Welt, dann in die Simulation hinein, die nennen wir AI Scenario Engine. Kann ich dir gerne einen detaillierten Einblick geben. Wie wir gesprochen haben, ist zu Beginn, es ist immer die Messung, die Messung der realen Welt. Und die basiert oft auf Videodaten.
Jetzt ist die Schwierigkeit und die Herausforderung, diese Videodaten mittels Bildverarbeitungsalgorithmen in die 3D-Welten umzuwandeln. Das heißt, wie wir es vorhin angesprochen haben, nicht nur die statische Komponente, sondern auch wirklich die Bewegung aller Objekte in diesen Videoaufnahmen zu extrahieren.
Daraus erhältst du dann wirklich tausende Stunden von Fahrdaten, wo du allerdings nur an bestimmten Szenarien interessiert bist. Hatten wir vorhin angesprochen, die Grenzfälle, die schwierigen Szenarien, die willst du aus der Vielzahl von aufgenommenen Daten extrahieren und so aufbereiten, dass du sie dann in die Simulation hineinbringen kannst.
Denn die Simulation ist der Ort, an dem der Automobilhersteller schon seine Algorithmen angeschlossen hat. Und dort hat er schon ein virtuelles Abbild von seinem automatisierten Fahrzeug. Das heißt, zusammen mit den Szenarien kannst du dann sogenannte Closed-Loop Tests durchführen. Das bedeutet, du versetzt das Fahrzeug wirklich in die Szene und du führst wirklich die Regelaufgabe durch und kannst dann anhand der durchgeführten Tests evaluieren: Wie sicher bist du? Wie viele Tests hast du bestanden? In welchen Bereichen, in welchen Städten funktioniert mein System noch nicht? An welchen Kreuzungen?
Und das gibt dir eben Aufschluss über die Reife deines Systems und generiert dir eben Wissen, das du benutzen kannst, um wesentliche Entwicklungsentscheidungen zu treffen. Also kurzum, du brauchst für diesen gesamten Loop von der realen Messung bis in die virtuelle Welt, brauchst du tiefe Expertise im System, im automatisierten Fahren. Du brauchst KI-Algorithmen, Softwareentwicklung, Robotik und viele, viele Disziplinen, die da zusammenspielen müssen, damit du ebendieser massive Wissensbeschleuniger sein kannst.
Sebastian
Der dann aber natürlich auch den Unterschied macht für euren Kunden sozusagen, wenn er dieses Wissen auch nutzen kann, was ihr ihm dann aufbereitet zur Verfügung stellt oder die Daten, um neues Wissen zu erlangen. Ich finde an dem ersten Punkt, den du genannt hast, die Messung der realen Welt, die Erfassung von Videodaten. Muss ich mir das vorstellen, dass die Videodaten aus dem Fahrzeug heraus filmen?
Oder, wenn wir jetzt bei diesen Grenzfällen sind, dass ihr das in Anführungsstrichen auch mal mit der Kamera an so einer Kreuzung gestanden wird, dann eben auch so ein Publikum oder so einen Straßenverkehr zu filmen sozusagen, einfach, dass man das vielleicht noch ein Stück weit einordnen kann. Also kommen die Daten aus dem Fahrzeug heraus oder eben auch aus der Umgebung?
Holger Banzhaf
Genau. Wir haben insgesamt auf unserer Welt drei verschiedene Quellen, mit denen wir Echtwelt-Daten erheben können. Das sind zum einen Kameras an den Fahrzeugen. Zum anderen haben wir schon sehr, sehr viele Kameras an Kreuzungen schon angebracht. Das sind Verkehrskameras. Diese können wir nutzen.
Und dann haben wir noch einen dritten Sensor. Das sind Aufnahmen von oben, zum Beispiel über Drohnen, mit denen wir sehr, sehr tiefe Einblicke in bestimmte Szenarien erhalten können. Und jede dieser Datenquellen hat Vorteile und auch Nachteile. Wir haben den Anspruch, alle drei Datenquellen zu beherrschen und aus allen drei Datenquellen Szenarien generieren zu können. Angefangen haben wir mit Drohnenaufnahmen. Aktuell arbeiten wir auf Aufnahmen von Verkehrskameras.
Sebastian
Ja, aber auch sehr spannend. Also dann geht ihr ja wirklich mit einer Vielzahl von Daten an die Geschichte ran, weil man könnte ja jetzt auch erst mal meinen, ihr verlasst euch nur auf die Fahrzeugdaten oder Verkehrskameras.
An Drohnen hatte ich oder diese Sicht von oben hatte ich gar nicht dran gedacht. Aber klar, da hast du ja noch mal einen besseren Überblick. Gerade, wenn dann viele Menschen vielleicht auch unterwegs sind oder viel Verkehr stattfindet, hast du da natürlich den besseren Blick drauf, als wenn du jetzt nur von der Seite die Kamera auf den Verkehr sozusagen lenkst.
Werden dann die gleichen Daten für unterschiedliche Hersteller genutzt oder wie ist das generell? Oder erfasst ihr für jeden Hersteller dann neue Daten, weil er jetzt sagt, okay, wir wollen jetzt hier in Asien entwickeln, ein anderer will vielleicht in Deutschland tätig sein, wiederum einer in den USA.
Dass man da ein Gefühl dafür bekommt, wie so ein typischer Ablauf ist, vielleicht kannst du uns auch so ein Projekt mal in Kürze skizzieren, was so die Aufgabe an euch ist und wie ihr so was lösen könnt.
Holger Banzhaf
Sowohl als auch. Zunächst erfassen wir Verkehrsdaten oder berechnen virtuelle Welten aus Verkehrsdaten. Und in diesen Verkehrsdaten ist keine vertrauliche Information. Das ist die Welt, wie sie draußen passiert und die ist jedermann zunächst zugänglich.
Dennoch ist es schon so, dass die Personen und die Firmen, die tiefen Einblicke in die verschiedenen Städte und in die verschiedenen Szenarien haben, natürlich einen Entwicklungsvorsprung sich generieren können. Deswegen kann auch ein Interesse daran bestehen, wirklich diese virtuellen Welten exklusiv besitzen zu wollen.
Um dir ein beispielhaftes Projekt zu schildern, wir erhalten verschiedene Anfragen, zum Beispiel eine wesentliche Anfrage ist: Untersuche eine bestimmte Kreuzung in dem Bereich, in dem ich das autonome System betreiben möchte. Das heißt wirklich von der Datenhebung bis zur Berechnung und der Extraktion der virtuellen Welt und dann auch ein sogenanntes Scenario Mining zu betreiben.
Das heißt wirklich alle Linksabbieger-Trajektorien zu extrahieren oder alle Rechtsabbieger und dann aus diesen Verteilungen über die ganzen Linksabbieger-Trajektorien dann die kritischen zu extrahieren und die dann in die Simulation zu bringen. Das heißt wirklich der Gang, die ganze AI Scenario Engine ist das, was wir aktiv mit unseren Kunden praktizieren.
Sebastian
Es ist ja für euch aber auch von Vorteil dann sozusagen, dass ihr in Anführungsstrichen, natürlich mehr wie einmal, aber nur einmal grundsätzlich diese virtuelle Welt aufbauen müsst sozusagen, immer wieder mit neuen Daten füttert natürlich, um möglichst viele Grenzfälle wahrscheinlich unterzubringen, diese dann aber als Basis verwenden könnt, mit verschiedensten Herstellern deren Szenarien durchzuspielen.
Holger Banzhaf
Genau, das ist ein Stück weit richtig. Ferner muss man aber beachten, dass unsere reale Welt sich ständig verändert. Wir haben jetzt gerade … Sehen wir einen massiven Aufschwung von Mikromobilität. Das heißt, es kommen neue Mobilitätsfirmen in den Straßenverkehr und mit denen muss das autonome System natürlich auch umgehen können.
Das heißt, Daten vor zehn Jahre sind nicht mehr so relevant wie aktuelle Verkehrsdaten. Und darüber hinaus, wir sprechen alle jetzt über die Einführung des automatisierten Fahrens. Das heißt, wir werden auch eine Zeit erleben, wo es einen Hybridverkehr gibt.
Das heißt, einzelne Fahrzeuge werden autonom unterwegs sein, während andere Fahrzeuge noch durch den Menschen gefahren werden. Und dieser Hybridbetrieb, das wird sehr spannend zu sehen, wie wir Menschen damit umgehen. Denn autonome Fahrzeuge sind tendenziell eher defensiver parametrisiert, das heißt eher auf Sicherheit ausgerichtet, als wir Menschen meist selbst fahren.
Sebastian
Ich denke, gerade dieser Hybridbetrieb, den du da jetzt eben auch erwähnt hast, der wird schon noch mal eine ganz spannende Zeit. Und dafür habt ihr dann eine tolle Basis auch, um das eben wahrscheinlich auch mit, zu diesem Zeitpunkt verfeinerten Daten dann auch noch mal ein Stück weit abzubilden und greifen zu können.
Kannst du denn so ein Stück weit in Worte fassen, wie viel Entwicklungszeit denn jetzt eure Kunden, Kundinnen dann sparen, wenn sie auf eure Lösung zurückgreifen, weil ihr doch viele Lernschleifen sozusagen doch ziemlich zusammenstaucht und verkürzt?
Holger Banzhaf
Das hängt oft damit zusammen, wie fortgeschritten auch die Pipeline des Kunden ist, wie viel Arbeit schon in die Verfeinerung der Prozesse beim Kunden steckt. Das heißt wirklich einen absoluten Vergleich kannst du an der Stelle nicht durchführen.
Aber was du sagen kannst, ist, dass unsere Pipeline vollautomatisiert abläuft, höchstgenaue Replikas erzeugt und global anwendbar ist. Und damit bist du definitiv ein signifikanter Wissensbeschleuniger. Und ja, das ist auch, wo wir zukünftig noch weiter hineingehen wollen.
Das heißt, wir wollen immer diesen essenziellen Link zwischen der realen Welt und der virtuellen Welt bauen und im Endeffekt damit immer dieser massive Wissensbeschleuniger für die Autoindustrie zu sein, um Entwicklungskosten und Entwicklungszeiten signifikant zu reduzieren.
Sebastian
Sehr spannend, was wir da heute gelernt haben von dir Holger. Vielen Dank für die Einblicke dann hinter die Kulissen von DeepScenario. Du hast es auch sehr gut erklärt, auch sehr greifbar aus meiner Sicht und bin gespannt, wie sich es weiterentwickelt.
Und vielleicht können wir ja dann in gegebener Zukunft sozusagen uns noch mal austauschen, wie es bei euch sich entwickelt hat, auch gerade mit dem aufkommenden Markt des autonomen Fahrens und mit Voranschreiten des Marktes.
Holger Banzhaf
Ja, Sebastian danke für den Austausch. An alle Zuhörer, folgt uns gerne auf LinkedIn, DeepScenario ist auf LinkedIn. Und wenn ihr Interesse habt an dem, was wir machen, wir haben sehr viele spannende Stellenausschreibungen online. Bewerbt euch gerne bei uns.
Sebastian
Das sollen sie auf jeden Fall machen. Und den Link dazu packen wir natürlich auch noch mal in den Artikel mit rein, dass sie dann auch direkt fündig werden. Vielen Dank für deine Zeit. Bis demnächst. Tschüss Holger.
