Trainingsdaten für die Künstliche Intelligenz erzeugen
Eine Hauptkomponente von MARQUIS ist das maschinelle Lernen, mit dem das System nicht nur die einzelnen Bauteile erkennt, sondern auch deren Lage im Raum. Um eine solche Künstliche Intelligenz anzulernen, sind jedoch riesige Datensätze notwendig. Am besten lässt sich dies an einem Beispiel verdeutlichen, etwa dem automatisierten Erkennen von Katzen auf Fotos. Damit Software die Tiere zuverlässig erkennen kann, muss man ihm nicht nur zahlreiche Bilder mit Katzen in verschiedenen Situationen und Positionen zeigen, sondern ihr auch zu verstehen geben, welche Pixel des Bilds zur Katze gehören und welche nicht. Was Katzen angeht, so gibt es solche Bilder zuhauf. Bei der Produktion von Bauteilen dagegen liegen derlei Trainingsbilder nicht vor oder müssen aufwändig erzeugt werden.
»Da man Jahre beschäftigt wäre, wenn man diese Daten per Fotoaufnahmen erstellen würde, hatten wir das Ziel, die Trainingsdaten rein aus den CAD-Daten zu generieren, die zu jedem Produktionsprozess vorhanden sind«, sagt Graf. Die Forscherinnen und Forscher erzeugen also synthetische Bilder, die wie echte Fotos wirken. Dazu simulieren sie mehrere Kameraaufbauten im Raum, die aus verschiedenen Richtungen auf das CAD-Modell blicken – aus jeder Perspektive wird ein Bild gemacht und mit einem beliebigen Hintergrund versehen. Während die CAD-Daten üblicherweise in Blau, Grün und Gelb dargestellt werden, bestehen die Bauteile auf den künstlichen Bildern durch fotorealistisches Rendering aus verschiedenen Materialien, etwa aus grau schimmerndem Metall. Der Ansatz funktioniert wie gewünscht: Über den Deep-Learning-Ansatz lässt sich das System mit den synthetischen Bildern trainieren und erkennt so reale Bauteile, ohne je zuvor ein echtes gesehen zu haben. Und das auch noch sehr schnell: Für zehn unterschiedliche, unbekannte Bauteile in einem komplexeren Produktaufbau brauchen die Forscher bei vorhandenen CAD-Daten nur wenige Stunden, um die Netze der Künstlichen Intelligenz anzulernen.
Automatische Bauteilkontrolle in Echtzeit
Ist das System für die konkreten Bauteile angelernt, kann es sie in Echtzeit überprüfen. Das System erkennt, um welches Bauteil es sich handelt, überprüft, wie es im Raum liegt, und überlagert dann lagerichtig die entsprechenden CAD-Daten. Stimmen die beiden überein? Hierfür nutzen die Forscherinnen und Forscher Methoden der Augmented Reality.
Auf der Hannover Messe vom 12. bis 16. April 2021 stellt das Forscherteam seine Entwicklung vor – anhand einer zusammengebauten Vorderachse. In einem Projekt, das vom Land Hessen im Löwe Programm (Projektnummer 928/20-85) gefördert wird, arbeiten die Fraunhofer-Forschenden eng mit dem Spin-off Visometry zusammen, um die Machine Learning-Verfahren mit den zugehörigen Workflows und Netzen in das Produktportfolio von Visometry zu überführen.