Übersetzung von Zeichensprache
"Wenn man sich die Konturen des Handgelenks sehr genau ansieht, kann man mithilfe von Technologie auch exakt die Positionen der Finger bestimmen. Diese Entdeckung war ein großer Durchbruch für unser Team", erklärt Cheng Zhang, Assistant Professor für Information Science und Leiter des SciFi Lab an der Cornell University. "Unser System ist das erste, mit dem sich auf Basis dieses Ansatzes die vollständige Handhaltung in 3D erfassen lässt", betont der Forscher.
Bislang seien ähnliche Geräte vor allem an ihrem zu großen Gewicht und der damit zusammenhängenden schlechten Alltagstauglichkeit gescheitert. "Die meisten sind außerdem nur in der Lage, einige wenige Handgesten zu erkennen", merkt Zhang an. Mit FingerTrak würden sich aber nun gleich eine ganze Reihe von Anwendungsmöglichkeiten eröffnen. Am vielversprechendsten sei etwa ein Einsatz bei der Übersetzung von Zeichensprache. "Derzeit müssen User in diesem Bereich entweder einen speziellen Handschuh tragen oder eine Kamera in der Umgebung aufstellen. Beides ist oft viel zu umständlich."
Handlich, klein und auch sehr leicht
Das neue Hightech-Armband ist wesentlich handlicher, relativ klein und sehr leicht, um den Träger nicht in seinem Bewegungsspielraum einzuschränken. Anstelle von normalen optischen Kameras wird auf auf eine Kombination aus Wärmebildaufnahmen und maschinellem Lernen gesetzt, um eine Hand virtuell zu rekonstruieren. Jede der insgesamt vier verbauten Mini-Kameras ist etwa erbsengroß und zeichnet mehrfach Aufnahmen von der Hand-Silhouette auf.
Die gesammelten Daten werden anschließend in ein neuronales Netzwerk eingespeist, das die unterschiedlichen Bilder zusammensetzt, um ein akkurates dreidimensionales Abbild der Hand zu erzeugen. "Mithilfe dieser Methode können wir die vollständige Handposition darstellen, sogar wenn jemand gerade ein Objekt in der Hand hält", schildert Zhang. (Ende)
Video/Präsentation: