S4VI - Streetview for Visually Impaired

Laufende Projekte

Die generierten Informationen verschiedener Hinderniserkennungssysteme werden in einer Crowd zusammengetragen, um eine Art Streetview zu entwickeln.

Unser Ziel

Die derzeit vorliegenden isoliert arbeitenden Systeme zur Hinderniserkennung, worunter auch der Ultraschall- und Kameratechnologie kombinierende Innomake einzuordnen ist, sind nur durch firmeninterne Weiterentwicklung verbesserbar, was zu einer trägen Verbesserung der Erkennungsleistung für alle User führt.

Ziel ist nun, die beim Tragen generierten Informationen im Sinne eines Crowdwissens zu einer Art Streetview für sehbehinderte Menschen zusammenzuführen. Unter Verwendung der Innomake-Kamera, GPS und modernster Deep-learning Bildverarbeitungsmethoden soll sich nämlich das System durch die Alltagsnutzung des Users stetig selbstlernend verbessern.

Das Projekt

Ausgangspunkt ist der von Tec-Innovation entwickelte Innomake, der intelligente Schuh zur Erkennung von Hindernissen, der die persönliche Mobilität von sehbeeinträchtigten, blinden und motorisch eingeschränkten Menschen in deren Alltag sicherer gestaltet. Die erste Produktversion, welche sich derzeit (1Q 2019) gerade am Beginn der CE-Zertifizierung vor dem Marktstart befindet, erkennt durch die eigens entwickelte, auf Ultraschallsensoren basierende Elektronik während dem Gehen Hindernisse auf bis zu 4 Meter und warnt vor diesen rechtzeitig.

Da die auf Ultraschall basierende Technologie jedoch nur angeben kann, ob sich vor dem Benutzer ein Hindernis befindet, aber nicht ermitteln kann, welches Hindernis dies ist, wird bereits seit 2016 gemeinsam mit der TU Graz an einer 2D-kamerabasierten Ergänzung der ersten Produktversion gearbeitet. Moderne Deep learning Algorithmen zur Erkennung des Bildinhalts können aus Bildern der Fußperspektive einerseits einen hindernisfreien und damit begehbaren Bereich ermitteln und andererseits weiters auch Objekte erkennen und unterscheiden. Diese am PC trainierten Algorithmen können von uns bereits auf einem eigens konzeptionierten mobilen System betrieben werden.

Die derzeit vorliegenden isoliert arbeitenden Systeme, worunter auch der Ultraschall- und Kameratechnologie kombinierende Innomake einzuordnen ist, sind nur durch firmeninterne Weiterentwicklung verbesserbar, was zu einer trägen Verbesserung der Erkennungsleistung für alle User führt. Da es auch keine automatisierten Wege gibt, Fehlmessungen durch den Kunden zu melden, können solche Fehlmessungen (z.B. ein Hindernis wird in einer bestimmten Situation nicht erkannt) nicht systematisch erfasst werden und sind daher in der Praxis meist ein langer, potentiell gefährlicher Begleiter.

Modernste Deep learning Algorithmen, welche dazu ausgelegt sind, einerseits große Datenmengen sinnvoll zu nutzen und andererseits aus diesen Datenmengen eigene Schlüsse zu ihrer eigenen Verbesserung zu ziehen, bieten nun eine große Chance in diesem Bereich. Wenn die Learnings aus jedem Weg jedes einzelnen Nutzers zusammengeführt werden können, könnten Lücken in der Erkennung von Situationen kontinuierlich geschlossen werden.

So ist es das Ziel, ein umfassendes Netzwerk für die sichere Mobilität zu schaffen, von dem nicht nur Innomake-User, sondern alle sehbeeinträchtigten Menschen profitieren. Unter Verwendung der Innomake-Kamera, GPS und modernster Deep-learning Bildverarbeitungsmethoden soll nämlich durch die Alltagsnutzung des Users das System stetig automatisiert verbessert werden. Nur so ist es einem System zur Hinderniserkennung möglich, sicher zu werden, damit solche Systeme zukünftig nicht nur – wie derzeit - eine Ergänzung zum über 70 Jahre alten Blindenstock bleiben.

Die Projektpartner