App-Test: Seeing AI

Mittwoch, 7. März 2018 - 10:11

Ein Blogbeitrag von: Daniele Marano

Neue App „Seeing AI“ unterstützt sehbeeinträchtige Menschen mit Künstlicher Intelligenz

Im App Store von Apple steht seit Dezember 2017 eine von Microsoft entwickelte, multifunktionale App für sehbeeinträchtigte Menschen zur Verfügung: Seeing AI. „AI“ steht für Artificial Intelligence, also Künstliche Intelligenz und „Seeing“ für Sehen.

Projekt

Seeing AI ist eine kostenlose App, die sehbehinderten und blinden Menschen die Welt rundherum erzählt. Die App wurde speziell für diese Zielgruppe im Rahmen eines fortlaufenden Projektes von Microsoft entwickelt und nutzt die Möglichkeiten der künstlichen Intelligenz, um die visuelle Welt mit Hilfe der Kamera des Smartphones zu eröffnen und in der Nähe befindliche Personen, Texte und Objekte verbal zu beschreiben.

Wie bei einem TV-Gerät kann man zwischen verschiedenen „Kanälen“ wählen, je nachdem was gerade vor der Kamera des Smartphones erscheint und beschrieben werden soll. Die App wurde für die Verwendung mit VoiceOver optimiert und verfügt derzeit über folgende Funktionen:

Mitarbeiter Daniele Marano fotografiert mit seinem Smartphone das Magazin sichtweisen.
Fotografierte Dokumente werden vorgelesen – derzeit noch mit englischer Sprachausgabe.

Kurzer Text: Spricht Text, sobald er vor der Kamera erscheint.
Dokumente: Bietet Audioführung zum Erfassen einer gedruckten Seite und erkennt den Text zusammen mit seiner ursprünglichen Formatierung.
Produkte: Scannt Barcodes und verwendet akustische Signaltöne zur Auffindung des zu scannenden Barcodes, danach hört man den Namen und Produktinformationen, wenn verfügbar.
Gesichtserkennung: Gesichter von Personen werden gespeichert, um sie wieder mit der Kamera des Smartphones erkennen zu können. Dabei erhält man eine Schätzung des Alters, Geschlechts und Emotion der erkannten Person.
Szenen: Mit dieser Funktion erhält man eine Gesamtbeschreibung der mit der Kamera aufgenommenen Szene.
Währung: Dient zur Erkennung von Banknoten, z. B. US-Dollar, Kanadische Dollar, Britische Pfund, Euro.
Farbe: Identifiziert die Farbe von Gegenständen.
Handschrift: Liest handgeschriebenen Text vor.
Licht: Erzeugt einen hörbaren Ton, der der Helligkeit in der Umgebung entspricht.

Auch Bilder in anderen Apps können von Seeing AI erkannt werden. Dabei genügt es einfach auf „Teilen“ und „mit AI erkennen“ zu tippen, um eine Beschreibung der Bilder von Mails, Fotos, Twitternachrichten und mehr zu erhalten.

Mitarbeiter Daniele Marano fotografiert mit seinem Smartphone einen Mann mit Bart.“
Die App beschreibt den fotografierten Mann so: „53 year old man with Gray hair and a beard looking happy.“

Hilfe

Seeing AI ist eine App, mit der blinden und sehbehinderten Menschen durch die Macht der Cloud und der Künstlichen Intelligenz geholfen wird. Im Laufe des Forschungsprojekts ist die Hinzufügung weiterer Funktionen geplant. Die App ist in 35 Ländern, darunter USA, Kanada, Europäische Union, Großbritannien, Australien, Indien, Hongkong, Neuseeland, Singapur erhältlich. Derzeit unterstützt Seeing AI nur die Sprache Englisch. Das bedeutet, dass alle Sprachrückmeldungen in Englisch erfolgen. Wir hoffen, dass die App bald auch in deutscher Sprache verfügbar sein wird.

Wir haben Seeing AI ausführlich getestet. Die App reagiert sehr schnell auf Befehle, die Erkennung von Texten, Situationen ist wirklich beeindruckend. Die App Seeing AI ist eine der vielversprechendsten technologischen Entwicklungen auf dem Gebiet der Künstlichen Intelligenz, die auf die Lösung der Probleme von Menschen mit Sehbehinderung angewendet wird. Wir sind sehr gespannt, welche zukünftige Anwendungsszenarien die Weiterentwicklung der Künstlichen Intelligenz für sehbeeinträchtigte Menschen haben wird.

Resümee

Seeing AI ist ein gelungenes Projekt, das zeigt wie technologische Entwicklungen sinnvoll die Lebensqualität von Menschen mit Behinderungen verbessern können. Weitere Informationen können in englischer Sprache unter http://SeeingAI.com abgerufen werden.

Bild des Benutzers Michael

Hallo Dominik,

du hast recht, dass es gut ist, wenn man ein wenig Englisch versteht, da die App nicht übersetzt ist und daher einige Funktionen von Seeing AI die Sprache nur auf Englisch ausgeben. Allerdings funktionieren einige Funktionen wie zum Beispiel die Text- oder Geldscheinerkennung am iPhone auch auf Deutsch gut, wenn VoiceOver in den Bedienungshilfen (Einstellungen - Allgemein - Bedienungshilfen) aktiviert ist.

Viele Grüße aus Dortmund
Michael

Bild des Benutzers Alexandra Schätz

Lieber Dominik! Seeing AI ist im deutschen App Store erhältlich, wird aber noch nicht in deutscher Sprache angeboten. Das bedeutet, dass die Bedienung der Funktionen in englischer Sprache erfolgt. Einige Funktionen aber, wie Michael schon beschrieben hat, wie z.B.: die Texterkennung, können auch von deutschsprachigen Personen genutzt werden, da die Vorlesefunktion des gescannten Textes von VoicOver übernommen wird.

Beste Grüße

Bild des Benutzers Thomas Buhmann

Hallo, ich nutze die App Seeing AI sehr häufig, wäre schön wenn es die mal auf deutscher Sprache geben würde, wann kommt enk´dlich mal ein Update für die Sprache deutsch?

Bild des Benutzers Alexandra Schätz

Lieber Herr Buhmann!
Vielen Dank für Ihre Frage! Unsere Mitarbeiter und Accessibility-Spezialist Daniele Marano wird dieser Frage nachgehen und mit Microsoft Kontakt aufnehmen. Sobald wir Informationen dazu haben, werden wir uns wieder melden.
Beste Grüße
Alexandra Schätz (Kommunikation)