«LipType» 23.03.2021, 07:50 Uhr

System kann Lippen lesen

US-Forscher haben mit «LipType» ein System entwickelt, das Worte an den Lippenbewegungen erkennen soll. Damit wird die sichere Spracheingabe in einer lauten Umgebung und für Behinderte möglich.
Laxmi Pandey (links), Ahmed Sabbir Arif (Mitte), Gulnar Rakhmetulla haben «Lip Type» entwickelt
(Quelle: UC Merced)
Mit dem Lippenlesegerät «LipType» von Forschern der University of California in Merced können Behinderte und Gesunde mit Computern und anderen elektronischen Devices sicher kommunizieren. «Es gibt viele Missverständnisse, wenn Menschen sprachlich miteinander kommunizieren, insbesondere an lauten Orten oder bei Menschen mit Sprachbehinderungen. Aber LipType funktioniert bei jedem», so Entwickler Ahmed Sabbir Arif.

Gespräche belauschen

Arif zufolge ist LipType ideal für Personen, die sich in einem öffentlichen Raum befinden und Privates übermitteln wollen, ohne dass sie abgehört werden können. Mit dem Gerät können sie lautlos sprechen, indem sie die Worte mit den Lippen formen, ohne sie laut auszusprechen. Eine Kamera nimmt die Bewegungen auf, eine Software, die für jeden Anwender individuell trainiert werden muss, wertet die Bildfolgen aus und übersetzt sie in einen digitalen Code.
Dieser Code lässt sich in die Sprache des Geräts übersetzen, das bedient werden soll. In der Regel wird damit ein anderer Computer oder Mikroprozessor gefüttert, der die digitalisierten Wörter in Handlungsanweisungen umsetzt. Es ist auch denkbar, ein Gerät anzuschliessen, das den Code wiederum in gesprochene Wörter umsetzt. Dann können Stumme verbal kommunizieren, sagen Arifs Schülerinnen Laxmi Pandey und Gulnar Rakhmetulla.

Tests erfolgreich absolviert

Um zu testen, ob LipType bei den Menschen ankommt, ging es in Tests darum, wie präzise die Umsetzung der Lippenbewegungen in eine digitale Sprache klappt und ob es schnell genug geht. Sowohl Studenten als auch andere Menschen sagten nach Abschluss der Versuche mehrheitlich, sie würden ein solches Gerät gern nutzen. «Menschen mit Behinderungen stehen oft im Abseits», sagt Arif. LipType biete ihnen die Möglichkeit, mobile und andere Geräte durch Spracheingabe genauso zu bedienen wie Nicht-Behinderte.



Kommentare
Es sind keine Kommentare vorhanden.