Push-Nachrichten von MacTechNews.de

Würden Sie gerne aktuelle Nachrichten aus der Apple-Welt direkt über Push-Nachrichten erhalten?

Project Signs: Siri, Alexa und Co. sollen Gebärdensprache verstehen

Weltweit gibt es 466 Millionen Menschen mit einer Hörbehinderung. Viele der Betroffenen sind auf Gebärdensprache angewiesen, und so bleibt ihnen die Welt von Siri, Alexa und Cortana verschlossen - bis jetzt. Das Projekt "Signs" will eine Verbindung zwischen beiden Welten schaffen und Hörbehinderten die Nutzung von Sprachassistenten ermöglichen.

Gebärdensprache wird übersetzt
"Signs" übersetzt Gebärdensprache in Echtzeit und gibt das Ergebnis an einen Sprachassistenten weiter. Dieser antwortet dann ebenfalls in Echtzeit, das smarte Tool bereitet die Antwort auf und gibt sie entweder in Textform oder als visuelles Feedback aus. Zum Einsatz kommt dabei ein Machine Learning Framework; dieses identifiziert die Gebärden und konvertiert sie in ein Format, das die digitalen Assistenten verarbeiten können.

Grafik: MRM//McCann

Projekt von Verein und Unternehmen
Das smarte Tool wurde vom Verein "Bundesjugend - Verband junger Menschen mit Hörbehinderung" in Zusammenarbeit mit dem Unternehmen MRM//McCann entwickelt. Es funktioniert auf Desktops, Notebooks, Tablets und Smartphones, die mit einer Kamera ausgestattet sind, und lässt sich den Entwicklern zufolge problemlos mit einem digitalen Assistenten koppeln. Zurzeit werden Amazon Alexa, Microsoft Cortana und der Google Assistant unterstützt, Apples Sprachassistent Siri könnte nach Angaben auf der Website des Vereins in naher Zukunft ebenfalls mit "Signs" verbunden werden.

Zurzeit nur für deutsche Gebärdensprache
Die aktuelle Version von "Signs" erkennt ausschließlich die deutsche Gebärdensprache. Gemeinsam mit Partnern auf der ganzen Welt wolle man jetzt in einem nächsten Schritt dem smarten Tool weitere Gebärden und internationale Sprachen beibringen, sagte Martin Biela von MRM//McCann anlässlich der Vorstellung des Projekts in Frankfurt. Michelle Mohring, die Erste Bundesjugendleiterin des Verbands junger Menschen mit Hörbehinderung betonte: "Signs stellt einen wichtigen Schritt dar, uns alle an neuen Technologien teilhaben zu lassen." Langfristig soll das System daher als allgemein zugängliche Software zur Verfügung gestellt werden.

Neues iPad mini

Vor 10 Jahren: 3 Milliarden für Beats

Eskalationskurs: ARM kündigt Qualcomm die Desig...

Visa sah Apple als "existenzielle Bedrohung" an

10 Jahre Yosemite-Design

Apple Watch Series 10

macOS 15, iOS 18: Die ersten Nutzer-Rückmeldung...

Erste Benchmarks: M4 Pro schneller als ein M2 U...

Kommentare

conath08.05.19 14:12

Das ist ein tolles Projekt. Dazu fällt mir nur ein; man kann auf iPhone, iPad und Mac auch mit Siri schreiben anstatt zu sprechen. Das kann man in den Einstellungen unter Bedienungshilfen einschalten.
Ich verwende das, um in lauten Umgebungen trotzdem Siri verwenden zu können. Wenn „Hey Siri“ aktiviert ist, kann man durch das Sprachkommando trotzdem noch mit dem Assistenten sprechen.

MikeMuc08.05.19 14:20

Ich dachte, Siri hört mehr oder weniger gut zu. Hier müßte sie aber doch per Kamera die Gesten erkennen... Nicht das man ihr oder einem Algorithmus das beibringen könnte aber mit Siri hat das doch erstmal gar nix zu tuen. Oder verstehe ich da was falsch?

Pixelmeister08.05.19 14:39

Das Projekt ist toll. Allerdings ist es natürlich eine Zwischen-Übersetzung, die evtl. Verluste mit sich bringt. Gebärdensprache wird erst in "klassische" Sprache übersetzt, die dann wiederum von Alexa und Co. verstanden werden muss. Noch besser wäre es wahrscheinlich, wenn man direkt dem Assistenten die Benutzung der Kamera und das Verstehen der Gebärden beibringen würde. Das wäre ein Konzept, wie es Apple sicherlich favorisieren würde – gerade weil sie ohnehin bei den OS-internen Assistenz-Funktionen sehr weit vorne sind.

marcel15108.05.19 16:31

MikeMuc

Siri bekommt im dem Fall „nur“ den Text von signs mitgeteilt den die Software aus der Gebärdensprache erkannt hat. Dann kann sie entsprechend darauf reagieren. Wie am Anfang gesagt mit der Möglichkeit Siri zu schreiben. Man benötigt halt nun noch eine „Aktivierungsgeste“ wie im Video zu sehen um Siri „zuhören“ zu lassen.

Mich wundert es vielmehr warum es mehr als eine Gebärdensprache gibt. Gibt es da tatsächlich unterschiede?

DSkywalker08.05.19 20:46

marcel151

Mich wundert es vielmehr warum es mehr als eine Gebärdensprache gibt. Gibt es da tatsächlich unterschiede?

Na klar, so wie es im Deutschen Dialekte gibt, gibt es auch im DGS (Deutsche Gebärdensprache) Dialekte
Jede Landessprache hat ihre eigenen Gebärden
– die Amis (ASL)
– die Franzosen
– die Italiener
Jeder gebärdet anders, schon allein deswegen weil auch die Begrifflichkeiten anders sind.
Natürlich gibt es in den Gebärdensprachen auch deckungsgleiche Gebärden vorhanden. z.B. Wurst

Spannend an der Gebärdensprache ist, daß diese den Raum mit einbezieht. Es muss also eine 3D–Erkennung erfolgen.
– vergangenes hat immer auch Gebärden welche nach hinten zeigen
– das heute ist quasi vor dem Körper
– die Zukunft benutzt dann wiederum Gebärden, welche nach vorne zeigen

Der 2te Punkt ist, daß sich die Grammatik nicht die gleiche wie die Sprachgrammatik ist.
sehr einfaches Beispiel:
Wir sagen : Das Auto ist sehr schnell.
in DGS: <Auto–Gebärde> <Steigerungs–Gebärde> <Schnell–Gebärde>

DSkywalker08.05.19 20:50

Hier noch ein kleiner Artikel dazu aus der Zeit

Markus2308.05.19 23:31

Also das Einschliessen von hörbehinderten Menschen in allen Ehren, aber es kann doch nicht die Antwort sein, sich neben einer „Audio-Wanze“ auch noch eine „Video-Wanze“ ins Haus zu stellen. Gerade bei Amazon gab es aktuell Meldungen wie dort der Datenschutz mit Füßen getreten wird, sollte man sich da noch eine Überwachung mit Cloud-Anbindung ins Haus holen ?
Noch dazu sehe ich nicht den Sinn, sollte nicht die Sprachbedienung gerade den Vorteile habe, die „Hände frei“ zu haben. Leider können dies hörbehinderte Menschen mit Gebärdensprache per se nicht.
Kann man dann nicht gleich - datensparsam - die vorhandenen Eingabemöglichkeiten (Tastatur, usw.) nutzen ? Oder übersehe ich da DAS neue Killerargument ?

schaudi09.05.19 07:57

Markus23

Meine Güte - es ist eine extra App, die man anschalten muss und die DANN das erkannte an Siri übermittelt. Wenn du es nicht brauchst, dann installier die App halt nicht und fertig. Ob es nützlich ist, für diejenigen die es brauchen, können sie dann selbst beurteilen.

Hier persönlichen Slogan eingeben.

-1

Project Signs: Siri, Alexa und Co. sollen Gebärdensprache verstehen

Kommentare

Kommentieren

Sie müssen sich einloggen, um die News kommentieren zu können.