Google DeepMind liefert SL2T-Gebärdensprachmodell auf dem Pixel 11 aus

Google DeepMind hat ein Modell zur Umwandlung von Gebärdensprache in Text namens SL2T veröffentlicht, das in Gboard und Live Transcribe auf dem neuen Pixel 11 integriert sein wird. 

Das Unternehmen gibt an, dass es sich um die erste Gebärdensprach-KI handelt, die in einem realen Verbraucherprodukt auf den Markt kommt. 

Anmeldung auf dem Telefon anstatt Tippen

Menschen, die hören und sprechen können, nutzen schon seit Jahren die Sprachsteuerung, um mit ihren Geräten zu sprechen. 

Dank SL2T können nun auch diejenigen, die keine gesprochene Sprache verwenden können, aber Gebärdensprache beherrschen, mit dem Internet interagieren, eine Nachricht verfassen oder ein Dokument mit ihrem Pixel 11-Gerät bearbeiten. 

Die Unterzeichner können auch Gemini eine Aufgabe zuweisen 

Bei Live Transcribe kann ein Benutzer eine Antwort während eines persönlichen Gesprächs signieren, anstatt sie einzutippen.

Aktuell unterstützt das Modell nur die Übersetzung von Amerikanischer Gebärdensprache (ASL) ins Englische. Google gibt an, dass das Modell zukünftig auf weiteren Geräten und in zusätzlichen Sprachen verfügbar sein wird.

Berichten zufolge beschrieben Modelltester das Gebärden in ASL als schneller und natürlicher als das Tippen auf Englisch.

Warum ist Gebärdensprache für KI schwieriger als gesprochene Sprache?

DeepMind betrachtet Gebärdensprachen als vollwertige natürliche Sprachen, nicht als „Englisch mit den Händen“ 

Allerdings hinkt die Entwicklung im Vergleich zur KI für gesprochene Sprache hinterher, vor allem aufgrund zweier Herausforderungen.

Erstens verfügen Gebärdensprachen über eine eigene Grammatik und ein eigenes Vokabular, weshalb das System sie übersetzen und nicht nur transkribieren muss. Zudem vermitteln sie Bedeutungen gleichzeitig über Hände, Arme, Oberkörper, Kopf und Gesicht, was eine anspruchsvolle Aufgabe für die Computer Vision darstellt, die präzise tracmuss.

Es gab bereits frühere Versuche, solche Lösungen zu entwickeln, doch die meisten scheiterten. Eine dieser Lösungen, Gebärdensprachhandschuhe, scheiterte unter anderem, weil sie nur Handformen erkannten und den Rest des Körpers ignorierten. SL2T wurde entwickelt, um sowohl die visuelle Wahrnehmung als auch die Übersetzung zu ermöglichen.

Wie das Modell mit Video und Datenschutz umgeht

SL2T sendet keine Rohdaten in die Cloud. Eine auf dem Gerät integrierte Computer-Vision-Komponente namens MediaPipe Holistic erfasst Gesicht, Hände, Arme und Oberkörper des Nutzers und wandelt sie in geometrische Koordinaten um. Nur diese Koordinaten werden an die Server von Google übertragen. Laut DeepMind bleibt das eigentliche Video auf dem Smartphone, was die Datenübertragung beschleunigt.

Das Modell übersetzt diese markanten Sequenzen direkt in Text und überspringt dabei die Zwischenbezeichnungen, die sogenannten Glossierungen. Laut DeepMind schränken Glossierungen den Wortschatz ein und lassen die nonmanuellen Marker und die räumliche Grammatik außer Acht, auf denen die ASL basiert. 

Google trainierte SL2T mit über 100.000 Stunden Daten aus mehr als 50 Gebärdensprachen, davon etwa ein Viertel in ASL, und erzielte im FLEURS-ASL-Benchmark einen BLEURT-Wert von 70. Das Modell unterstützt außerdem einhändige und linkshändige Gebärden, optimiert die Latenz und verhindert, dass es bei nicht gebärdenbezogenen Bewegungen Text erzeugt.

Was baut Google im Umfeld des Starts auf?

Google hat einen Beirat für KI-Gebärdensprache mit Gehörlosenorganisationen und Gebärdensprachexperten eingerichtet, um die Entwicklung der Technologie zu steuern. Der Beirat wird außerdem einen Bericht darüber verfassen, was das Modell leisten kann und was noch nicht möglich ist. 

Als nächstes steht die Hinzufügung weiterer Gebärdensprachen und Modelle auf dem Plan, die Gebärdensprache generieren, anstatt sie nur zu lesen.

Die Veröffentlichung für Endverbraucher wird schon seit einiger Zeit vorbereitet. Android Authority entdeckte am 17. Juli 2026 eine Option zur Umwandlung von Gebärdensprache in Text in einer Gboard-Betaversion, nachdem DeepMind zuvor ein Gebärdensprachmodell namens SignGemma angekündigt hatte. 

Der Start erfolgt zudem in einer turbulenten Phase für das Labor. Anfang August 2026 Demis Hassabis vom CEO-Posten bei DeepMind zum Vorsitzenden, und Koray Kavukcuoglu übernahm das operative Tagesgeschäft. Die Gemini-App verzeichnete zu diesem Zeitpunkt bereits über 950 Millionen monatliche Nutzer.