Google DeepMind rilascia il modello di linguaggio dei segni SL2T su Pixel 11

Google DeepMind ha rilasciato un modello di conversione del linguaggio dei segni in testo chiamato SL2T, che sarà integrato in Gboard e Live Transcribe sul nuovo Pixel 11. 

L' azienda afferma di essere la prima intelligenza artificiale per il linguaggio dei segni a essere integrata in un prodotto di consumo reale. 

Utilizzare il telefono per comunicare con i gesti anziché digitare

Da anni, le persone in grado di udire e parlare utilizzano la dettatura vocale per interagire con i propri dispositivi. 

Ora, grazie a SL2T, chi non è in grado di utilizzare la dettatura vocale per un discorso efficace, ma usa il linguaggio dei segni, può interagire con internet, scrivere un messaggio o modificare un documento utilizzando il proprio dispositivo Pixel 11. 

I firmatari possono anche affidare un compito a Gemini 

In Live Transcribe, un utente può firmare una risposta durante una conversazione faccia a faccia anziché digitarla.

Attualmente, il modello gestisce solo la traduzione dalla lingua dei segni americana (ASL) all'inglese. Google afferma che in futuro il modello verrà esteso a un maggior numero di dispositivi e supporterà altre lingue.

Secondo quanto riferito, i collaudatori del modello hanno descritto la lingua dei segni americana (ASL) come più rapida e naturale rispetto alla digitazione in inglese.

Perché il linguaggio dei segni è più difficile da elaborare per l'intelligenza artificiale rispetto al parlato?

DeepMind considera le lingue dei segni come lingue naturali a tutti gli effetti, non come "inglese scritto con le mani" 

Tuttavia, il suo sviluppo è stato più lento rispetto all'intelligenza artificiale applicata al linguaggio parlato, principalmente a causa di due sfide.

Il primo problema è che le lingue dei segni hanno una grammatica e un vocabolario propri, quindi il sistema deve tradurle anziché trascriverle. Inoltre, trasmettono significato attraverso mani, braccia, busto, testa e viso contemporaneamente, il che rappresenta una sfida complessa per la visione artificiale, che deve traccon precisione.

Ci sono stati precedenti tentativi di sviluppare soluzioni simili, ma la maggior parte di essi è fallita. Uno di questi, i guanti per la lingua dei segni, ha fallito in parte perché leggevano solo la forma delle mani e ignoravano il resto del corpo. SL2T è stato progettato per gestire sia la percezione visiva che la traduzione.

Come il modello gestisce video e privacy

SL2T non invia filmati grezzi al cloud. Un componente di visione artificiale integrato nel dispositivo, chiamato MediaPipe Holistic, mappa il viso, le mani, le braccia e il busto del segnante in coordinate geometriche, e solo queste coordinate vengono inviate ai server di Google. DeepMind afferma che in questo modo il video effettivo rimane sul telefono e il flusso di elaborazione risulta più veloce.

Il modello traduce direttamente in testo queste sequenze di riferimento, saltando le etichette intermedie note come glosse. Secondo DeepMind, le glosse limitano il vocabolario e non tengono conto dei marcatori non manuali e della grammatica spaziale su cui si basa la lingua dei segni americana (ASL). 

Google ha addestrato SL2T su oltre 100.000 ore di dati relativi a più di 50 lingue dei segni, di cui circa un quarto in ASL (American Sign Language), e ha riportato un punteggio BLEURT di 70 sul benchmark FLEURS-ASL. Il modello supporta anche la lingua dei segni a una mano e per mancini, include ottimizzazioni della latenza e dispone di meccanismi progettati per impedirgli di generare testo in modo errato quando la telecamera rileva movimenti non correlati alla lingua dei segni.

Cosa sta preparando Google in vista del lancio?

Google ha istituito un comitato consultivo sull'intelligenza artificiale per il linguaggio dei segni, composto da organizzazioni per non udenti ed esperti di linguaggio dei segni, con il compito di guidare l'implementazione della tecnologia. Il comitato redigerà inoltre un rapporto sulle capacità attuali del modello e sui suoi limiti. 

Il prossimo passo nella tabella di marcia è l'aggiunta di ulteriori lingue dei segni e di modelli in grado di generare la lingua dei segni anziché limitarsi a leggerla.

Il rilascio al pubblico è in preparazione da un po' di tempo. Android Authority ha individuato un'opzione di conversione da linguaggio dei segni a testo all'interno di una versione beta di Gboard il 17 luglio 2026, dopo che DeepMind aveva precedentemente anticipato un modello di linguaggio dei segni chiamato SignGemma. 

Il lancio avviene inoltre in un periodo turbolento per il laboratorio. All'inizio di agosto 2026, Demis Hassabis è passato da CEO di DeepMind a presidente, e Koray Kavukcuoglu ha assunto la gestione operativa quotidiana, con l'app Gemini che ha superato i 950 milioni di utenti mensili.