Google DeepMind 在 Pixel 11 上搭载了 SL2T 手语模型

Google DeepMind 发布了一款名为 SL2T 的手语转文本模型，它将集成到新款 Pixel 11 的 Gboard 和 Live Transcribe 功能中。. 

该 公司称， 这是首款应用于真正消费产品的手语人工智能技术。 

用手机签名而不是打字

能听会说的人多年来一直能够使用语音输入功能与设备进行对话。. 

现在，即使无法用语音输入进行语音输入，但可以使用手语的人，也可以通过 SL2T 使用他们的 Pixel 11 设备与互联网互动、撰写信息或编辑文档。. 

签署者也可以将任务交给双子座。 

在实时转录功能中，用户可以在面对面交谈时签名回复，而不是敲击键盘。.

目前，该模型仅支持美国手语（ASL）到英语的翻译。谷歌表示，未来该模型将推广到更多设备，并支持更多语言。.

据报道，模型测试人员表示，用美国手语打字比用英语打字更快、更自然。.

为什么人工智能处理手语比处理语音更难？

DeepMind 将手语视为完整的自然语言，而不是“用手表达的英语”。 

然而，与口语人工智能相比，它的发展一直较为滞后，这主要是由于两个挑战。.

首先，手语有其自身的语法和词汇，因此系统必须对其进行翻译而不是转录。此外，手语同时通过手、臂、躯干、头部和面部来传达含义，这对于计算机视觉来说是一个极具挑战性的难题，需要精确 trac这些动作。.

此前也有人尝试开发这类解决方案，但大多数都失败了。其中一种方案——手语手套——失败的部分原因是它只读取手形，而忽略了身体的其他部分。SL2T 的设计初衷就是为了同时处理视觉感知和翻译。.

该模型如何处理视频和隐私问题

SL2T 不会将原始视频素材发送到云端。其设备端的计算机视觉组件 MediaPipe Holistic 会将手语者的面部、手部、手臂和躯干映射到几何坐标系中，只有这些坐标会被发送到谷歌的服务器。DeepMind 表示，这样可以将实际视频保留在手机上，从而加快处理速度。.

该模型直接将这些地标序列翻译成文本，跳过了被称为注释的中间标签。DeepMind 指出，注释会限制词汇量，并且会遗漏美国手语所依赖的非手势标记和空间语法。. 

谷歌使用超过 10 万小时、涵盖 50 多种手语的数据训练了 SL2T 模型，其中约四分之一是美国手语 (ASL)。该模型在 FLEURS-ASL 基准测试中获得了 70 分（BLEURT）。此外，该模型还支持单手和左手手语，并进行了延迟优化，同时还具备防止摄像头捕捉到非手语动作时出现文字误读的机制。.

谷歌围绕此次发布会正在构建什么？

谷歌已成立一个由聋人组织和手语专家组成的AI手语咨询委员会，以指导该技术的部署，该委员会将共同撰写一份报告，说明该模型目前能做什么和不能做什么。. 

接下来，我们将增加更多手语和能够生成手语而不仅仅是读取手语的模型。.

消费者版的发布已经酝酿了一段时间。Android Authority 发现了 手语转文本选项，此前 DeepMind 曾预告过一款名为 SignGemma 的手语模型。 

此次发布正值DeepMind经历一段动荡时期。2026年8月初， Demis Hassabis 从DeepMind首席执行官转任董事长，Koray Kavukcuoglu接管日常运营，而Gemini应用程序的月活跃用户已超过9.5亿。