Google DeepMind在Pixel 11上推出SL2T手语模型

Google DeepMind发布了一款名为SL2T的手语转文字模型，它将内置于新款Pixel 11的Gboard和Live Transcribe应用中。 

The 该公司表示 这是首款在真实消费产品中部署的手语人工智能。 

用手语与手机交流而非打字

多年来，听力正常且能说话的人一直可以使用语音输入功能与设备对话。 

现在，那些无法通过语音使用语音输入功能但使用手语的人，也可以借助SL2T，通过Pixel 11设备与互联网互动、起草消息或编辑文档。 

手语使用者还可以将任务交给Gemini 

在Live Transcribe中，用户可以在面对面交谈时用手语回复，而不是打字。

目前，该模型仅支持美国手语（ASL）到英语的转换。Google表示，未来该模型将扩展到更多设备，并支持更多语言。

据报道，模型测试人员表示，用手语比用英语打字更快、更自然。

为什么对手语的人工智能来说比语音更难？

DeepMind将手语视为完整的自然语言，而不是“手上的英语”。 

然而，与口语人工智能相比，手语人工智能的发展一直滞后，主要原因有两个。

首先是手语拥有自己的语法和词汇，因此系统需要对其进行翻译而非转录。此外，手语同时通过手、手臂、躯干、头部和面部传达意义，这对计算机视觉来说是一个极具挑战性的准确追踪问题。

此前曾有过开发此类解决方案的努力，但大多以失败告终。其中一种手语手套之所以失败，部分原因是它仅读取手部形状而忽略了身体的其他部分。SL2T旨在同时处理视觉感知和翻译。

该模型如何处理视频和隐私

SL2T不会将原始视频发送到云端。设备端的计算机视觉组件MediaPipe Holistic会将手语使用者的面部、手部、手臂和躯干映射为几何坐标，只有这些坐标会传输到Google的服务器。DeepMind表示，这确保了实际视频保留在手机中，并使处理流程更快。

该模型将这些地标序列直接转换为文本，跳过了已知的中间标签（glosses）。据DeepMind称，glosses限制了词汇量，并遗漏了ASL所依赖的非手动标记和空间语法。 

Google使用超过10万小时的数据训练SL2T，涵盖50多种手语，其中约四分之一为ASL，并在FLEURS-ASL基准测试中取得了70的BLEURT分数。该模型还支持单手和左手手语，包括延迟优化机制，并具有防止摄像头捕捉到非手语动作时产生幻觉文本的机制。

Google围绕此次发布正在构建什么？

Google已组建由聋人组织和手语专家组成的AI手语咨询委员会，以指导该技术的部署，该委员会将共同撰写一份报告，说明该模型目前能做到什么以及还不能做到什么。 

路线图上的下一步是增加更多手语，并开发生成手语而非仅读取手语的模型。

消费者版发布已酝酿已久。Android Authority 发现 在2026年7月17日，DeepMind此前曾预告了一款名为SignGemma的手语模型，之后在Gboard测试版中发现了手语转文字选项。 

此次发布正值该实验室动荡时期。2026年8月初， Demis Hassabis 从DeepMind首席执行官转任董事长，Koray Kavukcuoglu接管日常运营，Gemini应用月活跃用户现已超过9.5亿。