Google AI 发布 Understanding The World Through Language

这篇 2022 年 5 月 11 日由 Google DeepMind 副总裁 Zoubin Ghahramani 发布的博客，借 Google I/O 2022 总结 Google 在用语言理解世界这一目标上的进展。文章把 20 多年前 Google 把搜索词与网页词连起来的最初任务作为起点，随后梳理 NLU 的近期加速：模型对模式识别、复杂概念抽取、跨概念隐含关联的能力不断提高，许多模型还能跨语言或在图像、视频等非语言形态上提取信息。

技术主线落在 Transformer 与 Pathways 上。2017 年 Google 研究员提出 Transformer，催生了 MUM 与 LaMDA。Pathways 借鉴大脑稀疏激活的方式训练模型，PaLM 是这一架构上的代表，在多项语言基准上取得当时最先进结果，能解决多步数学应用题，能在仅有少量训练数据的新语言上回答问题，还能用 Chain of Thought 提示把推理步骤逐步展开。Google Translate 同步新增 24 种语言，覆盖逾 3 亿使用者，包括美洲原住民语言；关键的是这套神经模型仅用单语文本完成训练，没有平行翻译对照，让长期被技术忽略的语言群体得到服务。

会话与多模态是另外两个落点。Google App 的 multisearch 把 Pathways 类模型用到跨模态搜索；Tensor 芯片专为设备端机器学习设计，让 Assistant 的响应时间向人类 200 毫秒级反应速度靠近，并能识别"对方停顿但还没说完"这样的细微线索。LaMDA 在质量、安全与 groundedness 上获得改进，团队将 LaMDA 2 引入 AI Test Kitchen 逐步开放试用以收集真实反馈。文末给出负责任开发的框架：自 2018 年发布的 AI Principles 起，Google 在偏见检测、隐私设计、可解释性工具（如 LIT）等方面持续投入，并在产品上线前后都做严苛评估。文章把这一路工作收束到一句朴素表达：语言之所以重要，是因为它一直把人聚到一起。