Google AI 发布 Lamda

Google 在 2021 年 5 月 18 日发布这篇博客，正式介绍 LaMDA，全称 Language Model for Dialogue Applications。文章开篇承认语言是人类最强工具，也是计算机科学最难啃的拼图，开放式对话尤其难处理：朋友间从电视剧聊到取景地再聊到当地小吃，话题可以从一处漂到另一处。常规对话机器人只能沿着预设路径走，LaMDA 的目标是让模型在几乎无限多的话题之间自由切换，从而打开新的人机交互方式。

与多数语言模型不同，LaMDA 是直接在 dialogue 数据上训练的，因此在训练阶段就学到了开放对话特有的几种细微属性。文章给出两个具体维度。一是 sensibleness，即回复是否承接上下文：当一方说「我刚开始学吉他」，另一方答「很棒，我妈妈有一把老 Martin」是说得通的，单看一句「挺好的」虽然合理，但适用于几乎任何话题。二是 specificity，即回复是否针对当前语境足够具体。Google 早期评估表明 LaMDA 在这两个维度上都给出令人鼓舞的结果，但并非全部目标。

团队在文中给出三项后续推进方向：一是 interestingness，衡量回复是否有洞见、出人意料、带点机智；二是 factuality，让模型在自由聊天中也能扣住事实，避免语言模型常见的"自信地讲错"问题；三是把 LaMDA 接入 Google 自家产品如 Search 与 Assistant，从而把对话能力嵌进搜索与助理的工作流。Google 同时强调安全与公平方面的早期工作，承认开放对话模型一旦放大就可能放大训练语料里的偏见与不实信息，相关评估会与产品化进度并行推进。这篇博客是 LaMDA 后来一系列发展——LaMDA 2、AI Test Kitchen 乃至 Bard——的起点。