Google 发布 Pathways 下一代 AI 架构

Google 资深副总裁 Jeff Dean 在 2021 年 10 月 28 日发布的这篇博客，正式介绍 Pathways，一种 Google Research 多个团队正在搭建的下一代 AI 架构。文章不堆术语，而是用三组对比讲清今天主流模型的局限以及 Pathways 想改写的地方。Dean 把现行做法形容为：每学一项新技能都要把跳绳、平衡、跨步、协调全部忘掉重学。Pathways 想做的是让一个模型在数千乃至数百万项任务之间共享技能，新任务可以在旧能力之上加速成型，而不是为每件事单训一个模型。

Pathways 的设计目标围绕三处差异展开。其一是 multitask：模型应能调用已有技能并把它们拼接起来完成新任务，例如"从航拍图判断地势高低"这种能力，应该能转用于"预测洪水如何在该地形上流动"。其二是 multimodal：人类同时调用多种感官，而今天的模型大多一次处理一种模态。Pathways 想让"豹子"这个词、有人念出豹子的声音、以及豹子奔跑的视频，在模型内部激活同一处概念表示，从而减少错觉与偏见；它也能处理图像、声音、文本之外更抽象的数据，比如气候动力学里的复杂模式。其三是 sparse activation：现今大多数神经网络是 dense 的——无论任务难易，都要把整张网络算一遍。Pathways 主张稀疏激活，让模型动态学会把任务路由到最相关的子网络，类似人脑在阅读这段文字时只调用百亿神经元中的一小部分。

这种架构带来的不是单纯精度提升，而是容量与能耗的同时改写。稀疏激活让模型容量更大，运行又更快、更省电；多模态共享表示让单一模型可以服务原本要分开训练的产品；多任务设计让 AI 从识别模式走向跨任务理解世界。Dean 把 Pathways 概括为"从只会识别模式的单一目标模型，走向具备更深世界理解、可适应新需求的通用智能系统"，并把它视作让 AI 真正应对复杂现实问题的基础设施前提。