Meta AI 发布多节点训练方法 Multiray

Meta AI 推出的 MultiRay 在定位上更接近一套面向大规模 AI 模型的中心化推理平台，而非某个新的模型架构。文中给出的运行数据是每秒最高承担 2000 万次查询、每日 8000 亿次查询，在 Meta 内部支撑超过 125 种应用场景。它的设计前提是：先用一个庞大的基础模型把输入转成 embedding，再让各业务团队基于这个 embedding 训练轻量的任务专属模型，从而把昂贵的部分摊薄到所有下游任务。

平台的第一个生产模型 TextRay 自 2020 年起承担文本理解相关任务，包括识别虚假内容和优化搜索体验；第二个模型 PostRay 进一步把图像与文本融合进同一模型，用于 Reels 的话题分类等场景，让团队不必各自维护一套文本和图像理解栈。在工程层面，MultiRay 采用跨请求批处理，把多个客户端发来的单条请求在内部聚合成大 batch 喂给 GPU；同时设置多层缓存，对相同输入复用上一次的计算结果，在算力和存储之间做权衡。MultiRay 也是 Meta 内部第一个在生产环境中部署 PyTorch BetterTransformer 的大规模用例。

对于读者，MultiRay 展示了大模型走进生产系统时的一种现实路径。各团队不必各自训练和托管 175B 级别的模型，而是共享一个被持续优化的中心模型，再用小的任务头去完成具体业务。文章把这种安排称为通才模型集中化、专才模型分布式，背后的工程含义是把算力集中投入到少数几个模型上以便引入加速器和系统优化，把开发成本分摊到上百个客户端团队，让前沿研究成果在论文发布后较短时间内就能进入产品。