OpenAI 发布文本与代码嵌入模型

这篇 OpenAI 论文系统化地说明：在大规模无监督数据上做对比预训练，可以同时得到高质量的文本嵌入与代码嵌入。作者团队由 Arvind Neelakantan、Tao Xu、Raul Puri、Alec Radford 等 25 人组成，把同一套对比目标分别用于纯文本与"文本-代码"配对，把语言描述与代码片段映射到共享的语义空间。

在标准 benchmark 上，相对此前最佳的无监督与监督文本嵌入模型，最优无监督版本在 7 个 linear-probe 分类任务的平均准确率上分别取得 4% 与 1.8% 的相对提升。语义检索方面，同样的文本嵌入在 MSMARCO、Natural Questions 与 TriviaQA 三项大规模评测中相较此前最佳无监督方法分别取得 23.4%、14.7% 与 10.6% 的相对增益。代码侧，针对"文本-代码"对训练得到的代码嵌入在 code search 上比此前最佳工作高出 20.8%。

这组结果让"通用嵌入"成为可工业化的底层组件：同一套向量既能服务于分类与聚类，也能直接驱动语义搜索，甚至在某些场景与领域内 fine-tune 模型持平。对 RAG 系统、文档检索与代码搜索产品而言，这意味着嵌入层可以从针对每种用途单独训练，演进到一套大模型驱动的统一表示，配合 API 即可直接调用，后续也成了 OpenAI text-embedding-ada-002 一类产品化模型的研究基底。