Meta AI · 大模型

Meta 发布 RoBERTa 预训练优化方法

Meta AI 正式介绍了 RoBERTa，一种对 BERT 预训练流程进行系统性优化后的自监督 NLP 方法。RoBERTa 通过更长的训练时长、更大的 batch size、动态掩码策略以及移除下一句预测任务，在 GLUE 和 SQuAD 等基准上取得了显著优于原始 BERT 的结果。该方法展示了在相同架构下，通过精细调整训练配方即可大幅压缩 BERT 与 RoBERTa 之间的性能差距，为后续预训练语言模型的研究提供了关键的工程实验依据和可复现的实践准则。

域名

ai.meta.com

评分

4 · 重要更新

收录

2026-05-19