Anthropic · 大模型

Anthropic 发布重复数据学习中的缩放定律与可解释性研究

Anthropic 发布了一项关于重复数据对模型训练影响的研究。该工作系统性地分析了数据重复次数与模型规模之间的缩放关系，并探讨了重复数据如何影响模型内部表征的可解释性。研究发现，重复数据在特定条件下可以提升训练效率，但过度重复会损害模型泛化能力。这一成果为理解大规模预训练中的数据策略提供了理论依据。

域名

anthropic.com

评分

4 · 重要更新

发布

2024-12-19