HuggingFace Papers · 训练

MixSD 提出混合上下文自蒸馏方法用于知识注入

MixSD 提出了一种混合上下文自蒸馏方法，目标是将外部知识更高效地注入语言模型。该方法在同一模型中构建不同上下文粒度的蒸馏路径，让模型在保持原有能力的同时吸收结构化知识。研究者在多个知识密集型任务上进行了验证，结果显示该方法在提升知识注入效果和减少遗忘之间取得了更好平衡。

导读

这条暂时没有深度导读，点上方「访问项目本体」直接到源页面查看。