HuggingFace Papers · 训练

研究提出 E-PMQ 后合并量化方法，引入合并权重锚定

E-PMQ 是一种专家引导的后合并量化方法，核心创新在于合并权重锚定机制。它通过对合并后的模型权重进行量化压缩，同时保留专家知识的结构信息，在降低模型存储与推理成本的同时维持性能。该方法为模型压缩与多任务合并场景提供了一条兼顾效率与精度的技术路径。

导读

这条暂时没有深度导读，点上方「访问项目本体」直接到源页面查看。