arXiv · 大模型
研究揭示 Vision Transformer 需要更好的 token 交互机制
一项新研究重新审视了 Vision Transformer 在长时间训练后出现的密集退化现象。作者认为，仅用高范数伪影无法完全解释该问题，并提出改进 token 间交互机制的必要性。这项工作为提升 ViT 在密集预测任务中的表现提供了新的理论视角。
- 域名
arxiv.org- 评分
- 4 · 重要更新
- 发布
- 2026-05-22
导读
这条暂时没有深度导读，点上方「访问项目本体」直接到源页面查看。
原文摘要
Vision Transformers (ViTs) can learn strong image-level representations while their patch representations become less effective for dense prediction during prolonged training. We revisit this dense degradation phenomenon and argue that it is not fully explained by high-norm artifacts alone. Instead…