arXiv · 大模型
研究揭示语言模型中层级概念几何结构源于词共现
一项新研究从分布理论出发，解释了语言模型如何通过词共现模式在表示空间中编码上下位关系（即“is-a”关系）。作者基于WordNet层级图中词对共现频率更高的实证假设，构建了几何模型，揭示了层级概念结构的涌现机制。该工作为理解语言模型内部语义组织提供了理论支撑，对改进模型的可解释性和知识表示有参考价值。
- 域名
arxiv.org- 评分
- 4 · 重要更新
- 发布
- 2026-05-22
导读
这条暂时没有深度导读，点上方「访问项目本体」直接到源页面查看。
原文摘要
We propose a distributional theory of how hypernymy -- the ``is-a'' relation between general and specific concepts -- is encoded geometrically in language representations. Starting from the empirically verified assumption that words closer on the WordNet hypernym graph co-occur more often, we chara…