OpenAI · 大模型
OpenAI 发布 Exploration 项目
OpenAI 推出名为 Exploration 的新项目，旨在探索人工智能在未知领域中的自主发现与学习能力。该项目聚焦于让 AI 系统在缺乏明确指引的环境下，通过试错与观察来积累知识，从而拓展模型对复杂现实世界的理解边界。这一方向被视为通往更通用智能的关键路径之一。
- 域名
openai.com- 评分
- 5 · 重大发布
- 发布
- 2026-05-22
导读
这是 OpenAI 于 2017 年发表的论文 Exploration: A Study of Count-Based Exploration for Deep Reinforcement Learning，作者包括 Haoran Tang、Rein Houthooft、Davis Foote、Adam Stooke、Xi Chen、Yan Duan、John Schulman、Filip De Turck 与 Pieter Abbeel。论文研究的核心问题是，经典基于计数的探索算法在小规模离散 MDP 中接近最优，但在高维连续状态空间通常被认为不可行，因为绝大多数状态只会出现一次。
作者给出的方案是把状态映射为哈希码，再用哈希表统计出现次数，并按经典计数式探索理论生成奖励 bonus。实验显示简单的哈希函数在多种高维任务上就能取得令人意外的好成绩，而领域相关的可学习哈希码可以进一步改善结果。论文细致分析了什么样的哈希函数算合格，结论指向两点：粒度要合适，且编码必须保留与求解 MDP 相关的信息。
在连续控制任务与 Atari 2600 游戏两个基准上，该方法都达到了接近 SOTA 的探索性能，为需要大量探索的 MDP 提供了一个简洁有力的基线。论文将复杂启发式策略与乐观面对不确定性这类传统思路与计数法重新拉到同一条赛道，让深度 RL 研究者重新审视最简单的探索机制能走多远。