DeepMind 发布 Agents That Imagine And Plan

DeepMind 在两篇 2017 年的论文里提出 imagination-augmented agent 家族，让强化学习 agent 在执行动作前先在内部演化几条可能的未来轨迹，再据此做决策。论文写作的出发点是：AlphaGo 这类基于完美模型的规划方法在围棋、国际象棋等规则清晰的环境里表现极强，但真实环境的动力学是不完美的，把树搜索直接搬过去往往代价高昂且脆弱。

这套方法的核心组件是 imagination encoder，一个负责从内部模拟轨迹里提取有用信息、抛弃无关细节的神经网络。Agent 由此获得三项能力：能解读不完美模型给出的粗糙模拟轨迹；能根据问题难度自适应地决定要想象多少条轨迹；能在多种规划策略之间切换，比如继续推进当前想象、从头重启、或换用一套更便宜但更粗糙的模型。论文还引入一个 manager 组件，进一步降低规划所需步数。

实验场景包括推箱子游戏 Sokoban 与一个需要稳定飞行器的太空导航任务。两个任务都做了 procedurally generated 的关卡设计，每个关卡只能尝试一次，迫使 agent 把试错放到内部想象里完成。结果显示 imagination-augmented agent 在样本效率与最终成功率上明显优于无想象的基线，且能在不同重力强度下自动调节想象步数，在计算预算受限时学会提前规划多步动作。论文把如何处理不完美模型、如何自适应规划这两个问题正式纳入研究议程，为之后的 model-based RL 与 MuZero 等工作铺设了路径。