OpenAI 发布 One Shot Imitation Learning

One-Shot Imitation Learning 把模仿学习从「每个任务单独训练」的常规设定拉到了「看一次示范就能上手新任务」的元学习设定。作者认为，理想的机器人不应该每学一项任务都需要专门的特征工程或大量样本，而应该能从极少示范中泛化到同一任务的新场景。

论文的训练范式假设有一个非常大的任务集合，每个任务又有许多实例。例如「把桌面上的积木堆成一座塔」是一个任务，「堆成若干两块高的小塔」是另一个任务，每个任务在不同积木数量与初始位置下又会衍生不同实例。训练时，算法接收同一任务两个示范组成的样本对：网络读入第一个示范和当前状态，输出动作，目标是让最终轨迹尽量贴近第二个示范。

这种条件式神经网络配合 soft attention 机制，使模型能够把示范当作一种参数化的任务说明书来读。测试阶段只给一个新任务的单条示范，网络就被要求泛化到该任务的新实例。论文展示了在积木堆叠类任务上远超传统行为克隆的迁移效果，也为后来的通用机器人策略与视觉-语言-动作模型奠定了以示范作为条件的设计模式。