Meta AI · 图像模型
Meta 开源 DeepFocus AI 系统，提升 VR 图像真实感
Meta AI 开源了 DeepFocus 系统，这是一套利用 AI 模拟人眼聚焦机制的渲染方案。它通过计算摄影与深度学习模型，为 VR 头显生成更贴近真实视觉的景深与散景效果，解决长期困扰虚拟现实的聚焦-辐辏冲突问题。开源内容包括完整的模型权重、训练与推理代码，开发者可直接将其集成到 Unity 等现有渲染管线中，从而在不需要额外硬件的前提下显著提升 VR 内容的沉浸感与视觉舒适度。
- 域名
ai.meta.com- 评分
- 5 · 重大发布
导读
Facebook Reality Labs 与 Facebook AI 在 2018 年 12 月联合开源 DeepFocus，目标是为 VR 头显实时渲染逼真的视网膜散焦效果，俗称 retinal blur。当佩戴者注视近处物体时，前景立刻清晰、背景柔和虚化，正如真实视觉所呈现的层次。该团队称这是首个能在 VR 应用里实时产生该效果的系统。
传统做法依赖 accumulation buffer 等几何方法，可以得到物理精确的散焦结果，却受限于算力，难以在复杂场景里实时运行。DeepFocus 改用深度学习路线，构建了一套端到端的卷积神经网络，并设计了 volume-preserving interleaving 层，用于缩减空间维度的同时完整保留图像细节，使卷积运算在更低的空间分辨率上完成，从而大幅压缩推理时间。
系统只依赖标准的 RGB-D 色彩与深度输入，因此能与几乎所有现有的 VR 游戏和应用对接，并支持当前 VR 研究界讨论的三类 accommodation-supporting 头显：varifocal 显示如 Half Dome、multifocal 显示以及 light field 类型。对开发者而言，这意味着可以在不更换硬件管线的前提下尝试更接近人眼成像的视觉表现，也为下一代显示原型积累了可复用的渲染基座。