蚂蚁AR日报｜可模拟金属动态光影，苹果研发移动端HDR AR渲染方案

　　丰富的光影细节对于一张好照片来说足够重要，为了接近拍出接近人眼视觉的照片，市面上越来越多的相机、手机摄像头开始支持HDR功能，也就是高动态光照渲染技术。其中，动态范围指的是更多样的光线变化，也就是说HDR照片比普通照片对光的感知范围更大，更讨好人眼的视觉习惯。

　　与普通的成像技术相比，HDR图像可显示更多动态范围和细节，其原理是通过拍摄多种不同曝光版本(LDR)的照片，然后通过实时后期处理，将三张照片合成为一张。

　　不仅如此，iPhone 12 Pro系列也是苹果首款同时支持拍摄、剪辑和显示HDR视频能力的移动设备。这样一来假如将HDR与AR结合，那么iPhone 12系列还是无敌的存在，奈何当前用户感知还不是很强。

　　那么，HDR是否能进一步提升AR图像的逼真感，让AR更融入真实场景呢?

　　移动端HDR AR方案

　　近期，苹果计算机视觉科研部门研发了一种基于HDR图像技术的AR渲染方案，其特点是无需重复训练，即可在各种新场景中动态渲染AR模型表面的反光/光影效果，逼真模拟金属等自然纹理。据悉，在一篇名为《基于HDR环境映射预测的实时AR技术》的论文中，苹果计算机视觉研发工程师Gowri Somanath和高级机器学习经理Daniel Kurz提出，该方案基于一种支持AR实时渲染、动态HDR效果的卷积神经网络EnvMapNet，该网络模型可在移动端处理器运行，在3D扫描场景后，可渲染出接近实物、支持动态场景感知的AR。

　　在iPhone XS上运行时，延迟可低于9毫秒，而与此前已有的渲染方案相比，该方案渲染光线反射的方向误差可降低50%。

　　简单来讲，采用卷曲神经网络的原因是，由于手机摄像头比人眼视场角更窄，因此只能通过摄像头捕捉到的有限场景数据去预测完整的360°场景。EnvMapNet不仅可以预测3D场景中的光影信息，还可以合成高分辨率的完整场景。

　　科研人员表示：移动端AR渲染的局限在于，摄像头的视场角和移动范围有限，通常可捕捉的范围不到100°。相比之下，人眼的视场角要高得多，因此为了渲染视觉观感自然的AR效果，EnvMapNet需要同时预测出摄像头未捕捉到的场景数据。