蚂蚁AR日报|Facebook开源AR文字修改算法,未来或用于AR眼镜

2021-08-15 01:09:30 蚂蚁AR日报

  Facebook发布了一项基于无人监督AI模型的开源项目:TextStyleBrush,该项目的特点是可通过计算机视觉、AR等技术来修改真实物体上的文字,类似于视觉翻译的效果。对于这项研究,Facebook CTO Mike Schroepfer表示:未来,基于AR和AI的实时文字修改功能或许可以用于AR眼镜,帮助你实时翻译路标或是手写笔记等文字。

  

微信截图_20210621141722.png


  据青亭网了解,该项目的科研团队包括Facebook博士后研究员Praveen Krishnan和研究科学家Tal Hassner。其原理类似于Word文档中的风格刷,区别在于TextStyleBrush主要提取摄像头数据中的文字风格,并模拟原有字体生成新的文字,再通过AR来覆盖原有文字。科研人员表示:TextStyleBrush在自动测试和用户研究中,准确性突破了现有标准,适用于任何类型的文字。

  与现有的文字识别和AR算法不同,TextStyleBrush不需要定义特殊的字体,而是直接去识别文字图像的内容(词),以及多种特性,优点是无需再针对不同的字体进行重复训练。

  应用场景方面,除了实时翻译外,TextStyleBrush也可以用来修改文字的字体,比如将电脑输入文字转化成手写体,并以AR的形式叠加在笔记本上。

  

640.gif
640 (1).gif