OPPO发布最新AI技术,几部手机就可生成“数字分身”!
在现阶元宇宙等全新概念的兴起之下,虚拟数字世界和现实物理世界的连接进一步加深。而在虚拟数字世界中,我们将可能通过全新的数字分身来完成日常的娱乐、乃至于学习或者工作,在虚拟和现实世界中无缝穿梭。
在虚拟现实中,我们可能需要不同的avatar作为数字分身的形象进行存在,如何建立一个高质量的“数字分身”avatar或许会在未来成为不少用户关注的重点。而在近期,OPPO就推出了一项最新的AI技术,或许在未来能帮助用户轻松创立自己的“数字分身”。
OPPO发布这一项最新AI技术在业内算是首次,这一项技术可以实现自动为宽松着装人体创建动态数字孪生体的工作,通过手机摄像头拍摄的RGB视频即可创建用户的“三维化身”并捕捉到相对应的一系列动态细节。
以往的人物建模需要佩戴的捕捉设备并且需要花费大量的时间及经济成本,而在OPPO发布的这一项技术上,其采集捕捉以及门槛被大幅度降低,仅需利用几部OPPO Find X5 Pro在人物的周围进行多角度的拍摄,就可以记录下一系列的人体形态数据,为下一步的“数字分身”建立基础。
OPPO推出这一个技术和以往采用2D图片进行重建的原理不同,在视频录制完成后,AI就可以通过手机录制的RGB数据进行计算,生成3D人体模型,克服了以往方法可能导致的误差问题。
OPPO通过一位专业的舞者,对其动作进行捕捉,设定了一系列的骨骼状态节点,构建了一组结构化局部辐射场。局部辐射场可以模拟其相应节点周围局部空间内的形状和外观,并根据身体姿态和服装样式的动态细节进行变化。OPPO的这一项AI技术还可以通过残差运动(residual movements)更好体现出舞蹈时衣裙摆动的细微变化,这一套技术模型也可以应对一系列的舞蹈动作,并且可以不断学习,支持更多的应用场景。
在几个小时的编码和渲染后,通过OPPO最新AI技术所打造的数字分身就可生成,并且可以对动作进行精密的结合,在数字世界中和专业舞者一样翩翩起舞,各种动作都与真实世界几无区别。
OPPO旗下的OPPO数字分身实验室透露,传统的创建3D建模方法在观察和分离人体姿态与衣物形变之间面临着很大困难。而在现阶段神经场景渲染技术的支持下,OPPO突破性地将传统NeRF模型分解为一组结构化的局部辐射场(structured local radiance fields),由身体骨架驱动,动态细节嵌入作为条件,提供了一种泛化性能更加的方案。
OPPO数字分身实验室的这一套算法可以带来更加精细化的局部辐射场,在骨架运动、残差运动、时间变化细节上都能有更好的表现,可以对一系列场景进行更好的学习以及生成。在未来虚拟数字世界和现实物理世界更加精密结合的情况下,OPPO打造的这一套算法或将可以帮助用户更好的生成属于自身的数字分身,平行世界中进行更好的表达。
OPPO数字分身实验室也提到,这一项技术的推出并不是终点,在未来,OPPO还将会进行一系列基础的研究以及应用,为更多的行业进行赋能。
在未来的应用场景中,数字分身将会进一步推动和协助人类社会的发展,在多种场景下带来前所未有的体验。OPPO也将在不断进行发力,为用户的应用进行赋能,开启更具有智慧的未来可能。