您现在的位置:首页 > 应用案例 > Meta Society | 解构虚拟偶像,从平面化到超真实存在

应用案例 Solutions
Meta Society | 解构虚拟偶像,从平面化到超真实存在
点击次数:765 更新时间:2023-08-22

Meta Society |

过去三五年,行业更迭,入局企业众多,元宇宙相关技术层出不穷。我们希望在本栏目中,对VR | XR | 动作捕捉技术聚焦剖析,捋清技术脉络,为您带来相关技术分享与理论观点。

 

 

20世纪80年代起,日本微型计算机技术开始逐渐成熟,1983年更是成为公认的红白机元年。

 

从这时开始,二次元文化逐渐形成,动画片产业方兴未艾,但当年并不像当代日漫,题材稀薄,乏味可陈。因此,动画《超时空要塞Macross》凭借机器人与恋爱主题要素结合的超前理念,在当年一跃成为经典,女主角林明美更是成为初代“御宅族”的理想女神。

 

动画制作方抓住契机,虚拟偶像“林明美”正式出道,就着歌姬人设出专辑,成为当时最红的存在。「走出动画文本的纸片人」打开了未来虚拟偶像创作者的思路。

 

到了1996年,技术条件的革新,促发了3D虚拟偶像伊达杏子的诞生,但由于当时的动作捕捉技术手段尚未成熟,制作成本高,未能形成真正的3D虚拟偶像热潮。

 

21世纪初期,CG技术、动作捕捉与面部捕捉技术的发展推动虚拟偶像进一步完善,以初音未来、洛天依为代表的新一代虚拟歌姬,以及《指环王》中的咕噜和《猩球崛起》中的凯撒,宣告虚拟偶像步入影视娱乐行业。

 

图片

「二次元」虚拟偶像

 

2016年后,随着人工智能、建模、渲染和动作面部捕捉等技术的发展,虚拟偶像绊爱在直播间开启虚拟主播带货新形式,Bilibili“虚拟次元计划”频道成为虚拟主播大本营。百度集团深耕人工智能赛道,推出AIGC希加加,当代AI技术的蓬勃发展,也让AIGC向生成式数字人逐步前行。

 

图片

技术革新推动虚拟偶像产业发展

 

显然,虚拟偶像是颇具象征意味的群体需求和技术发展汇合的时代产物。

 

随着“元宇宙”概念的火热,虚拟偶像再次被推上风口浪尖,当下三维图形生成技术、动态环境建模技术、实时动作捕捉技术、快速渲染处理、虚拟引擎构建、语音合成与交互技术、语义识别技术、深度学习与多模态技术等新技术的发展,正在积极为虚拟偶像赋能。

图片

当代虚拟偶像的技术流

 

 

数字人创建

 

元宇宙时代,虚拟偶像已经进化为超写实数字人。超写实数字人建模是一种追求逼真度较高的技术,涵盖多种方法和工具,常见的建模技术主要有以下几类:

 

手工建模

手工建模是一种使用计算机图形软件或物理材料,通过艺术家或设计师手动创建三维模型的过程。这种方法涵盖了游戏开发、动画制作、工业设计等多个领域,适用于注重创造力、个性化和艺术性的项目,但在时间、成本和效率方面会受到限制。

 

在不同的项目中,手工建模与数字技术、自动化建模等方法可能会结合使用,以平衡不同的需求。

 

MetaHuman Creator

由Epic Games开发的工具,使用机器学习生成逼真的数字人物模型,包括面部特征、肤色、表情、发型等。然而,由于软件局限,应用MetaHuman Creator制作能够交互的虚拟偶像需要大量学习素材支撑,且建模类型较为单一,无法创建定制化角色。

 

图片

MetaHuman Creator

 

具高分辨率扫描与建模

通常采用高分辨率的3D扫描仪,捕捉真实人体或物体的微小细节,以及皮肤纹理等,从而生成超写实的数字人物模型。

 

图片

元客视界Lustage光场重建系统

 

元客视界LuStage是一套高效的影视级数字人/物资产建模系统,利用多光谱变光照照明、高速同步相机阵列采集的数据,自动智能计算毛孔级的高精度人脸模型、光照材质特性,大幅降低人/物等数字资产制作周期,提升制作精度。

 

图片

 

动作捕捉

 

作为主流的虚拟偶像驱动技术,动作捕捉实现了真人虚拟化的互动形式,这种交互方式开启了创作者与虚拟偶像的虚实触达通道,也是人与机器之间的一种新的互动形式。 一些常用的控制手段包括动作捕捉、手势捕捉、表情捕捉等。

 

元客视界虚拟偶像直播方案,结合了自主开发的FZMotion光学式高精度动作捕捉系统,以及iPhone的ARKit表情捕捉方式,和诸如Manus、StretchSense等数据手套,实时高精度解算人体骨骼运动,驱动数字角色动画,整套流程骨骼鲁棒稳定,动画生成快速细腻。

 

图片

元客视界虚拟偶像解决方案

 

生成式数字人

 

近年来,学术界在大规模深度神经网络、多模态人工智能方面的探索表明大模型具备易扩展性,能够实现跨模态的知识沉淀。

 

去年亮相的stableDiffusion以及ChatGPT成功商业化也证明了以大模型为基础,通过大模型进行业务封装可以较好满足多个行业需求。

 

虚拟偶像作为最趋近真人的表达媒介之一,除了传统的AI内容模型之外,还需要大量动作数据集模型进行自主学习驱动。

 

基于专业的设计与集成理念,元客视界LuStage光场重建系统兼具高速、高质量的制造能力。LuStage所具备的多相机微秒级同步以及图像智能ISP处理能力,可以使模型几何信息更加精确、图像色彩更加真实;同时,LuStage采用分布式高速拍摄存储等技术,实现大规模批量化模型生产的目标,大大缩短了AI模型数据训练数据库的周期,爆发真正改变技术手段、推动行业进步的生产力。

 

 

 

图片

虚拟偶像AI训练数据集