3DCAT 二维码

扫一扫 立即咨询

行业资讯

【虚拟仿真】用VR感受马丁·路德·金1963年的著名演讲:我有一个梦想(上)

2020-03-13

TIME Studios推出了突破性的沉浸式项目The March,用虚拟仿真再现了马丁·路德·金(Martin Luther KingJr)1963年在华盛顿的历史性游行。

封面为数字渲染的马丁·路德·金的《时代周刊》特别刊中,独家报道了本次VR项目的首次呈现。

展览The March(游行)于2020年2月28日在伊利诺伊州芝加哥的DuSable非洲裔美国人历史博物馆对外开放。

《时代周刊》杂志社旗下曾获艾美奖的部门TIME Studios推出了开创性的沉浸式项目The March,将1963年为争取工作和自由的游行,以及马丁·路德·金的标志性演讲“I Have a Dream”(我有一个梦想)首次带入虚拟世界。

The March由TIME杂志社的艾美奖获奖者Mia Tramz和行业领先的沉浸式导演Alton Glass,以及本项目的执行制片人和叙述者Viola Davis共同制作,通过先进的VR、人工智能、电影制作流程和机器学习等技术,在虚拟仿真中再现最真实的人物表现。

经过精心的研究和TIME的新闻精神,The March活动在知识产权管理公司(Intellectual Properties Management, Inc. -- 马丁·路德·金的遗产授权商)的支持下创建,该公司授予了TIME杂志社该项目的开发权。

The March于2020年2月28日在伊利诺伊州芝加哥的杜萨布尔非裔美国人历史博物馆首次亮相,这是该博物馆的首次体验式展览。展览将持续到2020年11月。

该项目使用了那些技术?

马丁·路德·金是使用Digital Domain(以下简称为DD)的Masquerade(假面舞会)系统创建的,该系统结合了高端的动作捕捉(身体和面部的同时动作捕捉),机器学习和专有软件来创建3D的基础模型。艺术家们使用Maya和Houdini完善了马丁·路德·金的身体和面部,然后将模型添加到Unreal Engine(3dcat支持Unreal Engine实时渲染)National Mall版本中。 同时我们还开发了实时渲染工具,在基于位置的体验背景下运行,从而确保观众可以使用单个GPU看到最真实的金博士,这意味着不再需要像背包一样笨重的穿戴设备。体验过程可实现无线操作,无需与电脑捆绑在一起。通过使用无线技术,体验者能够自由移动,更加自如,不受年龄和活动能力的限制。

虚拟仿真制作面部-3dcat实时渲染云平台

如何做出虚拟的金博士?

DD从选演员开始,找到了一个身材和体形与1963年8月时候的金博士相似的演员,以重塑他的身体动作。金博士的遗产管理公司推荐了专业演说家斯蒂芬·弗格森(Stephon Ferguson),在过去的十年中,他一直在公开演说“我有一个梦想”,他不仅可以匹配体态特征,还能为金博士在演讲中的手势提供现实的参考。我们运用DD的Masquerade系统录制了斯蒂芬的表演,Masquerade系统是一个动作捕捉系统,能够追踪对象身体和面部的微小细节。与机器学习相结合的面部扫描过程,还需要另一个人来出演,为了能将小到毛孔的细节构建到基础模型中。通过这些扫描,制作团队可以确定眼睛的位置,头骨形状,颧骨和鼻梁的位置,以及肤色,匹配到金博士的基础模型中。然后将这些元素提供给DD的艺术家,他们在模型上(已完成50%)添加金博士的其他特征。这个过程中,制作团队参考了大量的历史图片和影像资料。

3D建模-3dcat实时渲染云平台

人的身体和面部每个月都在变化,所以制作团队只参照演讲当天的金博士。而且根据不同的角度,我们导出了尽可能多的照片。很多参考资料都是黑白的,而VR的体验是全彩的。在实时3D Deep Dive中动作捕捉做出来的效果还原了金博士的特征和动作。在Dimensional Imaging中,DD追踪了斯蒂芬在说出某些单词时面部和眼睛的移动。为了动作捕捉,我们给了他一些不想关的句子让他念,旨在捕捉嘴巴的动作并激活脸部所有肌肉。在Dimensional Image(Di4D)动捕之后,斯蒂芬又来到了DD PCS(DD动作捕捉台),我们在他的脸上画了一个点,并为他安装了头戴式摄像头(HMC)。这些画在脸上的标记,能够正好匹配到DD的头戴设备中的大约190个点,能够捕捉到60帧每秒的画面。

人脸捕捉-3dcat实时渲染云平台

在Di4D中斯蒂芬也做了同样的表演。将HMC中的动作捕捉和Di4D的动作捕捉导入DD编写的机器(ML)之中,制作团队便能够快速,高精度地将2D视频数据与3D模型数据相关联。然后,斯蒂芬穿着运动捕捉服,完整朗诵市场16分钟的“我有一个梦想”。参考视频资料,斯蒂芬模仿金博士的动作和语言,完成演讲。DD使用此次面部和身体的捕捉,将他的面部表情同步并映射到金博士的电子人物上,动画团队观察并调整了他的表情以使二者匹配。ML软件为动画师提供了一个绝佳的起点,动画师花费了大量时间调整虚拟人物的细微差别。特效团队再将捕捉到的身体和面部的动作添加在衣服的动画之中,给最后的效果添加了一些程序性的动态效果。

虚拟仿真效果图—3DCAT实时渲染云平台

(未完待续)