【虚拟仿真】用VR感受马丁·路德·金1963年的著名演讲：我有一个梦想（上）

TIME Studios推出了突破性的沉浸式项目The March，用虚拟仿真再现了马丁·路德·金（Martin Luther KingJr）1963年在华盛顿的历史性游行。

封面为数字渲染的马丁·路德·金的《时代周刊》特别刊中，独家报道了本次VR项目的首次呈现。

展览The March（游行）于2020年2月28日在伊利诺伊州芝加哥的DuSable非洲裔美国人历史博物馆对外开放。

《时代周刊》杂志社旗下曾获艾美奖的部门TIME Studios推出了开创性的沉浸式项目The March，将1963年为争取工作和自由的游行，以及马丁·路德·金的标志性演讲“I Have a Dream”（我有一个梦想）首次带入虚拟世界。

The March由TIME杂志社的艾美奖获奖者Mia Tramz和行业领先的沉浸式导演Alton Glass，以及本项目的执行制片人和叙述者Viola Davis共同制作，通过先进的VR、人工智能、电影制作流程和机器学习等技术，在虚拟仿真中再现最真实的人物表现。

经过精心的研究和TIME的新闻精神，The March活动在知识产权管理公司（Intellectual Properties Management, Inc. -- 马丁·路德·金的遗产授权商）的支持下创建，该公司授予了TIME杂志社该项目的开发权。

The March于2020年2月28日在伊利诺伊州芝加哥的杜萨布尔非裔美国人历史博物馆首次亮相，这是该博物馆的首次体验式展览。展览将持续到2020年11月。

该项目使用了那些技术？

马丁·路德·金是使用Digital Domain（以下简称为DD）的Masquerade（假面舞会）系统创建的，该系统结合了高端的动作捕捉（身体和面部的同时动作捕捉），机器学习和专有软件来创建3D的基础模型。艺术家们使用Maya和Houdini完善了马丁·路德·金的身体和面部，然后将模型添加到Unreal Engine（3dcat支持Unreal Engine实时渲染）National Mall版本中。 同时我们还开发了实时渲染工具，在基于位置的体验背景下运行，从而确保观众可以使用单个GPU看到最真实的金博士，这意味着不再需要像背包一样笨重的穿戴设备。体验过程可实现无线操作，无需与电脑捆绑在一起。通过使用无线技术，体验者能够自由移动，更加自如，不受年龄和活动能力的限制。

如何做出虚拟的金博士？

DD从选演员开始，找到了一个身材和体形与1963年8月时候的金博士相似的演员，以重塑他的身体动作。金博士的遗产管理公司推荐了专业演说家斯蒂芬·弗格森（Stephon Ferguson），在过去的十年中，他一直在公开演说“我有一个梦想”，他不仅可以匹配体态特征，还能为金博士在演讲中的手势提供现实的参考。我们运用DD的Masquerade系统录制了斯蒂芬的表演，Masquerade系统是一个动作捕捉系统，能够追踪对象身体和面部的微小细节。与机器学习相结合的面部扫描过程，还需要另一个人来出演，为了能将小到毛孔的细节构建到基础模型中。通过这些扫描，制作团队可以确定眼睛的位置，头骨形状，颧骨和鼻梁的位置，以及肤色，匹配到金博士的基础模型中。然后将这些元素提供给DD的艺术家，他们在模型上（已完成50%）添加金博士的其他特征。这个过程中，制作团队参考了大量的历史图片和影像资料。

人的身体和面部每个月都在变化，所以制作团队只参照演讲当天的金博士。而且根据不同的角度，我们导出了尽可能多的照片。很多参考资料都是黑白的，而VR的体验是全彩的。在实时3D Deep Dive中动作捕捉做出来的效果还原了金博士的特征和动作。在Dimensional Imaging中，DD追踪了斯蒂芬在说出某些单词时面部和眼睛的移动。为了动作捕捉，我们给了他一些不想关的句子让他念，旨在捕捉嘴巴的动作并激活脸部所有肌肉。在Dimensional Image（Di4D）动捕之后，斯蒂芬又来到了DD PCS（DD动作捕捉台），我们在他的脸上画了一个点，并为他安装了头戴式摄像头（HMC）。这些画在脸上的标记，能够正好匹配到DD的头戴设备中的大约190个点，能够捕捉到60帧每秒的画面。

在Di4D中斯蒂芬也做了同样的表演。将HMC中的动作捕捉和Di4D的动作捕捉导入DD编写的机器（ML）之中，制作团队便能够快速，高精度地将2D视频数据与3D模型数据相关联。然后，斯蒂芬穿着运动捕捉服，完整朗诵市场16分钟的“我有一个梦想”。参考视频资料，斯蒂芬模仿金博士的动作和语言，完成演讲。DD使用此次面部和身体的捕捉，将他的面部表情同步并映射到金博士的电子人物上，动画团队观察并调整了他的表情以使二者匹配。ML软件为动画师提供了一个绝佳的起点，动画师花费了大量时间调整虚拟人物的细微差别。特效团队再将捕捉到的身体和面部的动作添加在衣服的动画之中，给最后的效果添加了一些程序性的动态效果。

（未完待续）