行业资讯实时渲染

马特·沃特曼（Matt Workman）帮助我们了解了虚拟相机是什么，如何工作以及如何帮助游戏开发商和电影摄制者。 使用虚拟摄像头意味着可以将CG摄像头跟踪到可以操作的真实摄像头装备。它可以让真人电影摄制者像在现实世界中一样控制CG相机，以获得更传统的电影感。你可能会问，它如何用于游戏。例如，《战神》完全由手持虚拟摄像机控制，并实时融合在一起。 真人电影摄影师和软件开发人员与我们一起解释了它的工作原理，设置方式，在硬件方面的需求等。 介绍 我叫Matt Workman，作为一名开发人员，我使用 虚幻引擎创建了一个名为Cine Tracer的摄影模拟器。如今，全世界电影制片人都在使用Unreal Engine，并且可以在Steam上使用该引擎。 什么是虚拟相机？ “虚拟摄像机”或“VCam”是当你将CG摄像机作为父级并将其跟踪到人类正在操作的真实摄像机装备中时。一个常见的示例是跟踪手持摄像机的一些动态和电影动作镜头。最终，它允许真人电影制作人像在现实世界中一样控制CG相机。右手的工具为CG素材提供了更加传统的电影感觉。 关于硬件 尝试使用虚拟相机的最简单方法是使用虚幻引擎的免费“虚拟相机插件”，然后将iPad与免费的URemote应用程序配合使用。这使你可以使用iPad控制虚幻引擎中CineCamera的位置和旋转。你可以更改焦距，甚至可以记录相机的运动“拍摄”以供以后编辑。 UE4虚拟摄像机插件文档 另一种经济实惠的方法是使用HTC Vive控制器或Vive跟踪器，并将其连接到现实世界的摄影机设备上。一起使用SteamVR和UE4来制作虚拟相机非常简单。 在专业水平上，Mo-Sys，NCam，Stype，Vicon，Optitrack等公司提供了专用的企业摄像机跟踪解决方案。这些解决方案非常可靠，但价格昂贵，质量很高，可直接投入生产。 我使用Cine Tracer的目标是使日常电影摄制者可以使用 虚拟制作工具，如果你拥有游戏PC或笔记本电脑以及HTC Vive，则可以在数分钟内尝试使用VCam。 UE4中的设置过程 借助UE4，你可以使用免费的虚拟相机插件，并为iPad下载免费的URemote应用程序。在线上有一些教程逐步介绍了该过程。 对于Vive VCam，你只想询问被跟踪设备（即Vive控制器或Vive跟踪器）的位置和旋转，然后将CineCameraActor的位置设置为“位置和旋转”。使用随附的SteamVR插件，这是UE4的所有本机功能，这是在UE4中编写普通VR游戏的方式。 你可以使用通常用于游戏开发的任何场景。Megascans随UE4一起免费提供，因此你可以快速拍出真实感的森林或山间场景，然后像在真实位置一样使用VCam。 有人将摄像机跟踪数据记录到UE4中的Sequencer或Take Recorder中。其他像我一样的人，则直接从视口记录素材，这就是最终的产品。它基本上将UE4当作相机一样对待，我在会话结束时只得到素材以进行正常编辑。 结合虚拟相机和混合现实 从VCam进行虚拟生产的下一步是将虚拟摄像机与实际摄像机匹配。因此，除了位置和旋转之外，我们还需要匹配一个真实的传感器和镜头。最终效果使你可以拍摄真实人物（相对于绿屏）并将其完美地置于虚拟环境中，并实时查看最终结果。然后，你可以自由移动相机，因为所有内容都已被跟踪。你现在可以在本机中跟踪相机并在虚幻引擎中键入素材。 最大的挑战 虚拟相机非常简单，因为所有内容都是CG。你要考虑的主要问题是跟踪数据的质量，因此它不会显得过于宽松或落后。使用iPad（ARkit）和Vive跟踪解决方案，你通常需要一间光线充足，没有窗户，镜子或黑色光泽表面的房间。他们使用不同的跟踪技术，但是两者都被提到的功能“迷惑”。 为了避免延迟，你想通过HDMI直接从GPU输出视图预览。 实时渲染几乎没有延迟。 最后，如果适合你要捕获的相机工作类型，则可能需要实现一些基本的运动旋转平滑处理。从那里开始，一切照旧，就构图和动作而言，执行出色的相机工作是普遍的。 在Gamedev（游戏开发）中使用虚拟相机 自从有MOCAP演员跟踪摄像机以来，游戏电影就已经使用“虚拟摄像机”很长时间了。战争之神，整个游戏基本上都是用手持虚拟摄像头捕获的，并且可以实时完美地融合在一起。 电影制作中的UE4 虚幻引擎一直在努力构建工具，使免费的虚拟生产（包括VCam）成为其工具集的一部分。我是SIGGRAPH 2019 LED虚拟生产演示的导演兼副总裁，演示了Mandalorian拍摄方式的小版本。现在，这项确切的技术已免费成为引擎的一部分，或者将在以后的版本中添加。 由于使用了 虚幻引擎，使实验和学习虚拟制作变得越来越容易，而且价格也越来越便宜，我相信将会发生一场虚拟制作革命，所有规模的制作人员都将使用它，并创新制作图像和讲故事的新方式。

3D架构在游戏和电影中变得越来越重要，3D架构技术（如 3d可视化，建模和 实时渲染）使电影和游戏行业的工作变得更加轻松，使电影和视频游戏的3D环境成像的整个过程更加有效。现代技术的最新进展使建筑师能够创建令人难以置信的，最真实的3D模型。 这就是3D建筑元素包含在视频游戏和电影中的方式，3D建筑架构中使用的最新最现代的3D渲染和建模软件解决方案已成为电影和游戏行业的完美工具。 正如建筑师现在使用各种视频游戏引擎来创建最令人惊叹的3D建筑可视化效果一样，游戏和电影中也使用3D建筑来创建更逼真的电影场景和视频游戏。 3D建筑与这两个行业有两个共同点：超真实感渲染和建模。尽管游戏和电影建筑和3D建筑之间存在许多异同，但3D建筑与电影和游戏产业之间的界线却越来越模糊。 游戏，电影和3D架构之间的关系 许多因素使游戏和电影与3D架构兼容。这两个行业都需要3D渲染和建模才能为游戏和电影创建最逼真的3D环境。电影和游戏与3D架构有四个共同点： ●软件选择-用于建筑可视化的3D渲染和建模软件最常用于游戏和电影院。由于传统方法已经过时，因此游戏开发人员和电影导演现在与建筑可视化人员和建筑师合作，为游戏和电影创建超逼真的世界。 ●使用最强大的3D渲染和建模程序使在真实环境中导入任何3D模型比以前容易得多。最重要的是，一些功能使您可以调整纹理，材质和照明，以使创建的空间更加逼真。这就是3D建筑师为电影和视频游戏设计超逼真的3D模型的方式。 ●3D动画-这可能是当今游戏和电影院中最常用的技术。可以使用3D动画来显着增强任何显示的对象，内部或外部设计以及环境的动态。 ●现代电影和视频游戏需要大量动画，因为它有助于为游戏玩家和电影爱好者提供更逼真的体验。传统方法包括某些限制，但是现代3D架构成功消除了这些限制。 ● 虚拟现实- VR现已存在于我们所做的所有事情中。房地产，建筑，游戏和电影院等许多行业都依靠VR来提供最身临其境的客户体验。 ●游戏和电影从VR获得的最大优势是，它允许3D艺术家 实时操作或编辑3D模型。这不仅显着改善了用户体验，而且改善了开发游戏或导演电影的整个过程。电影爱好者和游戏玩家都可以 实时体验电影或视频游戏的各个方面。 ●场景的复杂性-就像建筑中一样，细节在游戏和电影院中都至关重要。只有详细的3D模型才能传达这个想法。可视化就像游戏，电影和建筑中的通用语言一样，因为细节对于这三个行业都至关重要。 ●由于用户体验是最重要的，因此电影和视频游戏中场景的复杂性在提供最佳用户体验方面起着至关重要的作用。电影或游戏中环境的3D模型越详细，体验越好。 游戏和电影建筑与建筑可视化有很多共同点，但由于这些行业本质上不同，因此也存在某些差异。尽管存在这些差异，但是越来越多的建筑师从事游戏和电影行业。

推荐阅读： 当前渲染软件的局限性以及我们未来的期望 以下是一些技术创新，这些创新将整体塑造建筑工作和3D实时渲染的未来。 1.用于实时项目设计的新型VR软件 借助建筑VR解决方案，架构师将获得一个数字空间，他们可以在整个设计过程中进行协作。多名专业人员将能够实时完成同一任务。 当前，此类最佳工具称为InsiteVR，它带有协作标记，静音控件，缩放，语音通信和同步的云模型。建筑师可以加入并共同构建3D模型，从而使整个过程更快。 这些解决方案将加快需要不同专家的专业知识的大型项目的设计完成。 2.施工过程将通过快速成型加快 3D打印和快速原型制作是类似的概念–它们允许CGI艺术家创建自己的3D模型并直接打印。 有效，快速的原型已经被积极用于制造和测试建筑设备和产品。将来，3D可视化将采用快速构建，这是使用3D打印机原型制作的量产结构。 这些类型的结构将被逐步构建，然后将这些部件组装起来。大多数新的可视化和渲染软件解决方案将支持此功能，这将导致设计和构建过程更快。 此外，模型与实际构造之间将有更好的沟通。 3.演示将沉浸在AR中 与旨在提供新现实体验的VR相比，AR可以实时覆盖。未来随着各种便携式设备的出现，将有更加复杂的 3D可视化工具，使架构师可以在任何给定的时刻展示产品。 无论我们是在谈论开始，中期还是已完成的项目，都可以轻松地将其展示给客户和利益相关者。他们甚至可以现场演示演示整个构建过程。借助高质量的3D可视化和AR，客户将能够看到项目的每个微小细节并了解如何实现整个过程。 4.所有软件均支持实时渲染 实时渲染可能是一个令人困惑的术语。这意味着以实时动画的形式显示许多计算机生成的图像，而没有任何破裂的纹理或明显的滞后。 让我们以视频游戏为例，因为它们与建筑项目相似。当玩家移动时，所有图像都会移动并且它们会立即平移，但这不是一个简单的过程。 要创建流畅而逼真的虚拟体验，需要大量的处理能力，编码知识和数字工程技术。随着硬件功能的增强，未来的计算机将能够在渲染软件中实时处理这些效果，从而改善设计和展示项目的全过程，当前的解决方案是将游戏托管到云端服务器（例如 3DCAT实时渲染平台），将渲染的工作交给强大的计算机集群，玩家只需要网络就可以交互和查看 实时3d渲染的结果（例如玩游戏或者制作） 这些是当前3D渲染软件解决方案所具有的一些问题，但也可以窥见我们在该行业中看到的创新和发展。自从可视化和渲染数字化以来，随着技术的飞速发展，它们在短时间内就发生了变化和改进。我们只能期望这种趋势在未来会持续下去。 了解更多实时渲染资讯，欢迎登录3DCAT实时渲染云平台：www.3dcat.live

推荐阅读： 什么是实时渲染 实时渲染使过程更好 虽然用 实时渲染向客户进行演示会面临许多新的挑战，但我认为实时渲染是优化设计过程的重要途径，实时渲染才能真正体现设计作品更好的全貌。 设计过程全都围绕着一个不断循环的试验和反馈，试验和反馈，试验和反馈-直到你无法按时完成任务或用光为止。优秀的建筑师和设计师会以最高的重视度来拥护他们的过程，因为引擎是整个生产机器的动力。如果过程是引擎，则反馈是机油，这是使所有其他零件正常工作的命脉。反馈告诉你什么是对的，什么是错的，而对它的分析则告诉设计师如何使事情变得更好。实时渲染将为设计师提供与以往不同的视听反馈。 这个想法是这样的：架构师将投资熟悉 实时渲染技术的人员，这些技术将在任何特定项目的站点周围构建一个交互式世界。在项目开始时，设计团队可以使用此交互式环境来测试概念，想法以及最终成熟的体验，这些体验围绕最终将要构建的事物进行。反馈从对静态物体的先入为主的判断，到对某物的不可预知的情感和生理反应，这些事物同时利用有关光，空间，物质和游行的信息来攻击感觉。我只是想着就在嘴里冒着泡沫。 此外，虚拟现实技术的最新发展使这一反馈环路进一步迈出了重要一步。它具有增加深度和输出层的潜力，使设计师可以根据将要实现的建筑物的几乎1：1的相似经验做出反应并做出设计决策。 实时渲染的局限性 还记得所有关于金钱的话题吗？这仍然是一个问题。尽管实时渲染具有难以想象的潜力，对于大型公司来说也许可以实现，但是对于那些利润微薄的小型企业或者工作室， 交互式设计演示是难以触及的。期待成本下降，我们可以展望未来的架构办公室越来越像视频游戏开发工作室的样子。 总有一个转折点-支点，适应成本被关键技术的赚钱潜力所消化，实时渲染作为设计工具是一回事。建筑师（更重要的是客户）一旦看到该项投资的长期价值，便会得到更大推广和发展。 随着这种边缘的缓慢增长，一批才华横溢的设计师也将在建筑和设计学校学习如何做这些东西。就像CAD，SketchUp，Photoshop，VRAY和Rhino以及其他所有工具一样，这些技术和程序也将提升为该行业的必要工具。有时，这些变化需要一段时间才能发酵，而这需要大量的地面动力来获得牵引力。 这只是时间问题。 更多实时渲染相关资讯，请登录3DCAT实时渲染云平台：www.3dcat.live

By:Justin Mayle Justin Mayle是游戏行业的专业美术师。参与过《星球大战》手游制作，《魁北克王国》，《荣誉故事》和《 Minitropolis》等。  建模阶段 Modo是一个很棒的高效建模程序。从Max切换到它之后多年前，我的建模速度就在快速提高。我也有一个MMO鼠标，其中绑定了许多工具和自定义饼图菜单。Modo的定制易于使用，并可以根据你自己的工作流程进行定制。我在此场景上使用的一些自定义工具示例包括快速场景导出工具，快速资产导出和快速UV工具。导出工具将所有资产或选定的资产导出到你的保存位置，并进行归零转换；这比导出每个资产要快得多。 快速UV工具生成两个UV贴图：一个是设置为适当的texel密度的立方贴图（认为是三边形贴图），第二个是用于光照贴图的地图集贴图。对于某些需要修剪贴图的资产，我还使用了第三个UV集，下面将对其进行描述。 为了确定哪些资产需要模块化，我查看了参考资料，记下了重复的元素，并确定了哪些元素可以模块化，以及哪些元素我想要唯一（而不是模块化）。布置块状网格时，务必要留在网格上，因此我在模块化套件中加入了一些长度选择，以提供灵活性。你选择的模块片段的长度选项将取决于场景的比例；通常，我发现1米，3米和5米选件可为你提供几乎所有你想要的灵活性。  作品中如果没有独特的元素，那场景将变得无趣，我鼓励在场景中拥有各种资产，以使其看起来更有说服力，这可以是一列突出的内容，也可以是更详细的内容。这些不必是模块化的，而必须打破长的模块化墙上的重复。  该过程本身开始是用我从参考收集中选择的基本元素来限制空间。我猜想这些零件的尺寸和数量合适，然后将它们添加到场景中。一次在场景中，我调整了对象的大小和数量。然后，我将这些精致的元素分解为模块套件的碎片。  使用模块化套件使我可以通过仅更新几个套件来对场景进行广泛的更改。这是一个有价值的工具，我建议任何环境设计人员都学习构建套件的基础知识。 1900年的火车车厢灵感 纹理阶段 大部分纹理创建用的是Substance Painter。对于装饰，细节和独特的纹理烘焙，我以ZBrush为起点。对于修剪贴图上的装饰细节，我在ZBrush中使用alpha笔刷排列了高多边形细节。这给了我有关现场细节的选项。对于椅子或门等独特的烘焙，我对低聚椅子建模，然后将其引入ZBrush以进行高聚，而不是使用sub-d或斜角创建高聚。  要在ZBrush中实现此技术，请确保导出的网格物体的网格物体的所有开放孔均被封闭。在你的资产上设置坚硬的边缘，然后从这些坚硬的边缘解开。这不会产生很好的展开效果，但这对于此过程的工作方式至关重要。 第1步：将模型导入Zbrush并基于UV设置多边形。 步骤2：按Polygroup折痕。 第3步：你可能需要细分几次，以使ZBrush可以使用更多功能。 步骤4：将Dynamesh分辨率提高到一个体面的水平。可能会出现一些小瑕疵。 步骤5：Polish。 其余的纹理化过程在Unreal中的材质和着色器创建。在Unreal中，启用烘焙添加到着色器中的AO蒙版以向场景添加污垢和垃圾的能力。这些材料的细节法线可以增加保真度，并且可以修剪标准法线。这使我可以将修剪贴图添加到所需的任何图素中。我编写着色器的方式需要设置第三UV，以保持纹理平铺。素材创作可以通过多种方式完成；这是我决定使用并帮助加快资产创建速度的一种有趣的解决方案。 照明工作流程 首先，我将选择一天中的时间，HDRI，以及我希望天空对场景整体影响（通常是通过调整曝光）。然后设置主要灯和辅助灯。 对于此场景，有5个点光源，定向灯，天窗，并且主天花板灯设置为固定的。我调整了灯光的发射，以增强场景的真实感。我试图根据强度来模拟它们会发出多少光。 场景中灯光的值： - 台灯：150流明，半径1500，发光材料强度125 - 壁式烛台：230 lm，半径800，发射材料150强度 - 天花板照明：1200lm，半径3500，发光材料150强度 - 定向光：5 lux - 天光：1强度和1间接强度 - HDRI 场景的柔和度主要来自雾和体积雾。每种灯光都经过了调整，以增加雾量，从而有助于强调场景的艺术外观。伴随着较高的绽放，浓雾和体积，小插图以及其他一些后期效果，它创造了一个柔软而诱人的空间。 场景周围的反射并不复杂，但是当场景中放置太多反射时，反射可能会失控。为镜子做平面反射会获得更好的结果，但是在运行时 渲染的成本很高（因为场景随后要渲染两次），所以我没做。  许多场景在场景中使用额外的补光灯来获得更多的反射，而在场景正确曝光和正确照明的情况下确实不需要超高强度来获得更多的反射。如果某个区域的某个角落需要更多的光线，则可能需要增加附近光线的衰减半径。补光灯可能是有益的并且可能是必需的，但是具有复杂的照明设备只会更难调整。 在这个场景中，对我来说最大的挑战之一就是照明。我要处理的下一个项目是利用扫描的快速场景。我想集中精力通过照明，材质，后期效果和构图 实时渲染高质量场景。这将包括生成独特的资产，但是我认为扫描（非常类似于模块化工具包）是将场景快速组合在一起的好方法。  

在本教程的上一部分中，我向你展示了如何使用曲线创建头发。现在我们准备将头发发送到 UE4（3DCAT支持UE虚幻引擎 实时渲染）。但是，在此之前，我只想向你展示我对头发所做的一些最终调整。首先，我创建并调整了辫子。首先，我使用曲线制作了三股辫，然后像前一个一样创建了第二个描述（除了我指定必须将第二个描述添加到上一部分中已经创建的集合）。 然后，我沿着发型的边缘添加了一些短发，以模拟没有被编成辫子的“松散的头发”。为了真实，我在耳朵附近添加了一些更长的头发。最后，我在辫子的根部周围创建了更多的引导线，并对它们进行了变形以模拟围绕该根部的“圆”，模拟根部结的样子。 现在一切准备就绪，你需要将头发转换为“交互式新郎”以进行导出（导出仅支持这种XGen头发）。为此，你只需转到“生成”菜单，然后选择“转换为Interactive Groom…”（请注意，如果你有多个描述，则只需选择所有描述并进行操作即可）。然后，选择新创建的Interactive Groom对象，然后转到Generate / Cache / Export Cache将头发导出为Alembic .ABC文件。 打开UE4.24（或更高版本，因为以前的版本不支持头发导入）并创建一个新项目（或者，如果要在现有项目上尝试使用现有项目，则使用现有项目）。使用头发之前，需要做一些事情。首先，你需要打开项目设置并更改这两个设置：Support Compute Skincache = true; 骨架网格物体初始上的刻度动画= false。然后，打开插件管理器并激活以下各项：Alembic Groom Importer，Groom，Niagara，Niagara Extras。 如果现在单击内容浏览器中的大导入按钮，则可以导入头发。现在，你可以保留默认选项，而只需导入即可。如果将头发对象拖到视口上，则它可能会出现怪异的位置（例如，朝下放在地板上）。发生这种情况是因为Maya和UE4具有不同的轴方向。在Maya中，向上是Y轴，而在UE4中，向上是Z。如果右键单击头发并选择“重新导入”，将再次看到导入对话框。只需根据你的需要调整模式的旋转度（在我的情况下，我使用的旋转度为X = 90和Y = 180，但是根据你的Maya轴方向，你的情况可能会有所不同）。 UE4已包含默认头发材质。但是，一定要使用你自己的，所以你可以重新创建一个。不过，你需要做两件事以确保材质适合你的头发：首先，将材质的“着色模型”设置为“头发”，其次，选中“与发束一起使用”复选框（这两个选项都在材质编辑器中的“详细信息”窗格。你还可以做其他一些事情来修饰头发，但是我对材质编辑器还不够熟悉，无法为你提供建议（希望以后我可以再说一遍）。 现在，你可以将新材料应用到头发上。如果你的头发已经在场景中，则可以将此材质应用于该对象。这就是我的样子（我正在根据UE4上的“ Just Let Me Go”重塑Amelia，这是我制作头发的练习的一部分）。 从整体上看，我认为游戏看起来不错，但是有些事情我不喜欢。首先，我认为我需要减少头发上的“光泽”，因为它看起来像金属或乳胶（像那些黑色乳胶裤）。其次，我认为它看起来太平整，因此最终看起来像一个“发帽”，而不是实际的头发。我们将在下一部分中看到如何解决这些问题。 相关资讯推荐： 相关：在Maya和Unreal Engine 4中创建头发：第1部分

我将更深入地研究 Unreal Engine4，在其中一篇文章中，我讨论了有关 UE4的新头发 实时渲染功能的一些知识，我将经历在虚幻引擎4中实际制作漂亮发型的过程。 UE4不包含头发创建工具。这意味着您必须在外部应用程序中创建头发，然后将头发导入引擎以进行着色和渲染。您可能会猜到，我决定使用Maya来制作头发（您也可以使用Blender，Cinema 4D等）。基本上，您需要从3D应用程序中获得创建XGen修饰的功能，该功能可以导出为Alembic文件。Maya具有此功能（我说的是标准Maya，而不是Mala LT）。 在Maya中，有两种创建修饰的方法。其中之一是创建“交互式”修饰。使用此方法时，首先要使用具有完全直发的新郎，然后使用工具“梳理”头发，使头发看起来像您想要的样子。我尚未对该方法进行过多测试，但将来可能会这样做。 第二种方法是使用曲线来创建头发。基本上，您首先要绘制一束要用于塑造头发的曲线，然后使用这些曲线创建实际的发束。就我而言，我决定制作一条辫状头发，因此我创建了遵循该形状的曲线。 您要记住的一件事是，头皮应该具有UV，因为XGen使用UV来创建股线。创建曲线后，即可创建修饰。您应该使用这些设置来创建它，以便可以使用曲线来塑造头发。 如果没有任何反应，请不要担心。接下来要做的是打开XGen窗格（或切换到XGen工作区），转到“实用工具”选项卡，然后根据创建的曲线创建参考线。头发现在应该出现了。 可以使用纹理蒙版来控制头发的生成位置（您可以使用Maya的绘制工具手动绘制蒙版）。还可以配置头发的密度以使其更致密，并增加头发的CV数量，以便它们更紧密地遵循指南。 为了简化工作，我要做的一件事是创建多个描述：我为头顶创建了一个描述，为辫子创建了另一个描述，为额头和额头两侧悬挂的细小毛发创建了最后一个描述。我这样做的原因是因为生成的头发将根据引导线决定其形状，并且我希望不同的部分遵循我定义的形状，而在它们之间没有任何奇怪的过渡。如果将所有描述都保留在同一集合中，则将其导入到虚幻引擎中时不会产生任何问题（请参见上面的XGen创建窗口）。 接下来，我将向您展示如何将头发导出为可以导入到虚幻引擎4中的Alembic文件。 相关阅读推荐： 相关：在Maya和Unreal Engine 4中创建头发：第2部分

您是如何重建华盛顿购物中心的？ Digital Domain的整合与环境团队在华盛顿特区的国家购物中心度过了一周的时间，收集了有关宪法大道，反射池以及通往林肯纪念堂的所有物品的现场测量数据。通过选择激光雷达和高分辨率纹理扫描，他们能够重新创建自1963年以来从未改变过的区域。当天的历史照片和地图帮助艺术家对其余部分进行建模。 为什么与TIME一起使用这项新技术？ 三月是一个十分钟半的VR体验，可在自定义的 虚幻引擎4（UE4）程序上运行。它结合了七个总场景和高保真环境，并以六个自由度以每秒90帧的速度运行。通常，要获得这种品质的体验，就需要将观看者拴在PC或沉重的背包上。但这会阻碍移动并可能使观看 VR渲染的观众望而却步，而 实时渲染解决了这个难题。 为此，Digital Domain创建了自定义工具，使整个体验可以在单个图形卡（GPU）上无线运行。这样一来，与会者就可以以最高分辨率观看King博士，而无需放弃探索10 x 15英尺游戏空间的能力。TIME是一个完美的合作伙伴，因为他们了解历史并花费了将近100年的时间重要的事件。 通过将创意与新技术结合在一起，我们的团队创造了一种独特的方式让人们与过去互动，提供了真正回到过去的首批方式之一。与我们最近在市场上看到的音乐全息图之旅有何相似之处（或不同之处）指导全息图之旅的技术实际上是完全不同的。通用线程是3D角色，但是在全息图的情况下，角色会投影到真实空间（如舞台）中。在《三月》中，观众被放置在一个完全实现的3D世界中。因此，浸入度要高得多。与舞台成为自然屏障的舞台不同，“游行”让观众在距金博士讲话时仅五英尺远，这使体验更加真实。 创建需要多长时间？ 尽管这个项目已经讨论了2年多，但实际的创建过程却耗时10个月。 三月由Tramz和GRX Immersive Labs行业领先的沉浸式讲故事者Alton Glass共同创建。为了制作《三月》，TIME Studios与艾美奖获奖的VALISstudio，Verizon Media的奥斯卡奖以及艾美奖提名的沉浸式媒体工作室RYOT，奥斯卡获奖的视觉效果和沉浸式工作室Digital Domain以及屡获殊荣的JuVee Productions合作。CAA代表客户RYOT，TIME和Viola Davis协调了交易，并担任该项目的战略顾问。除了Juvee Productions的Viola Davis和Julius Tennon之外，该项目的执行制片人还包括TIME Studios的Tramz和Orefice，VALISstudio的Peter Martin，RYOT的Jake Sally，Verizon Media的Guru Gowrappan和Digital Domain的John Canning。VALISstudio的Ari Palitz是该项目的首席制作人。 除了提供 VR体验外，TIME还与互动技术公司Storyfile合作创建了辅助安装。它包含一个使用人工智能的语音激活视频，使访问者可以与民权主义者乔伊斯·拉德纳（Joyce Ladner）进行交流。 展览由屡获殊荣的经验设计工作室Local Projects设计。HTC的VR for Impact计划为展览提供了VIVE Focus Plus耳机。

TIME Studios推出了突破性的沉浸式项目The March，用 虚拟仿真再现了马丁·路德·金（Martin Luther KingJr）1963年在华盛顿的历史性游行。 封面为数字渲染的马丁·路德·金的《时代周刊》特别刊中，独家报道了本次 VR项目的首次呈现。 展览The March（游行）于2020年2月28日在伊利诺伊州芝加哥的DuSable非洲裔美国人历史博物馆对外开放。 《时代周刊》杂志社旗下曾获艾美奖的部门TIME Studios推出了开创性的沉浸式项目The March，将1963年为争取工作和自由的游行，以及马丁·路德·金的标志性演讲“I Have a Dream”（我有一个梦想）首次带入虚拟世界。 The March由TIME杂志社的艾美奖获奖者Mia Tramz和行业领先的沉浸式导演Alton Glass，以及本项目的执行制片人和叙述者Viola Davis共同制作，通过先进的VR、人工智能、电影制作流程和机器学习等技术，在虚拟仿真中再现最真实的人物表现。 经过精心的研究和TIME的新闻精神，The March活动在知识产权管理公司（Intellectual Properties Management, Inc. -- 马丁·路德·金的遗产授权商）的支持下创建，该公司授予了TIME杂志社该项目的开发权。 The March于2020年2月28日在伊利诺伊州芝加哥的杜萨布尔非裔美国人历史博物馆首次亮相，这是该博物馆的首次体验式展览。展览将持续到2020年11月。 该项目使用了那些技术？ 马丁·路德·金是使用Digital Domain（以下简称为DD）的Masquerade（假面舞会）系统创建的，该系统结合了高端的动作捕捉（身体和面部的同时动作捕捉），机器学习和专有软件来创建3D的基础模型。艺术家们使用Maya和Houdini完善了马丁·路德·金的身体和面部，然后将模型添加到Unreal Engine（3dcat支持Unreal Engine 实时渲染）National Mall版本中。 同时我们还开发了 实时渲染工具，在基于位置的体验背景下运行，从而确保观众可以使用单个GPU看到最真实的金博士，这意味着不再需要像背包一样笨重的穿戴设备。体验过程可实现无线操作，无需与电脑捆绑在一起。通过使用无线技术，体验者能够自由移动，更加自如，不受年龄和活动能力的限制。 如何做出虚拟的金博士？ DD从选演员开始，找到了一个身材和体形与1963年8月时候的金博士相似的演员，以重塑他的身体动作。金博士的遗产管理公司推荐了专业演说家斯蒂芬·弗格森（Stephon Ferguson），在过去的十年中，他一直在公开演说“我有一个梦想”，他不仅可以匹配体态特征，还能为金博士在演讲中的手势提供现实的参考。我们运用DD的Masquerade系统录制了斯蒂芬的表演，Masquerade系统是一个动作捕捉系统，能够追踪对象身体和面部的微小细节。与机器学习相结合的面部扫描过程，还需要另一个人来出演，为了能将小到毛孔的细节构建到基础模型中。通过这些扫描，制作团队可以确定眼睛的位置，头骨形状，颧骨和鼻梁的位置，以及肤色，匹配到金博士的基础模型中。然后将这些元素提供给DD的艺术家，他们在模型上（已完成50%）添加金博士的其他特征。这个过程中，制作团队参考了大量的历史图片和影像资料。 人的身体和面部每个月都在变化，所以制作团队只参照演讲当天的金博士。而且根据不同的角度，我们导出了尽可能多的照片。很多参考资料都是黑白的，而VR的体验是全彩的。在 实时3D Deep Dive中动作捕捉做出来的效果还原了金博士的特征和动作。在Dimensional Imaging中，DD追踪了斯蒂芬在说出某些单词时面部和眼睛的移动。为了动作捕捉，我们给了他一些不想关的句子让他念，旨在捕捉嘴巴的动作并激活脸部所有肌肉。在Dimensional Image（Di4D）动捕之后，斯蒂芬又来到了DD PCS（DD动作捕捉台），我们在他的脸上画了一个点，并为他安装了头戴式摄像头（HMC）。这些画在脸上的标记，能够正好匹配到DD的头戴设备中的大约190个点，能够捕捉到60帧每秒的画面。 在Di4D中斯蒂芬也做了同样的表演。将HMC中的动作捕捉和Di4D的动作捕捉导入DD编写的机器（ML）之中，制作团队便能够快速，高精度地将2D视频数据与3D模型数据相关联。然后，斯蒂芬穿着运动捕捉服，完整朗诵市场16分钟的“我有一个梦想”。参考视频资料，斯蒂芬模仿金博士的动作和语言，完成演讲。DD使用此次面部和身体的捕捉，将他的面部表情同步并映射到金博士的电子人物上，动画团队观察并调整了他的表情以使二者匹配。ML软件为动画师提供了一个绝佳的起点，动画师花费了大量时间调整虚拟人物的细微差别。特效团队再将捕捉到的身体和面部的动作添加在衣服的动画之中，给最后的效果添加了一些程序性的动态效果。 （未完待续）

BY:Stephen Danton 介绍 Stephen Danton和他的妻子Sara Kitamura拥有2个Ton Studios，正在开发他们的第一个Unto The End,并展示了战斗系统，世界发展，氛围，视觉特效等。 Stephen Danton拥有计算机科学，游戏设计和人机交互等经验,他认为自己是一位体验设计师。而他的妻子Sara，拥有绘画，摄影，色彩理论和室内设计的背景。她能确保他们花时间在游戏中而不是纸上评估概念,并且她也非常精通整体构图和细节层次上的编辑或者调整。 2 Ton Studios的开始 他们的工作室很小,只有他们夫妻两个人.并尝试通过Gamedev的学习,将自己的想法展示给其他人,其中还包含了一些North项目概念的想法。 战斗系统 尽管市面上有很多款横版过关游戏,但是他们仍然认为横版2D游戏还有更多的乐趣。制作中还要尽量避免任何衍生形式，例如将《黑暗之魂》复制粘贴到2D中,也不喜欢向以前的游戏致敬那种方式。一切都应该存在是有原因的，而不仅仅是因为另一个游戏做到了。 而战斗系统的构建，目标是捕捉近战格斗的感觉,而不是成为剑术模拟器或复杂的格斗游戏。 并且他们觉得,有些时候 2D游戏表现力比3D游戏更好: • 根据高矮判断伤害 • 评估两个物体之间的左右距离 • 看到玩家的化身 开始在Unity中进行原型制作，并尽量保持简单的原型。最初，没有AI控制的对手，只有Stephen Danton和Sara在玩家1与玩家2的中互相对抗。甚至原型只有一个控制手柄, Sara只能使用键盘来控制。 他们从经典1v1格斗的游戏设置中最基本的动作（移动，攻击，格挡）和简单的动画开始。一遍又一遍地实验对其进行调整,直到它们感觉正确为止。 在每个步骤中都会分解并提出问题： 防护因该定时吗？应该有防护和招架吗？警惕后应该怎么办？动作应该流畅还是应该让玩家处于“战斗模式”？攻击应该多快？攻击应该取消吗？攻击可以中断吗？错过攻击会怎样？依此类推。 然后删除了任何过于僵化或复杂的内容,剩下的一切都符合战斗感。玩家在正确的时刻看到和做出反应的能力是关键。然后保留那些有明显原因的动作,再深度的添加新的动作。 从那里开始添加AI控制的对手,对手将战术性地包围主角（父亲），使用远程武器（如果拥有），使用地形，将玩家引诱到陷阱中，设置伏击等。对手可以走到父亲可以去的任何地方，他们会拉开距离，掉入洞穴，爬壁架，使用坡道等。他们也遵循与主角（父亲）相同的规则，阻挡高低位，攻击高低位，以类似的打击造成相同数量的伤害等。 世界 整个世界完全来自想象力，主要是受他们在冰岛，苏格兰，巴塔哥尼亚（智利南部）和加拿大度过的时光的启发。它是一个神话般的地方，不受历史或小说的束缚。游戏中没有魔术，巫师，兽人，精灵，龙等奇幻生物。 就结构和流量而言，这个世界没有关卡或载入画面，它是一个连续的世界。不过，他们的 实时游戏比Playdead游戏(游戏工作室)拥有更多的“分支” ，在游戏中的各个地方，都需要玩家选择走哪条路。 他们想要表现出一个人在陌生土地上，孤身奋斗努力返回自己的家园的感觉。这种感觉的一部分是在知识不完善的情况下做出决定，需要后期进行不断的处理。