实时渲染艺术家

多年来，建筑师、设计师和 3D 艺术家一直梦想着实时光线追踪图形。能够实时探索、交互和更改场景可以缩短工作流程，加快完成拍摄的时间，并使客户更容易理解和操作您最复杂的设计。 本文将探讨使实时渲染成为可能的令人难以置信的技术发展，以及开发人员在创建这些独特体验时所面临的挑战。 什么是实时渲染？ 允许我们使用计算机创建 3D 图像的两种方法：光线追踪和光栅化。回顾一下： 光线追踪通过追踪来自相机的光线穿过像素的虚拟平面并模拟其与物体相遇的效果来生成图像。 光栅化从虚拟三角形网格在屏幕上创建对象，从而创建对象的 3D 模型。 每个都有其优势：光线追踪是为高质量的照片级真实感而设计的，而光栅化则优先考虑交互性能。对于在 CG 行业工作的任何人来说，合乎逻辑的问题是，有没有一种方法可以同时获得这两种好处：光线追踪的质量与实时渲染的速度和交互性？答案是肯定的！ 要了解照片级 实时渲染的工作原理，我们需要深入研究物理上精确的渲染器计算 3D 场景所涉及的两个阶段：光线投射和着色。 什么是光线投射？ 顾名思义，光线投射是将光线与场景中的所有对象相交的过程。在一个大场景中，可能有数百万个几何体和数十亿个多边形。这种复杂的操作必须在特定的算法下进行结构化，以减少计算时间。 阴影是如何工作的？ 阴影通过物体对光的反应方式决定了它的外观。着色过程还定义了提供有关阴影、反射、全局照明信息的光线。在大场景中，着色网络非常重要。如果它们很复杂，则评估的计算成本可能会很高。 寻找平衡 几何体的数量和着色器的复杂性会改变光线投射和着色之间的平衡。例如，在将单个简单材质应用于数百万个多边形的场景中，光线投射过程占渲染时间的 90%。相比之下，在材质复杂但几何体较少的场景中，光线投射只能占用 20% 的评估时间，而着色处理则会占用其余时间。 这两个过程都需要功能强大且高效的硬件和软件。幸运的是，由于一个不断发展的行业：视频游戏，我们正处于技术革命之中。 游戏引擎 视频游戏引擎为我们提供了通过光栅化技术实时体验计算机图形的能力，图形处理单元 (GPU) 的发展加速了这一技术。这些芯片出现在流行的游戏机和游戏 PC 中，可以在超宽屏显示器和 VR 耳机上以 4K 和 8K 分辨率为壮观的图形提供动力。 我们可以通过 GPU 来利用这种计算能力，甚至可以 实时渲染我们最复杂的项目，例如NVIDIA 的 RTX 产品，它具有专用的光线追踪 (RT) 核心来加速光线投射和着色的过程。 3DCAT实时渲染解决方案，一键赋能元宇宙 3DCAT基于云端强大的图形渲染算力，渲染XR应用并实时推送到终端，为用户提供公有云+私有云解决方案 。 3DCAT实时渲染公有云 3DCAT实时渲染公有云基于云计算理念，将XR应用部署在云端运行，云端资源进行图形数据的实时计算和输出。并通过3DCAT自主研发的RayStreaming协议，把运行结用“流”（Streaming）的方式高速并低延迟推送到终端，终端用户可随时随地交互式访问各种XR应用，更具沉浸式和可访问性。 3DCAT实时渲染云私有化 3DCAT实时渲染云私有化部署方案将三维内容部署在私有云上，利用私有云进行实时渲染，克服终端运行困难的瓶颈。通过局域网方式访问相应资源，实现私有化部署。 3DCAT实时渲染私有化方案适合对画质、安全性、稳定性要求高的用户，在局域网环境下，私有化方案能够最大限度发挥实时渲染的平台优势，让用户获得更好的体验。 现在注册，立刻享受166分钟实时云渲染体验： https://app.3dcat.live/register 本文《 照片级实时渲染背后的技术，探索逼真的3D实时渲染项目》内容由 3DCAT实时渲染解决方案提供商整理发布，如需转载，请注明出处及链接：https://www.3dcat.live/share/post-id-12

在 3DCAT实时渲染云平台整理的这篇访谈中，3D艺术家维斯托罗夫斯基·维克多（Vistorovschi Victor）介绍了他的3D作品《The Astronomer’s House（天文学家之屋）》的制作过程，这个作品是3D复刻了瑞典艺术家Simon Stalenhag的画作，使用软件包括可支持 实时渲染的 虚幻引擎UE4、Blender和Quixel Megascans。 作者介绍 我叫维斯托罗夫斯基·维克多（Vistorovschi Victor）。我目前在Safeframe VFX担任虚拟构建师。之前，我曾在Ubisoft Bucharest工作，担任游戏《飙酷车神2（The Crew 2）》和《火线猎杀：绝境 (Tom Clancy's Ghost Recon Breakpoint)》的环境艺术家。 我最开始玩的是《重装武力 (Serious Sam)》 ，然后玩了基于Q3Radiant的《雷神之锤III》。但是，当《魔域幻境之浴血战场3 (Unreal Tournament 3)》问世时，我开始更加认真地对待环境艺术，我也是从那时起开始学习3D建模的。 作品灵感 我过去已经重制了瑞典艺术家Simon Stalenhag的一些作品，并且有一段时间我一直在看他的这个作品。我真的很喜欢他的风格和他创造的氛围，熟悉的环境和奇妙的元素相结合的想法真的给了它独特的艺术感。 建模 第一件事是添加一些形状和地形以填充场景，并尝试与参考匹配。我通常在参考图和视口之间使用制表符，以使相机和对象的位置尽可能接近。设置完所有内容后，我便开始着手研究地形，尝试使其与参考图相匹配。设置完所有内容后，就该完善模型并向场景中添加细节了。 我最近开始使用Blender，我觉得学习一些细节是一种很好的练习方法。建模非常简单。我将在UE4中创建的占位符道具导出到Blender，然后从那里清理模型并创建UV。没有制作任何高模，只制作了低模，因为模型离相机有点远，高模的任何细节都无法真正看到。我唯一没做的资产是植被和汽车。 利用Megascans 使用Quixel Bridge可以轻松找到合适的资产。Quixel Bridge拥有大量优质资产，并能够快速将它们放入场景并开始修改它们以适合你的需求，真是太棒了。 对于地形，我使用来自Megascans材质的相同节点创建了材质图层，然后将图层添加到主地形材质中。 对于轮胎痕迹，我使用Megascans的雪地跟踪材质创建了一个简单模型，然后使用landscape splines把它放进去。 灯光 在场景中，我仅使用具有距离场的动态光源和一些点光源来添加更多微妙的高光。在某些区域，我将贴花与渐变材质结合使用，以增加遮挡效果和柔和阴影。而且我还使用了照明层，以便在某些模型上创建高光而不影响周围的其他模型。 后期 对于后期处理，我修改的唯一内容是自动曝光和环境光遮挡（设置为0）。我只想从距离场网格和贴图阴影中获得一些遮挡，这使我可以更精细控制遮挡出现的位置。 我试图仅通过使用灯光颜色，材质和我认为能使场景柔和的阴暗光的结合，来匹配参考图的色调和颜色。 挑战 我总共花了3-4天的时间才能完成这个作品，整个过程非常简单。在决定如何在模型顶部添加积雪时，我确实遇到了一点障碍。我根据实际情况在一个简单的圆柱体或球体上移动显示材质。近距离看起来它的效果并不好，但从远景看就很OK。 本篇文章由3DCAT 实时渲染云平台翻译编辑，原文出自80 LEVEL网站。

BY：Niko Gesell 这是来自德国的艺术家Niko Gesell讲解了从视觉风格，颜色，模型，纹理，最终 实时渲染等方面制作了《魔兽世界》中的风格化的暴风城王座的工作流程的第二部分。 挑选颜色 《魔兽世界》的视觉风格经过十多年的发展已经非常完善，为了达到暴雪当前的标准，Niko Gesell引用了游戏中的许多新作品，比在创作概念图时就遵循了其中的一些标准: 对象往往是非常放大和矮胖:这跟玩家的角度有关系。为了方便玩家能够看到更多的怪物和其他玩家，所以从摄像机角度看到的其他东西离角色通常都很远。因此，一切都必须更清晰，更大！ 强烈的色彩和对比度组合：游戏具有强烈的色彩和对比度组合，用来产生强大的视觉冲击力。 磨损。游戏中的几乎所有东西都有大量的损伤和凹痕。这些东西使物品看起来更有趣，并有助于有趣地分解大形状。这些东西对Niko Gesell的作品产生了巨大的影响。 王座和狮子的3D建模 项目整体分为2个部分：硬表面建模和装饰用的布料之类。坐在王座旁边和上方的狮子是在ZBrush雕刻，其余的东西使用Blender就能很好的完成。宝座几乎只由原始形状制作，并使用Blender的Mirror Tool快速完成。但是Niko Gesell的建议是，先制作那些对称的东西，然后添加非对称的部分，让外形看起来更加自然。 Niko Gesell并不太擅长角色类的，所以王座中最大的挑战是狮子的制作，并且狮子经历了很多次迭代。为了让王座看起来更加有气势，狮子的姿势摆放也要有技巧。 此项目中，雕刻的狮子模型只是用来作为重新拓扑的基础。如果想要将狮子的模型放入自己的模型库，那么最好话费时间将模型清理干净。 UV拆分 如果你使用Blender或者其他的三维软件进行建模，那么最好在昨晚一半镜像之前就完成UV的工作。这样可以节省更多时间，并且所有的UV都会完美的重叠。 除此之外，如果模型是硬表面建模，那么请将所有的UV线对齐。在Blender中有一种快速完成此操作的好方法，只需按空格键或F3并搜索“对齐（Align）”即可。 手绘纹理 几乎所有的画家都有自己独特的绘画风格，而Niko Gesell在这方面也很有经验，他通过不断的学习，创建了适合自己的笔触和方法。虽然一开始会有些混乱，但请尝试找到最适合自己的方法。 传统绘画的方法非常合适这种卡通风格的纹理绘制，因此，请参考现实生活，获取有关如何绘画材料的灵感！其中有一点请记住，在绘制一个物体时，朝向阳光的方向增添一些暖色调，而阴影的部分需要增加一些蓝色的冷色调。 Niko Gesell经常单独显示其中一个对象来观察模型的质量是否达到完美，并且他建议所有的纹理都可以直接在Photoshop中绘制，这样可以获得更加清晰和明确效果。 设置场景和视觉特效 虽然最终模型展示有很多软件都可以做到，但Niko Gesell喜欢在Sketchfab（支持实时渲染的模型展示软件）中进行场景设置。 灯光非常重要，好的灯光可以让作品更加的吸引人。这个项目中有两盏灯来照亮阴影的部分，还有一盏灯则模拟来自天空的环境光。 如果想要调整纹理方面，Sketchfab还提供了一个无阴影版本，并且最好建议你查看一下 emission maps。它位于“材质（Materials ）”选项卡下，可以帮助除非常暗的阴影。只需将基本纹理设置为 emission map贴图，并为其设置一个较低的值即可。 这件作品中的阳光的效果非常简单，先创建了一些盒子，并给它添加了一些渐变的纹理，然后后在Sketchfab中，使用“添加剂（additive）”设置使平面发光。 漂浮在空气中的小颗粒也是如此。这些只是纹理上带有小白点且具有相同“累加（additive）”平面的效果。 总结 当创建这样的项目时，技术工作流仅占整个工作的一小部分。而光线，阴影，构图，色彩和设计的扎实的基础知识将使我们的作品熠熠生辉。因此，请不要忘记定期学习这些基础知识来提高工作质量！并创造更有乐趣的作品！

BY：Niko Gesell 介绍： Niko Gesell是一名来自德国的媒体设计专业的学生，专业从事风格化艺术品的道具和环境艺术。除此之外，还是一位自由的游戏艺术家！他从6年前就开始进行了 3D可视化制作，并很好的将对游戏和电影的热情很好的结合在了一起，进行了很多艺术创作。 这个项目中，Niko Gesell讲解了从视觉风格，颜色，模型，纹理等方面制作了《魔兽世界》中的风格化的暴风城王座，并经过灯光设置等其他调整，最终将模型放入 实时渲染Sketchfab中进行最终展示。 关于项目：暴风城王座 Niko Gesell是《魔兽世界》的粉丝，并且也一直尝试对这款最喜欢的游戏进行视觉重做。特别是他在游戏中登上这个宝座时，就立刻决定将它进行重置。 他的目标是除了保持让玩家印象深刻的东西的情况下，重新设计宝座。除此之外，他还想在这部作品中讲更多故事。 收集和使用参考： 在初步收集参考资料时需要获得一些联盟的信息，这个王座的主人是谁？他们的文化是什么样的？在收集信息之后，将一些符号，颜色，对象和形状等定义一些文化主题。 联盟的文化非常专注于权力和秩序的刻画，在游戏中几乎可以在他们的所有建筑和军械库中看到这一点。下面这些参考取自《魔兽世界》： 在制作项目时，寻找尽可能多的参考非常重要，它们在各个阶段的制作都起到很重要的作用，也可以帮助我们解决很多难题。比如，首先使用参考资料探索不同的想法，并设定好应该朝着那个方向发展。 Niko Gesell觉得在项目上工作的时间越长，参考就越具体。即使参考资料一直在变化也没关系，只要它可以帮助您忠于作品的主题和思想。 创建概念： 在收集了足够多的参考资料后，Niko Gesell便开始绘制轮廓草图。外形轮廓可以帮助我们更清楚的了解其功能及其含义，对于宝座来说，两个最明显的部分是椅子的靠背和扶手。 最初设计了大概15个草图剪影，最后选择了几个比较好的进行主题设计。在设计中可以直接在轮廓上绘制线稿，在这个概念中任何的想法都是可行的选择。同样，不要害怕在步骤之间跳转并进一步调整轮廓。 在构思时需要注意建筑比例，可以将游戏角色的截图放在设计图旁边确保比例正确。 挑选颜色 下一步是挑选适合宝座的调色板。这个项目来源于游戏《魔兽世界》，那么可以直接采用原始宝座上的色调。除此之外，Niko Gesell还想更深入的了解为什么会选择这些颜色。他更偏向于更加强烈的对比度和更饱和的颜色，然后通过视觉休息区域（它们的颜色饱和度会更低）来平衡它们，并使强调色和基础色具有更清晰的层次结构，还可以让眼睛漫步到下一个兴趣点。 使风格看起来像《魔兽世界》

5. 建立个人作品集 对于任何类型的3D艺术家而言，拥有优秀的在线作品集是至关重要的。为了获得连续不断的工作，需要把作品就集中在一起。作品集展示了从事不同类型项目的能力以及所拥有的技术知识水平。 当潜在客户寻找视效艺术家，3D设计师或 实时渲染专业人士时，他们通常希望查看作品集。这是他们评估和考虑的主要方式之一。 个人作品网站可以把艺术家塑造得更加专业。幸运的是，有许多3D艺术家作品集网站，可以在其中快速设置自己的页面并添加作品。当然，拥有自己的网站来通过社交媒体进行推广也是一个好主意。 6. 建立自己的博客 如果打算建立个人网站，除了创建个人作品集页面外，还应该有一个自己的博客。博客可能已经过时，但是在像3D艺术这样的小众市场中，博客还是很重要，可以分享想法、灵感和工作，并详细介绍参与的具体项目。 经常更博客可以在线分享新作品，并与他人互动，增加曝光率。这可能会带来有价值的联系，可以参与讨论甚至获得直接的工作机会。在社交媒体上分享博客表明账户很活跃，并且专注于工作。 发布的每个帖子都是有意义的，为潜在机会奠定基础。此外，在博客上建立了良好的受众群体，这可能会带来其他机会。例如，许多3D艺术家使用他们的博客为年轻的大学生提供一些有价值的课程。 7. 在网站上出售3D库存作品 所有3D艺术家都有库存作品，不要将它们堆积在硬盘里，可以利用它来发挥自己的优势，还有可能赚钱。有各种卖库存照片，视频，动画， 实时渲染云和3D模型网站，您可以在其中摆出来并出售。 简单好操作，要做的就是设置一个帐户，然后上传作品。库存作品仅仅是对某些设计没有用处，并不意味着对别人没有价值。 上传作品最多不会超过几个小时，而且每个月都可能有额外收入。每次完成一个项目并还有不需要的库存的时候，可以把它们上传到这些网站。慢慢地就会有很多作品，这可能会带来可观的收益。 8. 后期制作 后期制作是最赚钱的领域之一，几乎每位3D艺术家都可以胜任。无论是图片，渲染，视频还是动画，都需要后期制作。许多摄影师和摄像师都需要一个可以长期合作的后期制作。他们没有能力自己做，同时也需要花很多时间。摄影师们希望花时间在他们的拍摄技巧上，而不是花时间在后期上，这就是为什么照片后期需求很大的原因。 即使这种工作重复性很高，但它也可以帮助提高专业技能，还能充实作品集，带来更好的工作机会。 即使3D行业比较小众，但仍然有很多机会。赚钱的方式有很多种，多尝试，选一个最合适的。

3D艺术家的就业市场非常复杂，经验不足的艺术家经常到处碰壁。首先，重要的是要了解3D艺术家细分的不同专业领域，有很多发展方向，其中最常见的包括：技术总监、艺术总监、平面设计师、视频编辑、3D建模师等等。 这些只是3D艺术家可以选择的职业中的一部分， 实时渲染年轻的艺术家很难一开始就找准自己的定位。就算专门研究某个领域，就业市场的情况也很复杂，网络上也是一样。 我们创建这个帖子，希望能帮助大家了解找工作的各种渠道，找到心仪的工作方式和职位。 1.自由职业者平台 3D艺术家接活最常见方式之一就是通过自由职业者平台。自由职业者市场不断增长，每天都有很多工作可以做。同时，相关平台层出不穷，大家可以在里面找工作。 这些网站操作简单，每个人都可以掌握。需要做的第一件事是注册并创建自己的帐户，添加了学历、技能和经验的所有重要细节之后，就可以开始申请工作了。 专业水平越厉害，找到的工作就越好。所有自由职业者平台都有评级系统，可为每个自由职业者提供最终分数，这样雇主更容易找到可以胜任的自由职业者。 2. 领英 领英是一个专业的社交网站，来自各个领域的人都可以在这找工作，包括3D艺术家。但是，需要投入必要的时间和精力来维护自己的个人资料，再开始寻找工作机会。与自由职业者平台类似，网站中可以在添加作品，技能甚至是博客文章。 尽管领英无法帮助初学者3D艺术家，但随着时间的流逝，领英可能会成为寻找工作的绝佳工具。与许多人建立联系并建立来自同一行业的专业人士网络，就有机会找到自己能胜任的工作。 同时，如果更新个人资料时，拥有大量可靠的作品和证明，那么将无需任何操作即可开始得到工作机会。许多公司通过HR从领英招聘全职或自由职业3D艺术家。此外，请与想去工作的公司或工作室保持联系，机会随时都会出现。 3. 为3D软件制作材质包 这可能是3D艺术家赚钱的最常见方式。许多专业人士全职从事这项工作，但有些人则是兼职赚点外快。如今，有许多用于不同项目和不同领域的3D软件工具。在工作期间，3D艺术家通常需要用针对其项目的材质。 在材质方面，大多数这些工具没有太多自带选择。然而，大家一般不必浪费时间来创建这些材质，而是从别的地方购买或导入它们。这些3D材质包由其他3D艺术家制作，以帮助在特定软件解决方案中创建更大的数据库。 机会还是很多，有的新软件解决方案需要材质包，有的软件需要更新现有的工具，有的公司只希望升级材质包，来保证项目顺利进行。 4. 网络 网络与现实世界一样重要。 3D可视化设计行业专业性非常强，这就是公司经常通过引荐招人的原因。即使HR在网上看到资料，也不会轻易雇用，因为对真实技能一无所知。如果您想与他们拉近关系，则必须通过网络。 首先要活跃于社交媒体，博客和其他平台上，在这里可以找到来自同一行业的人。和想去的公司的职员进行简单的聊天，有可能获取岗位的面试机会，最好的平台之一就是领英。 鉴于领英是一个非常活跃的平台，专业人士喜欢讨论重要问题，分享想法并了解新的行业趋势，因此它是和行业建立联系的理想平台。最重要的是，如果能够将这些关系扩展到全世界，那么获得推荐的机会将会大大增加。

3D打印 3D打印是目前3D艺术家可以展示其所有设计技能的最大领域之一。无论他们想像什么，他们都可以使用计算机图形学进行设计，并以3D形式进行打印。 它具有大量的应用程序，因为您可以真正地3D打印几乎任何所需的东西，从玩具，电话，办公桌纸盘和太阳镜，到乐器，园林工具，照相机和假肢。 3D打印机从3D艺术家创建的数字文件中打印各种3D物理对象。艺术家使用 3D建模和云渲染来创建设计，然后将数字文件简单地上传到3D打印机。这是一个非常有趣的过程，可让3D艺术家快速将其可视化效果变为现实。 VR和AR 虚拟现实和增强现实（AR/VR渲染）正在彻底改变世界，为各行各业的大量机遇打开了大门。您现在可以在VR中玩游戏，虚拟浏览房地产或使用VR和AR尝试其他产品。 但是3D艺术家在哪里适合呢？他们可以将3D建模与VR和AR相结合，从而在创建设计时获得全新的视角，无论是在建筑，游戏还是任何其他领域。他们可以真正沉浸于自己的创作过程中，并开发出出色的设计和最终产品。 无论有人想在VR或AR中创建什么内容，3D艺术家都可以帮助他们做到这一点。他们可以进行必要的3D设计，并使用VR建模完成项目。这甚至可以帮助他们成为VR艺术家。 市场营销和广告 3D艺术家还可以与市场营销和广告代理商合作，以帮助他们推广和销售产品。他们可以制作引人注目的广告设计来推销产品和品牌，并帮助吸引更大的受众。 他们可以为海报，广告牌和各种其他营销材料创建逼真的3D图像，但他们也可以为广告制作 3D动画和视频。 例如，与市场营销和广告代理商合作的3D艺术家不需要游戏所需的很高的特殊技能，但他们确实需要了解如何创造出色的印象并强迫消费者购买各种产品。 无论您是经验丰富的3D美术师还是初学者，您都绝对应该尝试一下这些利基市场。每个人都需要花费时间和精力来获得特定的技能，但这是值得的。如果这些利基中的任何一个激发了您的兴趣，那就去做吧，因为每个利基都可以帮助您建立一个非常成功的3D画家职业。 如今，成为3D艺术家会带来很多有利可图的工作机会。如果您只是刚入门，请务必使用优质的 3D建模软件解决方案，无论您决定从事哪个领域，它都能帮助您提高技能并创建出色的设计。

当提到漫画背后的创作过程时，你大概不会立刻想到 实时渲染引擎技术。然而，有一天著名漫画家Inio Asano灵感一闪:“如果用虚幻引擎来创作漫画会怎么样呢?” 经过努力的实验，他成功研究出了一项创新的技术，用于为他的漫画创造引人注目的，大气的背景。目前，他正在使用 UE4作为他的漫画系列《Dead Dead Demon's Dededede Destruction(死神的破坏)》的创作工具之一，该系列正在漫画杂志《Big Comic Spirits》上连载。 Asano解释说:“每当我想要创建一个真实的背景，我都会以一张照片为基础进行修改，然后再画漫画插图。但在做了10多年之后，我开始觉得这项技术有点过时了。我也意识到，我只是在利用自己拍摄照片的优势而已。” 他开始希望自己能有更多的创作自由，于是他开始考虑使用3D模型的可能性。他说:“虽然我知道UE4很多年了，但我一直认为它只是一个游戏引擎。作为一名漫画家，一开始我并不认为它和我的作品有太多交集。后来有一天，我想看看 虚幻引擎，我发现它是免费的!” 使用3D可视化的实验漫画 由于没有进入的门槛，Asano决定下载引擎并尝试使用。那是他第一次体验到 实时渲染的威力。他回忆道:“在3D空间中移动并调整灯光和颜色很容易。这些影子也很逼真，比我用手画的还要逼真。然后我会参考这些图，做一些手工调整。” 利用UE4 Marketplace中提供的资源，Asano在引擎中创建了整个故事的背景。他说:“我发现建筑相对容易画，我最努力画的还是植物和野生动物。有很多树叶资产作为建筑模块可供出售，这让我很容易地就创建出一个森林，只需点击几下鼠标。我意识到我可以在我创造的这些环境中画一个故事。实际上，当我使用虚幻引擎时，我降低了 渲染的质量，使图像更接近于手绘的漫画艺术。 实时技术开辟了新的创意途径 Asano对 实时渲染技术的探索越深入，越能找到更多的方法来提高他的艺术水平——有些是他以前从未考虑过的。他说:“有了虚幻引擎，我开始尝试那些过去我认为不值得去做的事情。如果一个场景缺了什么，我就会买一些资产放在屏幕上。这样，我就可以在相对较短的时间内按照我想要的方式设置环境。” Asano发现 3D模型的另一个优点是，与只能使用一次的漫画插图不同，3D模型可以重复使用或从不同的角度绘制。这意味着他将获得更大的价值，并有机会在未来的绘画中重用资产。 Asano的 实时云渲染技术之旅开启了一个充满创意可能性的世界，产生了一些令人兴奋的新想法。他解释说:“我想通过在UE4建造一个完整的城市，然后再画一部漫画来描述城市中发生的故事，这样彻底改变了我的创作过程。” 经验丰富的艺术家是这类实验的强烈倡导者，我们相信会有更多的艺术家可以受益于探索 实时3d可视化。“在过去的10年里，任何人都可以使用UE4来创作艺术品，”Asano说。“既然这些工具是免费提供的，我认为每个人都应该接受它们，让创意变得比以往任何时候都更容易实现。”

Hao Li和Pinscreen的团队最近展示了 实时交互式的人脸替换功能，实现了当人走到屏幕前，就能在实时的“Deepfake”中换脸。该装置展示于瑞士的世界经济论坛（WEF），世界经济论坛在瑞士阿尔卑斯山小镇达沃斯举行。它成立于1971年，是一个非政府组织（NGO）。WEF的使命是“致力于通过商业，政治，学术和其他领域的社会领袖的共同参与，塑造全球、区域和行业的议程。” will.i.am参加了在瑞士达沃斯-克洛斯特斯举办的WEF 2020主展览。在这里，他与威尔·史密斯（Will Smith）的脸进行了实时“交接”。Hao Li就站在他旁边。世界经济论坛/ Pascal Bitz版权所有 视效公司，乃至整个技术界都对数字面部替换技术有极大的兴趣。Pinscreen开发这种逼真的实时人脸合成技术的主要目的是构建下一代的虚拟助手以及虚拟人，这样他们看起来会极为逼真，同时更高效。 Hao Li是Pinscreen的创始人和首席执行官，也是南加州大学（USC）的计算机科学教授，同时还是南加州大学创意技术研究所视觉与图形实验室的负责人。麻省理工学院技术评论杂志将他评为“世界最佳假脸创造者”（“World Best Deepfaker”）。 Pinscreen的研究涉及新颖的深度学习，数据驱动和几何处理算法的开发。Hao Li本人以其在虚拟人创作，面部动画，头发数字化，动态形状处理以及最近的防止恶意Deepfake换脸扩散方面所做的开创性工作而闻名。Pinscreen开创了检测Deepfake换脸并通知用户的先河。Facebook和Google也活跃于这一研究领域。Google总裁Sundar Pichai最近发表了一篇文章：“检测Deepfake是我们面临的最重要的挑战之一”，而Google一直在发布音频和视频数据集以帮助进行合成视频检测。Pinscreen的研究已经能取保94%的检测准确度，但是只有识别公众人物的方面具有如此高的准确度，Pinscreen还有大批的视频片段素材需要学习训练。 1. Hao Li恭喜您参与本次世界经济论坛，是什么契机让您到此参展？ HL：自2018年以来，我一直都在参加世界经济论坛。他们启动了一个名为WEF Transformation Maps的内部知识平台，并与我联系，希望我帮助他们撰写有关AR, VR及其社会影响的文章，然后他们邀请我成为全球未来理事会的成员，该理事会确定了达沃斯年度会议的议程。他们了解了我在数字人和Deepfake方面的工作，并邀请我的初创公司Pinscreen参加了在中国大连举行的New Champion年会（夏季达沃斯盛会），看看大家对这个最新技术的反应。最终，我的装置成为大连的亮点之一，他们对后续的开发有浓厚的兴趣，这些后续的装置展示将在达沃斯2020年进行。我们觉得让人们意识到媒介操纵的最好方式，就是让这些世界各界的前沿者直观的感受科技发展速度之快。 2. 您在欧洲都做了哪些展示？ HL：我们展示了一种实时的Deepfake换脸技术，用户可以观察屏幕这块虚拟的镜子，并与多个名人和公众人物（例如米歇尔·奥巴马，威尔·史密斯，莱昂纳多·迪卡普里奥等）进行换脸。 在互联网上进行的Deepfake软件需要大量的数据收集，并且针对替换的名人面部效果进行几天的训练才能获得高质量的效果。我们的解决方案可立即生效，并且无需任何训练即达到较好的换脸效果，并且这个换脸的过程都是 实时渲染的。 3. 这是您的paGAN研究的扩展还是一项新技术？ HL：这是一项新技术，它与Deepfake更加相似，因为它对源面部（名人）使用了大量的训练数据，但是它使用了paGAN来避免为每个新面孔训练模型。 4. 就性能而言，Pinscreen几年前就进行了面部跟踪。这一次是Pinscreen技术与更快的硬件或新的ML方法的结合吗？ HL：我们确实有一种新的ML方法，但是是在最先进的GPU上也有很多底层的优化，以实现实时性能的提高，达到所需的分辨率。 5. 使用的摄像头是标准RGB摄像机还是RGBD（深度摄像机）？ HL： 我们使用标准的罗技（Logitech）网络摄像头，它只有RGB。 6. 对于这种基于图像的机器学习，GANs似乎有非常紧密相关。GANs的处理速度有多快？ HL： 我们仅在pipeline的某些部分使用GANs。所有处理都必须非常快，这样我们才能以25 fps的速度完成所有处理。 7. 显然，实时的项目在能力方面遇到非常多挑战，主要问题是对于目标缺少训练数据。 HL: 实现实时性的难题在于以下方面： - 处理大量数据的能力以及使用更深层网络训练更好的模型的能力 - 生成高分辨率帧的能力 - 并行/安排任务的能力 对于每个来源面孔（名人），我们都使用了数以万计的帧。 8. 如果您可以实时执行此操作，是否意味着如果流程不是实时的，而是在传统的项目处理周期，就可以有更加高质量的解决方案？ HL：当然，我们的最新demo是使用生产级的pipeline制作的高保真Deepfake视频，该pipeline不是实时的，但可以产生更高的分辨率和更自然的结果。 我们为一个团队制作了一个新的Deepfake视频，希望能很快的和大家见面。得出的结果非常出色，分辨率很高（但是处理速度更慢），而且我肉眼看不到任何缺陷，运行非常顺畅。 9. 您的系统可以应付很多头部的旋转动作吗？ HL： 是的，从我们与Globo合作的视频结果中可以看出，它可以处理较大的头部旋转动作。 10. 对于WEF上的演示来说，照明对前来测试的用户有多重要？ HL： 我们的系统自然可以应对非常具有挑战性的照明条件。您可以使用各种颜色的灯泡，并观察换面反映出照明条件的变化。 11. 如果是戴着眼镜的用户会怎样？ HL： 薄镜框的眼镜没有影响，但是用厚框镜的眼镜可能是个问题，因为我们的培训内容不包括戴眼镜的对象。 12. 您能讨论一下您的头发模拟研究的现状吗？我们知道Pinscreen在这一领域也进行了广泛的研究？ HL： 我们正在谈论实现整个头部的替换，我相信发型合成无疑是一种可能性，也是未来一个有趣的研究方向。我的USC实验室过去已经进行过使用GANs方法渲染逼真的发束的研究（译者注： 3dcat实时渲染支持能在windows渲染的几乎所有引擎），而我们在将面部毛发创作上也有一些新的研究。头发可以跨越多种样式和形状，并且与面部的相互作用非常复杂。需要研究更复杂的条件。 13. 此装置的体验反响怎么样？ HL： 我们的装置是本次活动的亮点之一，有成千上万的参与者在此体验，其中包括很多名人和世界各领域的领袖。 许多人对Deepfake型视频操作的潜在危险非常感兴趣，有些人对商业应用感兴趣， 或者只是享受变脸的过程。 14. 您认为与会体验者会对这一领域技术的迅速发展感到惊讶吗？ HL： 是的，尽管许多人已经知道了Deepfake，但是他们当然没想到该技术还能是实时的。我们还展示了我们正在尝试的其他一些非实时示例，他们对保真度感到震惊，还想了解更多有关如何防止其滥用的信息，以及鉴于技术的发展速度，立法者如何参与制定新法规。我认为我们的装置已经达到了提高对仿冒型技术的认识的目的。