行业资讯实时交互

如果你刚开始在Unity中进行3D开发，你可能还不太清楚什么是渲染。对于偶尔使用3D图形的人或刚开始使用3D进行生产制作的人，可能会发现渲染并不像3D图形的其他方面那么容易。 好在有很多关于在Unity中设置渲染的文档，帮助你更好的实现项目。 什么是3D实时渲染，它是如何工作的？ 3D渲染是根据计算机上存储的三维数据生成图像的过程。与摄影一样，它也被认为是一个创造性的过程，因为它利用光并最终产生图像。 通过3D渲染可以将3D线框模型转换为具有3D效果的2D图像。单帧图像的渲染时长需要几秒到几天时间不等。3D渲染有两种主要类型，它们之间的主要区别是图像的计算和处理速度： 实时渲染和脱机渲染或预渲染。 实时渲染在视频游戏或交互式图形应用最常见，其中3D图像高速计算，使得玩家觉得复杂变换的场景是他与游戏之间的 实时交互而产生的。 这就是交互性和速度在 实时渲染过程中起重要作用的原因。例如，如果要在场景中移动角色，则需要确保在绘制下一帧之前更新了角色的移动，以便以人眼可以感知为自然移动的速度来显示它。 主要目标是在可接受的最小渲染速度（通常为24帧/秒）下实现尽可能高的写实度。这是人眼创造运动幻觉所需要的最低限度。 即使渲染基于大量复杂的计算，现代软件也可以提供一些相当简单的参数供你理解和使用。 渲染引擎通常包含在现代3D游戏引擎中，并且可以制作非常精彩的图形。 Unity实时渲染 在Unity中创建交互式项目时，你可以制作从白天到夜晚，从日光浴场到光线昏暗的街道和阴暗的隧道，营造一种令人陶醉的氛围吸引你的观众。 无论是要开发用于手机还是主机游戏的2D或3D游戏，Unity的脚本化渲染管线（SRP）都可以让你建立精美的图像并针对特定硬件进行优化。 例如，有个高清晰度渲染管道（HRDP） ，其针对高端PC和游戏机，且有轻量级渲染管道（LWRP）它的目标移动。 3D和2D实时渲染 如果你尚未决定要在Unity，2D或3D中进行哪种类型的项目，请记住你具有完全的自由度和专业的工具集来创建任何类型的2D或3D游戏，甚至可以将两者的元素混合以创建2.5 D互动体验。 在Unity中，你可以使用Sprite Renderer在2D或3D场景中渲染Sprite类型的图像。该组件使你可以将图像显示为Sprites，以用于2D或3D场景。 Unity使用排序图层的概念来允许你将子画面分为重叠优先级的组，还使用图层中的顺序来将一致的优先级应用于同一图层中的子画面。 实时渲染示例 《死者之书》 《死者之书》演示了使用Unity 2018年新的可脚本渲染管道（Scriptable Render Pipeline）时的可能性，该管道提供了 Unity渲染体系结构增强的可自定义性，将更多控制权交给开发人员。 点击 阅读有关死者之书的更多信息

By:Frank Manley 您是否体验过视觉音乐或惊艳的虚拟现实表演？在这篇文章中，我们与一位创新的丹麦创作者进行了幕后讨论，他通过在剧院和展览空间中投影Unity带来的体验来挑战观众的感知。 交互设计师兼媒体艺术家卡尔·埃米尔·卡尔森（Carl Emil Carlsen）“我对制作融合虚拟和物理现象的交互式视听幻觉感兴趣。我喜欢使虚拟现实形象离开屏幕，随着 实时渲染技术的发展，塑造这种混合空间令人兴奋，艺术家探索的途径很多。”  工具和协作的重要性 卡尔·埃米尔（Carl Emil）的方法的很大一部分是他如何使用技术来实现他的艺术目标。“工具塑造了我们的思维，所以我想对它们产生一些影响。 Unity使我能够做到这一点，因为它是高度可定制的，并且我可以轻松地尝试许多不同的格式，媒体和内容类型。”  融合现实与幻想 在哥本哈根的Unite演讲中，卡尔·埃米尔（Carl Emil）指出了他对混合物理和虚拟空间的兴趣如何使他探索了4D盒子，这是一个位于 丹麦赫尔辛格文化园区的现场舞台。“令我感到兴奋的是，有可能为广大观众带来类似全息图的幻觉。”  4D Box通过被动 立体3D系统扩展了该技术，这意味着观众（戴3D眼镜）可以体验虚拟道具和场景。为了测试项目的视角和内容缩放，Carl Emil在下面制作了Pepper's Ghost模型（可在GitHub上使用）。   “为创建最佳的3D透视图，我使用 Asset Store中的OffAxisCamera用偏轴投影重写了Unity的照相机投影矩阵。我还通过ArtNet DMX实施扩展了Unity，以控制舞台灯光并使 虚拟灯光与物理灯光匹配。”  为了虚拟表演者的身体，卡尔·埃米尔（Carl Emil）使用了Microsoft Kinect传感器，该传感器跟踪身体的运动，为了同步所有内容，他在Playhead中处理动画，Playhead是他在Unity中构建的自定义工具。 卡尔·埃米尔（Carl Emil）的自定义播放头工具 使用Silicium生成视觉音乐 卡尔·埃米尔（Carl Emil）通过Playhead处理Primordial中的大多数动画，而一些参数则通过他也使用Unity制作的多点触摸GUI Durga进行 实时交互。 为了协调作为实验工作核心的基因艺术，卡尔·埃米尔（Carl Emil）在Unity中开发了专门的图形框架。图形用户界面内置于UIElements中，是Unity用户可以根据自己的需求构建的专用图形工具的示例。  Unity 2019.3中显示的Primordial视觉模拟的设置 用虚拟展示细菌 在商业方面，卡尔·埃米尔（Carl Emil）还练习他的实验印章。在瑞典公司Perstorp的推广下，他在一个互动博览会上领导该设计，以提高人们对耐药菌的认识。 “为此，我有一台运行Unity的机器来渲染六个高清投影，其中五个覆盖了典型的VR洞穴设置。我使用高清渲染管道（HDRP）进行了 3d实时渲染，并使用 Asset Store中的AVPro Video将非交互部分作为HAP编解码器视频进行回放。”  他建立了瑞典的森林环境，主要是基于 Unity演示团队免费的《 死者之书》资产，并作为SidselSørensen和Maya SB插图的背景。 他将第六台投影机对准观众，感到特别惊喜。在体验的高峰期，虚拟细菌离开了屏幕在大家旁边三维显示。 文章整理自：`https://magazine.renderosity.com/article/5724/how-carl-emil-carlsen-creates-generative-art-with-unity`翻译整理： 3Dcat实时渲染云平台

Hao Li和Pinscreen的团队最近展示了 实时交互式的人脸替换功能，实现了当人走到屏幕前，就能在实时的“Deepfake”中换脸。该装置展示于瑞士的世界经济论坛（WEF），世界经济论坛在瑞士阿尔卑斯山小镇达沃斯举行。它成立于1971年，是一个非政府组织（NGO）。WEF的使命是“致力于通过商业，政治，学术和其他领域的社会领袖的共同参与，塑造全球、区域和行业的议程。” will.i.am参加了在瑞士达沃斯-克洛斯特斯举办的WEF 2020主展览。在这里，他与威尔·史密斯（Will Smith）的脸进行了实时“交接”。Hao Li就站在他旁边。世界经济论坛/ Pascal Bitz版权所有 视效公司，乃至整个技术界都对数字面部替换技术有极大的兴趣。Pinscreen开发这种逼真的实时人脸合成技术的主要目的是构建下一代的虚拟助手以及虚拟人，这样他们看起来会极为逼真，同时更高效。 Hao Li是Pinscreen的创始人和首席执行官，也是南加州大学（USC）的计算机科学教授，同时还是南加州大学创意技术研究所视觉与图形实验室的负责人。麻省理工学院技术评论杂志将他评为“世界最佳假脸创造者”（“World Best Deepfaker”）。 Pinscreen的研究涉及新颖的深度学习，数据驱动和几何处理算法的开发。Hao Li本人以其在虚拟人创作，面部动画，头发数字化，动态形状处理以及最近的防止恶意Deepfake换脸扩散方面所做的开创性工作而闻名。Pinscreen开创了检测Deepfake换脸并通知用户的先河。Facebook和Google也活跃于这一研究领域。Google总裁Sundar Pichai最近发表了一篇文章：“检测Deepfake是我们面临的最重要的挑战之一”，而Google一直在发布音频和视频数据集以帮助进行合成视频检测。Pinscreen的研究已经能取保94%的检测准确度，但是只有识别公众人物的方面具有如此高的准确度，Pinscreen还有大批的视频片段素材需要学习训练。 1. Hao Li恭喜您参与本次世界经济论坛，是什么契机让您到此参展？ HL：自2018年以来，我一直都在参加世界经济论坛。他们启动了一个名为WEF Transformation Maps的内部知识平台，并与我联系，希望我帮助他们撰写有关AR, VR及其社会影响的文章，然后他们邀请我成为全球未来理事会的成员，该理事会确定了达沃斯年度会议的议程。他们了解了我在数字人和Deepfake方面的工作，并邀请我的初创公司Pinscreen参加了在中国大连举行的New Champion年会（夏季达沃斯盛会），看看大家对这个最新技术的反应。最终，我的装置成为大连的亮点之一，他们对后续的开发有浓厚的兴趣，这些后续的装置展示将在达沃斯2020年进行。我们觉得让人们意识到媒介操纵的最好方式，就是让这些世界各界的前沿者直观的感受科技发展速度之快。 2. 您在欧洲都做了哪些展示？ HL：我们展示了一种实时的Deepfake换脸技术，用户可以观察屏幕这块虚拟的镜子，并与多个名人和公众人物（例如米歇尔·奥巴马，威尔·史密斯，莱昂纳多·迪卡普里奥等）进行换脸。 在互联网上进行的Deepfake软件需要大量的数据收集，并且针对替换的名人面部效果进行几天的训练才能获得高质量的效果。我们的解决方案可立即生效，并且无需任何训练即达到较好的换脸效果，并且这个换脸的过程都是 实时渲染的。 3. 这是您的paGAN研究的扩展还是一项新技术？ HL：这是一项新技术，它与Deepfake更加相似，因为它对源面部（名人）使用了大量的训练数据，但是它使用了paGAN来避免为每个新面孔训练模型。 4. 就性能而言，Pinscreen几年前就进行了面部跟踪。这一次是Pinscreen技术与更快的硬件或新的ML方法的结合吗？ HL：我们确实有一种新的ML方法，但是是在最先进的GPU上也有很多底层的优化，以实现实时性能的提高，达到所需的分辨率。 5. 使用的摄像头是标准RGB摄像机还是RGBD（深度摄像机）？ HL： 我们使用标准的罗技（Logitech）网络摄像头，它只有RGB。 6. 对于这种基于图像的机器学习，GANs似乎有非常紧密相关。GANs的处理速度有多快？ HL： 我们仅在pipeline的某些部分使用GANs。所有处理都必须非常快，这样我们才能以25 fps的速度完成所有处理。 7. 显然，实时的项目在能力方面遇到非常多挑战，主要问题是对于目标缺少训练数据。 HL: 实现实时性的难题在于以下方面： - 处理大量数据的能力以及使用更深层网络训练更好的模型的能力 - 生成高分辨率帧的能力 - 并行/安排任务的能力 对于每个来源面孔（名人），我们都使用了数以万计的帧。 8. 如果您可以实时执行此操作，是否意味着如果流程不是实时的，而是在传统的项目处理周期，就可以有更加高质量的解决方案？ HL：当然，我们的最新demo是使用生产级的pipeline制作的高保真Deepfake视频，该pipeline不是实时的，但可以产生更高的分辨率和更自然的结果。 我们为一个团队制作了一个新的Deepfake视频，希望能很快的和大家见面。得出的结果非常出色，分辨率很高（但是处理速度更慢），而且我肉眼看不到任何缺陷，运行非常顺畅。 9. 您的系统可以应付很多头部的旋转动作吗？ HL： 是的，从我们与Globo合作的视频结果中可以看出，它可以处理较大的头部旋转动作。 10. 对于WEF上的演示来说，照明对前来测试的用户有多重要？ HL： 我们的系统自然可以应对非常具有挑战性的照明条件。您可以使用各种颜色的灯泡，并观察换面反映出照明条件的变化。 11. 如果是戴着眼镜的用户会怎样？ HL： 薄镜框的眼镜没有影响，但是用厚框镜的眼镜可能是个问题，因为我们的培训内容不包括戴眼镜的对象。 12. 您能讨论一下您的头发模拟研究的现状吗？我们知道Pinscreen在这一领域也进行了广泛的研究？ HL： 我们正在谈论实现整个头部的替换，我相信发型合成无疑是一种可能性，也是未来一个有趣的研究方向。我的USC实验室过去已经进行过使用GANs方法渲染逼真的发束的研究（译者注： 3dcat实时渲染支持能在windows渲染的几乎所有引擎），而我们在将面部毛发创作上也有一些新的研究。头发可以跨越多种样式和形状，并且与面部的相互作用非常复杂。需要研究更复杂的条件。 13. 此装置的体验反响怎么样？ HL： 我们的装置是本次活动的亮点之一，有成千上万的参与者在此体验，其中包括很多名人和世界各领域的领袖。 许多人对Deepfake型视频操作的潜在危险非常感兴趣，有些人对商业应用感兴趣， 或者只是享受变脸的过程。 14. 您认为与会体验者会对这一领域技术的迅速发展感到惊讶吗？ HL： 是的，尽管许多人已经知道了Deepfake，但是他们当然没想到该技术还能是实时的。我们还展示了我们正在尝试的其他一些非实时示例，他们对保真度感到震惊，还想了解更多有关如何防止其滥用的信息，以及鉴于技术的发展速度，立法者如何参与制定新法规。我认为我们的装置已经达到了提高对仿冒型技术的认识的目的。