像素流

因基于图像的渲染技术创新，Manex Visual Effects公司（又名MVFX公司）在接手制作了几个项目之后在业内出名了。MVFX利用这些创新技术制作了电影《黑客帝国》中子弹时间系列的虚拟背景，这些 虚拟制作的技术在电影《极限乔丹》和《碟中谍2》（今年也是这部吴宇森导演的作品上映20周年）中也发挥了重大作用。 这些虚拟背景开发的负责人是Dan Piponi，Kim Libreri和George Borshukov（他们之前曾与Paul Debevec一起参与基于图像的渲染研究）。 Manex为《碟中谍2》制作的绿幕摄影和虚拟背景解析 在2001年，Piponi、Libreri和Borshukov凭借基于 图像渲染的、可以通过CG重建集来编排摄像机运动的系统开发研究，获得奥斯卡科学与技术成就奖。（他们后来又凭借在Esc Entertainment工作室中完成的《黑客帝国》续集中使用的Universal Capture的开发再一次获得了该奖项）。 有了这项虚拟背景技术，电影创作者就可以先给特定的场景拍摄大量照片（例如《碟中谍2》中悉尼的夜景），然后再通过 CG技术将该场景重现，实现超逼真的 渲染效果，得益于这种高动态范围成象，电影创作者可以在虚拟环境中放置演员或其他拍摄内容，例如下图中跳跃的汤姆·克鲁斯（Tom Cruise）就是被放置在了一个虚拟的悉尼夜景中。 当然，许多人会认为这些摄影测量和纹理映射技术现在已经用于虚拟集构建了。Manex公司以及后来的Esc工作室处理工作的方式（还包括预先可视化动作）确实是VFX电影制作中现在普遍使用的虚拟生产管道的先驱。 开启《碟中谍》电影制作之路 2000年，安德列斯·马丁内斯（Andres Martinez）曾在他的祖国哥伦比亚工作，然后在旧金山艺术大学学习，之后，他在Manex公司受雇从事Manex / Esc虚拟背景创新工作，开始了制作《碟中谍2》的旅程。MVFX的论文顾问兼FX主管Greg Juby向他介绍了该公司。马丁内斯后来继续担任《黑客帝国》续集和《猫女》的虚拟背景主管，这进一步推动了艺术和技术的发展。 在《碟中谍2》中，马丁内斯的角色是指导虚拟背景团队，并且将Libreri，Borshukov和Piponi已率先在《黑客帝国》上使用的技术用于基于图像的虚拟环境渲染。 “金·库布里（Kim Libreri）是我的引路人，我能做的是我为虚拟背景重新安排了一些步骤，”马丁内斯说道。“那时，我们成功实现了从拍照到营造环境仅需几个小时。如今，一个按钮可以执行所有操作了，但对于那时候的我们来说，一切才刚开始起步。” 如今，电影制作已经可以通过绿幕拍摄 实时渲染合成，让电影创作者在拍摄现场就可以直观地看到影片的最终效果。 虚拟背景技术 《碟中谍2》的工作过程是这样的：将悉尼的拍摄场景的照片数字化（将其扫描为胶卷），并带入Manex的制作流程中。这些照片为3D几何构造提供了信息，其中还包括通用模型和定制模型。Manex的系统会将“真实”的照片映射到模型上。 马丁内斯表示，“我最终负责获取摄影，即扫描的胶卷。扫描后，我创建了HDRI，使用了Shake脚本，创建了目录结构，然后选择了负责创建序列的艺术家。” 最终他选择了CG艺术家Enrique Vila和Carina作为悉尼虚拟背景的主要创作者。 下一步，就可以将生成的虚拟环境移到3D空间中，并用作汤姆·克鲁斯的绿幕摄影的背景板，让他在场景中进行各种空中跳跃，包括在一个主要场景中他从建筑物的洞中跳出来并乘坐降落伞降落到地面。 当时用于执行此操作的Manex工具集被称为 实时虚拟系统或RTVS，实际上是Maya的插件。后来，对于《黑客帝国》续集，Dan Piponi重新编写了Esc的虚拟背景系统，将其作为称为“ Labrador”的图像分析和摄影测量工具。 《黑客帝国》中子弹时间系列的早期工作，由电影的视觉效果主管John Gaeta监督，为《碟中谍2》的虚拟背景VFX提供了信息。 电影制作 最终，这些虚拟背景只出现在《碟中谍2》场景中，但是对于观众和他自己来说，它们都是令人难忘的。“我们在《碟中谍2》上所做的一切，都是大型项目的垫脚石。当然，这也是我现在所从事的虚拟制作项目的起点。” 这对马丁内斯来说也是了解故事片制作的宝贵一课，自此以后，他一直在Sony Pictures Imageworks，Digital Domain，Method，Pixomondo和他自己的制片厂LosFX等公司工作。 “本来电影已经完成了，但后来，汤姆·克鲁斯在空中有一个翻转角度的镜头又需要返工，在这个镜头中，当降落伞打开时，摄像机是倾斜的，”马丁内斯说。“在那种特殊情况下，我们看到了吊杆和几台起重机。我当时正在为这个镜头创建环境，但是其中一栋建筑物的阳台底侧从未建成，或者说对于该特定场景，那个东西不存在，于是问题出现了。” “在我旁边是一位非常出色的合成师Dan Glass。我把这个镜头发给了他，我们急着要把镜头做好，他看着我，说：“安德烈斯，这个镜头的pixels在哪里？” 我就想，'哦，不！没有时间重新渲染了。我真的觉得自己搞砸了。但丹说：“不用担心，我可以搞定” “现在我总是告诉人们，每部电影都有最终版本，而不是最佳版本，”马丁内斯补充道，“很多时候拍电影就是如此。”

5G的到来不仅仅是网络的提升，它还解锁了人与人之间新的交互方式,就比如逐渐渗透到人们生活的仿真类VR、AR相关应用。这些应用的内容，通过云端资源进行渲染计算，然后搭载着 内容流送（Content Streaming）/像素流送（Pixel Streaming）这项技术通过网络，推送到各种终端上。 像 3DCAT实时渲染云平台就是通过 像素流送这项技术实现的。3DCAT可以让任意设备随时随地访问您的3D应用，无论通过PC还是移动端，皆可以体验试玩游戏、展示炫酷的汽车、体验艺术展陈、建筑漫游还有参与医疗实训等等。 其实，很多厂商在开发有交互的三维仿真应用时，制作和推广都面临一个不小的挑战。以设备适配问题来说，厂商开发交互 3D仿真应用，需针对市面上各式各样的系统和终端设备，进行对内容质量的适配开发，这其实就是一个不小的难题。通常的做法是设定一个最低匹配标准来适配各种设备，这样的缺点也显而易见——对于高端设备来说，体验的质量远远没有达到，对设备性能造成了浪费。另外一种做法是发布尽可能多的版本去适配尽可能多的系统或设备，这样做的代价就是工作量剧增。由此可见像素流送对三维仿真应用有关键的作用。 比如想要给用户多维度的展示一些精美的模型，云参观收纳各种精美藏品的博物馆，虚拟医疗实训……想要获得令人满意的效果和交互体验，首要的技术就是既不需要下载安装又不需要降低体验质量也就是像素流送。 像素流送帮我们解决了那些难题？ 交互—— 像素流送不同于普通的视频流，仿真和虚拟现实类的应用都需要有各种交互功能。常用终端的鼠标、键盘或者触屏操作，都需要转换为信号通过网络传输到云端去，而云端也需要即时的响应这些信号实时地渲染新的画面，通过流的方式把结果推送回终端。 时延——根据kissmetrics的研究，当浏览网页时延时超过3秒，就会流失40%的用户。对于实时类的体验更是如此， 像素流送的时延必须控制在毫秒级。一般小于120ms的时延对于用户来说才是无感知的。 画质——好的画质是分辨率、帧率和码率三者之间的平衡。分辨率是单位英寸中所包含的像素点数；帧率（FPS），即每秒钟要多少帧画面；码率是编码器每秒编出的数据大小，单位是kbps，比如800kbps表示编码器每秒产生800kb的数据。帧率与画面流畅度成正比：帧率越大，画面越流畅；帧率越小，画面越有跳动感。如果码率为变量，则帧率也会影响体积，帧率越高，每秒钟经过的画面越多，需要的码率也越高，体积也越大。帧率就是在1秒钟时间里传输的图片的帧数，也可以理解为图形处理器每秒钟能够刷新几次。 分辨率影响图像大小，与图像大小成正比：分辨率越高，图像越大；分辨率越低，图像越小。在码率一定的情况下，分辨率与清晰度成反比关系：分辨率越高，图像越不清晰，分辨率越低，图像越清晰。在分辨率一定的情况下，码率与清晰度成正比关系，码率越高，图像越清晰；码率越低，图像越不清晰。如果不做码率大小上的限制，那么分辨率越高，画质越细腻；帧率越高，视频也越流畅，但相应的码率也会很大，因为每秒钟需要用更多的数据来承载较高的清晰度和流畅度。 像素流送解决了三维仿真应用的关键难题，这些应用才得以出现在大家生活中的方方面面。想体验这项技术的应用的小伙伴，可以去刚刚提到的 3DCAT实时渲染云平台哟。 3DCAT是 深圳市瑞云科技有限公司提供的三维应用 实时渲染云服务。利用云端的海量GPU算力处理繁重的图像渲染计算并串流同步输出到终端设备，从而实现终端设备的轻量化，让高质量三维图形应用变得无处不在。用户可以使用任何联网的普通设备，访问托管在3DCAT云中的 三维应用程序，同时无需下载安装应用。3DCAT支持能在Windows平台运行的几乎所有渲染引擎，支持NVIDIA RTX实时光线追踪功能的开启。欢迎到我们的demo体验页面进行体验: https://www.3dcat.live/demo.html,3DCAT实时渲染平台，让三维应用触手可及，欢迎体验了解像素流送。

大家听到 内容流送可能有些生疏，其实现在已经有很多生活中使用的应用场景，是通过这个技术实现的。随着人类社会迈入体验经济时代，体验对用户来说越来越重要。不止是仿真类应用，VR、AR相关的各种应用也日益渗透到人们生活的方方面面。这些应用的内容，都是通过云端资源进行渲染计算，然后转化为流(streaming)的形式，通过网络推送到各种终端上，这种方式称为内容流送（content streaming）,其全称也叫“云内容流送”，又可称为“ 像素流送”。 例如 3DCAT实时渲染云平台就应用了这个技术。3DCAT可以让任意设备可随时随地访问您的3D应用，无论通过PC还是移动端，皆可以体验试玩游戏、展示炫酷的汽车、体验艺术展陈、建筑漫游还有参与医疗实训等等。 但想要给用户多维度的展示一些精致的汽车，美轮美奂的景观漫游，逼真的消防仿真演练……展示让客户青睐，让人满意的效果，那文件量一定不会小，尤其是下载和安装都需要耗费一定的时间。而这些都可以使用内容流送技术轻松得以实现！听起来很棒，那么内容流送是如何实现的呢？ 内容流送的原理 内容流送的实现方式，就是将以前只能运行在终端的计算放到云端，例如在云端提供强大的图形实时渲染计算服务的3DCAT，平台配备弹性GPU资源集群，支持自动负载均衡和伸缩扩容。它在云端调用强有力的高端计算资源（CPU/GPU/内存等）进行计算，终端用户使用标准的网页浏览器连接到应用中，当然也可以发送各种控制信号（鼠标、键盘、触控等）给云端计算节点，经过处理后把计算好的画面推送回终端。 内容流送的实现方式有哪些 内容流送的实现方式其实有多种，我们举例介绍其中的一种便于大家理解的实现方式。我们知道，云端的软件需要能够接受终端发送的各种交互信号，经过计算反馈后将结果进行编码串流，然后发送到WebRTC代理服务器。WebRTC代理服务器负责将流媒体通过直接的点对点连接转发给多个查看者。同时，这个过程一般还需要信令和Web服务器。信令和Web服务器负责在查看者与WebRTC代理服务器之间协商建立连接，并为查看者提供播放媒体流的HTML和JavaScript环境。 当前市场上能提供关于内容流送技术服务的公司不多，如果想知道什么是内容流送，相信文字看完大家还是一知半解，在这里我推荐你可以到3DCAT实时渲染云进行体验。3DCAT是深圳市瑞云科技有限公司提供的三维应用实时渲染云服务。利用云端的海量GPU算力处理繁重的图像渲染计算并串流同步输出到终端设备，从而实现终端设备的轻量化，让高质量三维图形应用变得无处不在。用户可以使用任何联网的普通设备，访问托管在3DCAT云中的三维应用程序，同时无需下载安装应用。3DCAT支持能在Windows平台运行的几乎所有渲染引擎，支持NVIDIA RTX实时光线追踪功能的开启。欢迎到我们的demo体验页面进行体验: https://www.3dcat.live/demo.html,3DCAT实时渲染平台，让三维应用触手可及，欢迎体验。

推荐阅读： 为什么Unity作为3D渲染解决方案如此受欢迎？-part1 能创建逼真的图形和场景 无论你是使用Unity开发2D还是3D游戏，你都可以放心，这些图形将令人惊讶。老实说，今天我们都知道，许多游戏玩家对图形的重视程度超过其他任何事物。因此，如果你想出售自己的游戏，则需要确保其外观完美。 这就是Unity允许你执行的操作。在2D和3D中进行渲染时，你可以创建逼真的动画和建筑可视化效果。该引擎具有强大的功能，例如碰撞检测，可让你创建高度互动的游戏。 使用此 3D渲染解决方案，你可以创建逼真的场景，并使用统一的照明完美地设置气氛。借助智能相机系统，无论你正在开发的是第一人称射击游戏还是第三人称冒险游戏，你都可以拍摄出惊人的照片。 3D渲染自然运动 要以3D方式自然运动，渲染速度必须至少为每秒24帧，以便人眼可以将其感知为自然运动。实现逼真的自然运动是一个相当困难的过程，需要大量复杂的计算，但是Unity为你提供了简单的参数，你可以理解这些参数并使用它们来创建 像素流运动。 这不仅涉及3D渲染的游戏角色和附近的物体。如果你希望整个场景迷人而逼真，则需要确保其各个方面都是完美的。例如，Unity有一个有趣的功能，称为风区（Wind Zones），它使你可以在树木之间创建自然的运动模式。你可以轻松地进行游戏和实验，直到获得自然运动的完美 3D实时渲染。 Unity允许你进行实时编辑 Unity的最佳功能之一是它允许你进行实时交互编辑。电子游戏是一个非常复杂的系统，你无法预测该系统的运行方式，除非你有机会看到它的实际效果。如果出现故障或问题，往往很难找出原因并加以解决。这就是为什么Unity允许实时编辑变得如此重要。 在IDE中运行游戏时，你将获得有关游戏资产更改的结构概述。你可以根据需要进行游戏中的编辑和更改。 丰富的工具箱 当你获得此3D渲染解决方案时，你会获得无数工具，可以使用事件触发器，音频，物理，照明，动画等。标准软件包可为你提供各种各样的工具，如果这似乎还不够的话对于你正在开发的游戏来说足够了，你可以转到资产商店查找其他插件，代码段，动画等。 这里有趣的是，尽管其中一些工具是由Unity创建的，但大多数实际上是由社区创建的。你可以找到一些真正有趣且独特的工具，并使用资产商店甚至出售或分享你自己的作品。 Unity将作品带入云端 它集成了云存储解决方案，使你可以共享，同步和保存项目。这对于需要你与队友紧密合作的协作项目非常有用。你可以更有效地工作，并使协作更轻松。 通过部署Unity Cloud Diagnostics，你可以从最终用户那里收集有价值的反馈。通过收集和识别性能数据和用户反馈，你可以实时响应并保持最终用户满意。 3DCAT实时渲染平台支持Unity应用的 实时渲染，分享链接就能让全世界的人访问应用并与之交互，且无需下载应用（用任意联网设备都可访问，不必担心设备性能） 价格 如果这是个人使用和学习，或者年收入不超过100,000美元，可以免费使用Unity的一些基本功能。 其Plus计划，年度订阅费用为每月25美元，你可以使用其他功能，创建“自定义启动画面”，并在资产商店中享有一定的折扣。每月125美元的价格获得Pro Plan，可以使用Unity的所有功能。