
是的…滞后会杀了你(当然是游戏game)
像素流送评论家指出的罪魁祸首是用户做出的命令在屏幕上产生可见响应(以延迟度量)之前所具有的“延迟”或延迟。
有许多因素可能会增加游戏的滞后性,其中一些是可以解决的(例如,交通拥堵或信号干扰),而另一些则是更难解决或根本无法解决的(即,信号的传播速度不能超过光速)。
特定于 像素流送技术的延迟也可能源自视频流的编码/解码延迟,信号到达流服务器(以及从流服务器返回)所花费的时间和跃点的多个地方。最后一英里(从您的设备到互联网提供商的距离)中的其他问题。
考虑到游戏玩家对游戏响应时间的敏感度,特别是在当今大多数游戏玩家都将大部分游戏时间都花在网络游戏上的情况下,延迟仍然很重要……很多(请记住,Steam上几乎所有顶级游戏都是多人游戏)。
一般而言,任何小于100毫秒的延迟(在测量游戏多人服务器的延迟时)对于多人游戏来说都相当不错,而一些游戏玩家会声称50毫秒或更短的延迟对于诸如此类的快节奏游戏是绝对必要的。格斗,第一人称射击游戏或电子竞技比赛。延迟也可以归因于游戏本身,其中一些使其比其他游戏更引人注意。
由于存在每个像素流送服务,因此添加中介将始终为最终用户增加一定程度的延迟。问题是,我们在谈论多少延迟,这真的重要吗?
一项在OnLive仍活着(没有双关语)的情况下进行的研究得出结论,该服务在游戏的现有延迟中增加了135到245ms之间的任何时间。当然,那是6年前。
其他服务声称可以通过不同的方法获得更好的结果。CiiNow(显然已被Google收购)在2013年宣称能够通过加速其服务器上的图形编码过程来大大降低延迟,以至于它可能导致比本地Xbox360控制台更低的延迟。尽管该公司确实公布了其结果,但直到今天仍不清楚为什么该服务(一种B2B解决方案)从未真正起飞。
Tom Morgan和Digital Foundry团队于2017年8月进行的另一轮测试测量了PlayStation Now的增加延迟,该游戏流媒体服务结合了OnLive和Gaikai收购的技术。
他们的结论?该服务平均仍会增加60-80ms的输入延迟。请注意,此延迟会添加到游戏玩家与游戏服务器之间已经存在的延迟中,这可能意味着总延迟为120ms到180ms之间,即使对于某些类型的游戏来说有点高,也还算不错为他人。
为什么要强调“平均”一词?因为在游戏过程中,该延迟可能会发生很大的变化(抖动和数据包丢失),尽管其中一些并不是 流媒体服务的真正错误,但仍然足以破坏您在 Pixel Streaming服务上的游戏体验。
碰巧的是,与电影,电视节目和音乐不同,它们基本上是单向传输给用户的文件,像素流送是一种双向过程,其内容必须在高端服务器上实时生成。这意味着无法缓冲游戏以补偿不稳定因素(例如电影或音乐),也不能在世界各地的CDN之间轻松廉价地分发游戏,因此始终需要在最终用户附近运行游戏,以提供体面的体验。
借助游戏,无论您的互联网连接速度有多快或延迟有多低(良好),最终对游戏玩家而言真正重要的是稳定性。
不幸的是,稳定性仍然是我们互联网基础设施的薄弱环节之一,导致出现不良情况,包括从游戏过程中的积极图像压缩和伪像,到过去游戏玩家注意到的高输入延迟。如果您曾经在拥挤的Google环聊中聊天超过20分钟,那么您可能知道我在说什么。
简而言之,一场比赛中短暂的短暂停顿就足以让您完全脱离比赛(请参见下面的CSGo示例)。
您会看到“红色”,而另一位玩家实际在“黄色”。
为了降低这种影响,某些服务要做的是以较低的 分辨率和刷新率传输视频。Google的Stadia测试版(称为Project Stream)以30fps和720p的速度播放单人游戏,并强制执行严格的连接要求(见下图)。将其与在Xbox One X上以4k分辨率以60fps的本机运行多人游戏进行比较,您会发现可能会损失一些东西,以换取便捷的流媒体服务。
那么Google Stadia的体验如何?尽管现在说他们的Beta和GDC演示是否有任何迹象还为时过早,但他们仍有很多方法要走,直到他们可以将延迟真正降低到可接受的水平。
贾瑞德·沃尔顿(Jarred Walton)在2019年GDC期间进行的测试发现,延迟增加了80毫秒以上,考虑到这是Google家用草皮旁边的受控环境,这并不是很令人鼓舞。
曾经是Google Stadia(称为Project Stream)的Beta版测试人员,但我也可以补充一点,尽管我的经验给我留下了深刻的印象(它确实比我以前尝试过的每个 流服务都要好得多),但延迟仍然非常明显我的家庭连接速度为+100Mbps(请记住,我与迈阿密的Tier 1 Network提供商仅相距1英里)。
在晚上7点到晚上11点之间,您可以称之为“互联网的高峰时间”,该游戏有时对我来说变得无法玩。
每个游戏会话之前Google Stadia的Beta严格连接测试的示例(观察:不是我的屏幕截图)
虽然这些经历可能相当于对服务进行微调的个人轶事,但这确实表明,并非所有内容都可以用Stadia的技术来完善。
5G的问世于今年开始,似乎表明世界更加幸福,最后一英里的延迟和拥塞减少了。但是主流 5G的采用仍至少需要数年时间,并且需要投资数千亿美元(即Apple预计到2020年或更晚才推出5G手机),尽管这项技术确实非常有前途,但它仍然可能无法确保流畅的游戏会话所需的完美稳定性(诸如更高的5G信号阻塞倾向,短距离范围以及令人讨厌的光速仍在继续)。
在我的下一篇文章中,我们将介绍游戏界在讨论 像素流送技术(像素流送技术的经济性)时经常忽略的第二个(也是非常重要的)方面。)
敬请关注!
推荐阅读: 像素流送是否会走向另一个史诗般的失败?(上)
2020-10-14

早在2002年,当时电影业就在争先恐后地提供首个 流媒体解决方案Netflix,这使许多行业专家感到沮丧,他们选择了一条截然不同的路线,而是大量投资于传统的物理磁盘发行。
快进到2018年,技术领域几乎每一个沉重的打击者,包括微软,腾讯,EA,Verizon甚至沃尔玛之类的公司,都宣布了在未来几年内将 视频游戏流媒体服务推向新的高度。
随着诸如Sony PlayStation,Google(Stadia),Nvidia和Nintendo之类的科技和游戏巨头已经提供和/或测试他们自己的服务,人们只能但可以肯定的是,游戏流媒体的时代最终将开始……
我们在见证历史重演吗?
像素流送历史
自从Netflix在2007年正式推出其视频流服务以来,人们一直想知道类似的提议何时会出现在游戏行业。在许多潜在的云游戏技术中,在服务器上运行游戏,而只是将图像传输给最终用户,这似乎是使 游戏流变为现实的最明显的方法。
这项被称为“ 像素流送”的技术通常被视为视频游戏的“圣杯”,有望成为终结所有游戏困境(物理硬件,安装/配置,更新和下载的要求)的最终解决方案。甚至在功耗最低的设备上也可以访问高质量的游戏。
这一承诺可以追溯到2009年,当时一家名为OnLive的新创业公司在游戏开发者大会上首次宣布了其开创性的流媒体技术。该公司依靠华纳兄弟公司和At&t等媒体巨头的巨额投资,于次年大张旗鼓地宣布成立,但从未真正成立。
OnLive包含一个漂亮的微型集线器,可连接到电视和控制器
该服务通常因其图像质量低和输入滞后(玩家在屏幕上看到响应所花费的时间)而受到批评,该服务最终于2012年关闭。其主要竞争对手盖凯(Gaikai)的满意度较高(但仍为时过早) )结尾,并于同年被Sony收购。
数十家其他公司也冒险进入像素流化趋势,其中大多数最终在不久之后就倒闭了。大型游戏行业参与者,例如Square Enix(著名的《最终幻想》游戏系列),GameFly和G-Cluster最终都关闭了产品。许多其他公司要么关闭,要么被降级为租用“云中的PC”,转而使用按使用量付费或基于订阅的模型,但到目前为止,大多数用户至今仍未采用这种模型。
因此,还有两个大问题,是什么导致当时 像素流趋势消失的原因?从那以后发生了什么变化,以至于谷歌变得充满信心,可以被Stadia击败?
为了回答这些问题,我们需要关注 Pixel Streaming服务的三个主要问题之一,以了解该服务的真正障碍是什么。他们中的每一个对现任公司和新参与者都提出了截然不同的挑战,因此在得出任何结论之前应分别进行分析。
他们是:
- 延迟和图像质量
- 经济学
- 内容
在此,我的意图不是写一篇有关 Pixel Streaming面临的挑战的权威文章,也不是明确声明哪一个(或一个)成功。
正如尤达(Yoda)所说的“……永远在前进”,因此请记住,谈论游戏技术时,很多事情可能会发生意料之外的变化!
2020-10-13

通过 像素流送你可以将最高质量的内容流送到所有平台——甚至包括移动设备上的几乎所有Web浏览器,而且没有任何下载和安装要求。对与会者而言,这并不比访问YouTube视频复杂。但是和YouTube不同的是,他们还可以即时通过键盘、鼠标、触摸事件或自定义HTML5用户界面与这些内容交互,并将这些响应发送回引擎。
像素流送使你能够向任何地方发送产品配置器、现场建筑设计评测或交互式培训等应用程序,只要现代化的Web浏览器能够运行就好。你只要分享一个链接就能让多名观看者在同一个会话中进行协作,或者你也可以向每一个连线的观看者发送独立的会话。
像素流送的工作原理是什么?
截至目前,最终用户用来消费你的实时内容的设备(无论是台式PC、主机、平板电脑,还是智能手机)通常都是运行Gameplay逻辑并将结果 渲染到屏幕上的设备的同类。因此,内容的性能和质量受限于设备的能力。
但是有了像素流送,你就可以在功能强大的远程计算机(在云端或者本地服务器)上运行你的 虚幻引擎应用程序,利用它的所有资源——CPU、GPU、内存,等等——实时执行游戏逻辑并 渲染每一帧画面。然后最终用户可以在他们自己的计算机、平板电脑或智能手机上使用标准的Web浏览器,通过一个轻量级Web服务堆栈连接到那个运行的游戏应用程序。
这里面有什么奥秘?
虽然功效强大,但典型的像素流送设置是十分简单的,只包括三个将虚幻引擎连接到查看平台的组件——任何人都可以在局域网中比较轻松地设置它。而它的功效足以供具有部署Web服务经验的团队用作创建自定义云托管平台的基础。
为了在查看者和虚幻引擎应用程序之间实现尽可能低的延迟,系统使用WebRTC点对点通信框架。
- 像素流送插件——此插件在虚幻引擎内部运行。它使用H.264视频压缩对渲染的每一帧最终结果编码,将这些视频帧与游戏音频一起压缩到媒体流中,发送到WebRTC代理服务器。
- WebRTC代理服务器——WebRTC代理服务器负责将像素流送插件产生的媒体流通过直接的点对点连接转发给多个查看者。
- 信令和Web服务器——信令和Web服务器负责在查看者与WebRTC代理服务器之间协商建立连接,并为查看者提供播放媒体流的HTML和JavaScript环境。
这种办法好在哪里?
这样一套系统的优点很多:
移动设备和轻量级Web浏览器可以显示工作站品质的3D图形——这样的图形品质大大高于不使用这套系统时所能达到的的水平。它们能够使用依赖强大GPU的渲染功能,以很高的帧率显示复杂的场景。
从加载网页到与体验交互的时间可以不到一秒钟(你可以用WebGL方法试试做同样的事)。众所周知,延迟是查看者放弃网页的主要原因(根据Kissmetrics的统计,40%的人会在延迟达到三秒或更长的情况下放弃)。
体验是可以预测的。你知道无论他们在什么设备上消费你的内容,看到的图像都会和你看到的一样。你不必担心视频驱动程序或GPU限制造成视觉效果问题。
这是一种“零安装”解决方案。最终用户不需要预先下载插件、大型可执行文件或内容文件,不需要安装任何东西。查看者所消费的仅仅是视频流——就和其他任何视频流一样。而且和WebGL不同的是,你的3D数据不在别人的硬盘里,也就没有某些公司可能担心的安全问题。
从开发者的视角来看,这种解决方案的支持难度远远低于将体验移植到所有可以想到的移动设备和浏览器配置。如果你需要进行更改该怎么办?只要在一个地方进行更改,所有人都会即刻获得新的体验。你只要针对Windows将你的应用程序打包一次,最终用户可以选择在任何平台上、用任何支持WebRTC连接模式的现代化浏览器体验你的内容,这包括台式机、iOS和Android上的Google Chrome和Mozilla Firefox。
如果你从来没有接触过虚幻引擎,可以进入3DCAT实时渲染云 www.3dcat.live进行体验。我们希望你发现像素流送功能很有用处,而且乐于使用。
2020-10-09

随着5G的普及, 像素流送相关技术广泛应用于生活中。例如汽车展示、建筑漫游、工业仿真、游戏试玩、手办模型展示、艺术展览、医疗实训、智慧党建、智慧园区……那么 像素流送到底有哪些优势?
像素流送的优点
1.用户体验一致
即使是手机这种轻量化的终端也能体验到服务器级别的高端显卡带来的震撼效果,尤其是一些复杂的场景,以往在手机上是无法运行的,现在也能“连连看”了。除此以外,不管是PC还是手机,通过像素流送所看到的内容都是一致的,不存在设备降低画质也降低的现象。
2.更加易用,能更好地满足用户的体验
对于用户来说,体验像素流送只需要能够打开浏览器联网即可。现有的家庭网络条件加载网页的时间也是很短的,完全不需要下载、安装各种应用。
3.降低终端成本
既然终端的性能已经和体验脱钩,那么使用 像素流送自然无需再购置更加高端的芯片、显卡等设备,这样极大地降低了用户的体验成本。
4.内容更加安全
对于应用开发者来说,通过像素流送只需要把工程文件打包发布到 云端即可,用户访问的都是一帧一帧的画面,无法通过技术手段获得三维模型等原始素材,更加有利于知识产权的保护。
5.更新更加容易
对于应用开发者来说,使用像素流送技术,应用的发布和更新也都更加容易。云端一旦更新,所有用户访问的都是 实时刷新的内容,再也不用费心费力地让用户自行下载更新版本了。
像素流送技术的应用
通过这项技术的应用,用户可以更好的通过 在线平台体验。比如汽车、模型之类的可以进行多维度的展示用户想看哪一面就操作展示哪一面,游戏用户可以直接试玩体验,医疗实训演练也可以进行细致的分解说明、细节展示,可以为客户更好的展示应用效果等等。
实际应用以及如何体验?
当前市场上能提供关于 像素流送技术服务的公司不多,如果想知道什么是像素流送,文字看完还是一知半解,可以到 3DCAT实时渲染云平台进行体验。
3DCAT是 深圳市瑞云科技有限公司提供的三维应用实时渲染云服务。利用 云端的海量GPU算力处理繁重的图像渲染计算并串流同步输出到终端设备,从而实现终端设备的轻量化,让高质量三维图形应用变得无处不在。用户可以使用任何联网的普通设备,访问托管在3DCAT云中的 三维应用程序,同时无需下载安装应用。3DCAT支持能在Windows平台运行的几乎所有 渲染引擎,支持NVIDIA RTX实时光线追踪功能的开启。
3DCAT实时渲染平台,让三维应用触手可及,欢迎体验 https://www.3dcat.live/demo.html。
2020-10-05

5G的到来不仅仅是网络的提升,它还解锁了人与人之间新的交互方式,就比如逐渐渗透到人们生活的仿真类VR、AR相关应用。这些应用的内容,通过云端资源进行渲染计算,然后搭载着 内容流送(Content Streaming)/像素流送(Pixel Streaming)这项技术通过网络,推送到各种终端上。
像 3DCAT实时渲染云平台就是通过 像素流送这项技术实现的。3DCAT可以让任意设备随时随地访问您的3D应用,无论通过PC还是移动端,皆可以体验试玩游戏、展示炫酷的汽车、体验艺术展陈、建筑漫游还有参与医疗实训等等。
其实,很多厂商在开发有交互的三维仿真应用时,制作和推广都面临一个不小的挑战。以设备适配问题来说,厂商开发交互 3D仿真应用,需针对市面上各式各样的系统和终端设备,进行对内容质量的适配开发,这其实就是一个不小的难题。通常的做法是设定一个最低匹配标准来适配各种设备,这样的缺点也显而易见——对于高端设备来说,体验的质量远远没有达到,对设备性能造成了浪费。另外一种做法是发布尽可能多的版本去适配尽可能多的系统或设备,这样做的代价就是工作量剧增。由此可见像素流送对三维仿真应用有关键的作用。
比如想要给用户多维度的展示一些精美的模型,云参观收纳各种精美藏品的博物馆,虚拟医疗实训……想要获得令人满意的效果和交互体验,首要的技术就是既不需要下载安装又不需要降低体验质量也就是像素流送。
像素流送帮我们解决了那些难题?
交互—— 像素流送不同于普通的视频流,仿真和虚拟现实类的应用都需要有各种交互功能。常用终端的鼠标、键盘或者触屏操作,都需要转换为信号通过网络传输到云端去,而云端也需要即时的响应这些信号实时地渲染新的画面,通过流的方式把结果推送回终端。
时延——根据kissmetrics的研究,当浏览网页时延时超过3秒,就会流失40%的用户。对于实时类的体验更是如此, 像素流送的时延必须控制在毫秒级。一般小于120ms的时延对于用户来说才是无感知的。
画质——好的画质是分辨率、帧率和码率三者之间的平衡。分辨率是单位英寸中所包含的像素点数;帧率(FPS),即每秒钟要多少帧画面;码率是编码器每秒编出的数据大小,单位是kbps,比如800kbps表示编码器每秒产生800kb的数据。帧率与画面流畅度成正比:帧率越大,画面越流畅;帧率越小,画面越有跳动感。如果码率为变量,则帧率也会影响体积,帧率越高,每秒钟经过的画面越多,需要的码率也越高,体积也越大。帧率就是在1秒钟时间里传输的图片的帧数,也可以理解为图形处理器每秒钟能够刷新几次。
分辨率影响图像大小,与图像大小成正比:分辨率越高,图像越大;分辨率越低,图像越小。在码率一定的情况下,分辨率与清晰度成反比关系:分辨率越高,图像越不清晰,分辨率越低,图像越清晰。在分辨率一定的情况下,码率与清晰度成正比关系,码率越高,图像越清晰;码率越低,图像越不清晰。如果不做码率大小上的限制,那么分辨率越高,画质越细腻;帧率越高,视频也越流畅,但相应的码率也会很大,因为每秒钟需要用更多的数据来承载较高的清晰度和流畅度。
像素流送解决了三维仿真应用的关键难题,这些应用才得以出现在大家生活中的方方面面。想体验这项技术的应用的小伙伴,可以去刚刚提到的 3DCAT实时渲染云平台哟。
3DCAT是 深圳市瑞云科技有限公司提供的三维应用 实时渲染云服务。利用云端的海量GPU算力处理繁重的图像渲染计算并串流同步输出到终端设备,从而实现终端设备的轻量化,让高质量三维图形应用变得无处不在。用户可以使用任何联网的普通设备,访问托管在3DCAT云中的 三维应用程序,同时无需下载安装应用。3DCAT支持能在Windows平台运行的几乎所有渲染引擎,支持NVIDIA RTX实时光线追踪功能的开启。欢迎到我们的demo体验页面进行体验: https://www.3dcat.live/demo.html,3DCAT实时渲染平台,让三维应用触手可及,欢迎体验了解像素流送。
2020-09-30
热门标签
元宇宙虚拟数字人云工作站元宇宙解决方案虚拟现实汽车虚拟仿真vr虚拟现实云渲染实时云渲染元宇宙云化XRCloud VRue4UE5边缘计算平台CloudXR云交互云仿真云展厅虚拟仿真云流送技术云流送像素流UE虚幻引擎3D数字孪生平台数字孪生虚拟仿真软件智慧园区云平台装修云设计BIM云平台三维虚拟仿真园区数字展厅3D场景制作GPU渲染像素流送的成本实时渲染实时3D3D可视化C4D实时光线追踪实时渲染艺术家云游戏云技术实时交互虚拟制作unity游戏动画即时渲染实时游戏沉浸式云加速云软件云应用AR/VR渲染
热门资讯

2023年值得关注的 VR 和 AR 趋势!
2023-05-26

边缘计算是什么?为什么边缘计算平台如此重要?
2023-04-26

Maya如何拆分UV并导出UV参考?
2023-03-30

ZBrush软件崩溃如何找回文件?
2023-03-23

Maya如何进行中英文切换
2022-10-17

Metahuman正确导入Maya的方式
2022-06-15
往期资讯
2023-05-30
2023-05-29
2023-05-26
2023-05-24
2023-05-23
2023-05-22
2023-05-22
2023-05-19