
英伟达(NVIDIA) 最近分享了它的SIGGRAPH 2020论文,该论文探索了如何 实时渲染数百万个区域动态灯光的照明和阴影。
多光线追踪(ReSTIR)
以前,游戏工作室使用烘焙解决方案,并添加了一些Dynamic Emitters。然后,RTX游戏允许开发者使用具有物理上正确阴影的动态区域灯光,但会限制在一定数量的灯光。ReSTIR去噪渲染的算法来自SIGGRAPH 2020论文,能够实时追踪具有数百万光线的场景。
英伟达公司的研究部门与达特茅斯学院的视觉计算实验室(Dartmouth Visual Computing Lab)合作,研究如何在当前光线预算下引导数百万个动态灯光。没有复杂的灯光结构,没有烘焙,也没有全局场景参数设定。团队可以保证最后的结果比当前情况快65倍。
论文描述了“使用 实时光线追踪进行动态直接照明的Spatiotemporal Reservoir Resampling”,给出了基于储层的时空重要性采样(ReSTIR)技术的理论和实现细节。
模型的开发人员之一Benedikt Bitterli表示:我们分析的关键是重用来自空间和时间上相邻像素的信息,以告知要跟踪的光线。这个想法类似于现代的后处理去噪和抗锯齿,但是在去噪直接过滤像素颜色的同时,我们帮助引导光线以减少未来的噪声。
2020-06-02

过去,NVIDIA一直在谈论CPU和GPU,而今年GTC演讲的重点是基于云/服务器的计算与DPU(深度学习处理单元)的结合。以前,NVIDIA的叙述主要是使用AI进行光线追踪,但这些结果更多地反映了降噪算法。今年,黄教主表现出令人难以置信的高画质效果,其中ML在推断更高分辨率的光线追踪渲染器方面提供了惊人的结果。该过程将光线跟踪与ML耦合在一起,以产生高于被光线跟踪的原始分辨率的高质量 实时渲染云。实际上,在演示中,从720P上转换后的更高分辨率的1920×1080分辨率AI渲染图像似乎比以1920分辨率原生渲染的匹配渲染更为详细。
另一个关键演示演示了《我的世界》的光线追踪。这个以前已经发布了。4月,发布了带有RTX的Minecraft Beta版。Mojang Studios和NVIDIA制作了该游戏的Windows 10版本,该版本提供了从上到下的路径跟踪光线跟踪。
我的世界Ray-Traced
Jarvis
蒙蒙
涉及Omniverse的第二个演示是主题演讲的Jarvis演示部分。Jarvis是新的NVIDIA对话代理系统。
对话式AI是最困难的推理问题之一,需要大量的ML,并且对自然语言处理(NLP)具有复杂的语音识别。推理必须非常快,否则对话会停滞,并且对话的效果或幻想会中断。除了令人印象深刻的AI之外,该演示还展示了代理输出已被转换为合理的人类语音。显示的两个字符是由Jarvis管道驱动的,其中一个是名为Misty的交互式水滴字符。但是也许最令人印象深刻且最相关的M&E演示是lipsync rap演示,它从NVIDIA员工那里产生了惊人的口型同步,而NVIDIA员工仅提供了说唱的音频,然后在真实面孔的基础模型上将其解释为极其强大的lipsync。
对话式AI和Lipsync
“说唱演示(以我们的员工John Della Bona,'JohnnyD'为特色)展示了Jarvis为对话式AI和实时面部动画以及Omniverse Kit的实时动画和图形功能提供支持的速度和准确性。真正突破性的端到端解决方案,” Kerris告诉fxguide。
John Della Bona语音用于驱动3D模型(仅从音频)
Jarvis是一个完全加速的应用程序框架,用于构建使用端到端深度学习管道的多模式对话AI服务。开发人员可以轻松地微调其数据上的最新模型,以加深对特定上下文的了解,并优化推理以提供运行时间为150毫秒(ms)的 实时交互,而25秒仅CPU平台上需要。Jarvis框架包括经过预先训练的对话式AI模型,NVIDIA AI Toolkit中的工具以及针对语音,视觉和自然语言理解(NLU)任务的优化的端到端服务。Jarvis附带了一组预训练,代表100,000+个小时的培训时间,但是开发人员将其与NeMo模块结合在一起,该模块以特定领域的术语和其他本地化培训相结合。
同时融合视觉,音频和其他输入,可在诸如虚拟助手,多用户数字化和呼叫中心助手之类的应用程序中提供诸如多用户,多上下文对话之类的功能。
基于Jarvis的应用程序已经过优化,可在云,数据中心和边缘的NVIDIA EGX平台上实现最佳性能。首席执行官黄仁勋的厨房主题演讲的一个主要主题是NVIDIA在数据中心规模方面的进步。NVIDIA AI服务器场的范围和成本节省令人印象深刻。
2020-05-27

NVIDIA首席执行官黄仁勋(Jensen Huang)在2020年GTC主题演讲中宣布了该公司的一系列重大新技术进步,其中三项与媒体和娱乐(M&E)空间非常相关。
1. 受益于深度学习超级采样(DLSS)2.0的NVIDIA光线追踪。
2. 扩展的Omniverse。
3. 作为Jarvis对话式AI框架的一部分,出色的角色动画讲话。
首席执行官黄仁勋的“厨房主题演讲”
实时光线追踪
DLSS 2.0是一个经过改进的新的深度学习神经网络,它可以提高帧速率和分辨率,同时生成精美的游戏图像。它为艺术家提供了表演空间,可最大化光线追踪设置并提高输出分辨率。Huang在演讲中重点介绍了名为Marbles RTX的仿真和 实时GPU渲染演示。该演示是一个可玩的游戏环境,通过动态照明和丰富的基于物理的材质显示实时物理。Huang还介绍了用于制造Marbles RTX的Omniverse平台。
在虚拟主题演讲中,黄仁勋展示了NVIDIA创意团队远程创建的演示文稿,以展示其RTX射线追踪和Omniverse Platform的强大功能。Marbles RTX是由使用Omniverse的艺术家和工程师组成的分布式团队创建的。他们将VFX+质量资产组装成一个完全物理模拟的游戏。该演示不需要牺牲质量和保真度,而牺牲通常与“游戏化”艺术资产相关联即可实时运行。Marbles RTX在单个Quadro RTX 8000上运行,可在实时光线追踪的室内场景中模拟复杂的物理场。NVIDIA M&E总经理Richard Kerris解释说,“由于依赖于Omniverse服务器,因此无法下载该演示,”我们在与fxguide进行单独交谈时表示。
Marbles演示令人印象深刻,但其中也包含许多CG复活节彩蛋和幽默
创建视觉效果, 实时渲染云 建筑可视化或制造设计通常需要多个人在团队,远程工作地点以及各个客户地点进行协作以进行审核。使用各种软件工具来开发3D资产。长期以来,跨应用程序进行数据传输一直是全球数百万艺术家,设计师,建筑师,工程师和开发人员的挑战。利用Pixar的通用场景描述(USD)和NVIDIA RTX技术,Omniverse为人们提供了一种轻松使用应用程序并与同事和客户(无论他们身在何处)进行协作的方式。几周前,我们在fxguide上通过GauGAN演示突出显示了这样的示例。
该技术也非常适用于虚拟生产,尤其是对于许多目前处于锁定状态并与分布式团队合作的公司而言。Kerris表示:“过去90天内,ILM等公司对虚拟舞台的兴趣水平是其五倍。” NVIDIA提供了ILM的The Mandalorian虚拟舞台项目中使用的GPU卡。Omniverse已经开发了一段时间,但是它是远程协作的理想选择。
尽管Marble演示在单个RTX 8000卡上运行,但NVIDIA的Omniverse已扩展为包括Omniverse View的新型渲染。该模块由多个NVIDIA RTX GPU加速,并为在GPU阵列上实现极高的可扩展性而提供,即使具有庞大的3D模型,也可提供高质量的 实时渲染。Omniverse View显示从Omniverse内部或直接在使用的3D应用程序中的不同应用程序聚合的3D内容。它还旨在支持商业游戏引擎和离线渲染器。
ML射线跟踪缩放
DLSS 2.0提供的图像质量可与原始分辨率媲美,而仅渲染四分之一到大约一半的像素。它采用了新的时间反馈技术,可获取更清晰的图像细节并提高帧与帧之间的稳定性。原始的DLSS 1.0需要针对每个新环境或新游戏训练机器学习(ML)网络。DLSS 2.0使用非游戏特定内容进行了培训,提供了可在不同视觉环境中工作的通用网络。它不是用于图像的通用Upres工具。它使用卷积自动编码器,该卷积自动编码器采用低分辨率当前帧和高分辨率前一帧,以逐像素为基础确定如何生成更高质量的当前帧。因此,DLSS 2.0在ML网络中有两个主要输入:
1. 渲染引擎渲染的低分辨率,锯齿图像
2.来自同一图像的低分辨率运动矢量,也由渲染引擎生成。
2020-05-26
热门标签
云加速实时渲染艺术家实时游戏AR/VR渲染CloudXR虚拟制作元宇宙虚拟数字人云工作站元宇宙解决方案虚拟现实汽车虚拟仿真vr虚拟现实云渲染实时云渲染元宇宙云化XRCloud VRue4UE5边缘计算平台云交互云仿真云展厅虚拟仿真云流送技术云流送像素流UE虚幻引擎3D数字孪生平台数字孪生虚拟仿真软件智慧园区云平台装修云设计BIM云平台三维虚拟仿真园区数字展厅3D场景制作GPU渲染像素流送的成本实时渲染实时3D3D可视化C4D实时光线追踪云游戏云技术实时交互unity游戏动画即时渲染沉浸式云软件云应用
热门资讯

2024年VR虚拟现实未来发展趋势介绍
2023-11-23

VR虚拟仿真实验教学平台_技术与应用探讨
2023-11-01

如何克服实时渲染难题?六大实时渲染技巧教学!
2023-09-28

虚拟仿真-探秘宠物医院虚拟仿真实训系统
2023-09-15

边缘计算是什么概念?关于边缘计算平台的说法
2023-08-25

数字孪生+实时云渲染:打造流式三维可视化引擎
2023-08-08
往期资讯
2023-12-01
2023-12-01
2023-12-01
2023-11-30
2023-11-29
2023-11-29
2023-11-28
2023-11-27