行业资讯
实时云渲染平台

3DCAT一键赋能元宇宙!

实时云渲染-行业资讯

Light stage技术发展介绍

2022-06-13 18:31:59

(Light stage)技术发展

一个虚拟数字人的背后主要涉及三大核心技术:光场(Light stage )采集与三维建模、AI算法驱动表情动作和基于深度学习的光线追踪算法。来自影视的照相建模、高精度3D扫描、面部和动作捕捉相关技术,已经应用到游戏的实时渲染领域,为表现力带来飞跃提升。

Light stage

什么是Light Stage

关键技术支撑,来自南加州大学教授Paul Debevec自2000年启动的light stage光场摄影项目研究。这属于photogrammetry范畴,使用单个场景拍摄的多张不同角度照片来重建3D空间中的 CG 模型。回忆下《黑客帝国》中的子弹时间特效,现场有多台摄像机,用不同角度的影像重建出可360°旋转的场景。

light stage正是通过构造相机阵列,以多角度、高精度照片,既还原拍摄人物的三维结构,也获取面部的反射信息,从而能在不同环境光下重构人脸模型光效。light stage在不断迭代中解决了技术和工程难点,包括高精度皮肤纹理合成、光照与环境随时统一、更准确快速的采集过程。该系统以高逼真度的3D人脸重建为主,并已经应用于好莱坞电影渲染中。从第一代系统Light Stage 1至今已经升级到Light Stage 6,最新的一代系统命名为Light Stage X。

Light Stage X

Light Stage应用

Light Stage应用

Light Stage可以说是目前世界上可以控制方向、强度、光谱颜色的设备,同时对于设计来说它们也要弄清楚到底反射应该如何运行,以及我们如何根据图形对其进行建模。在Light Stage设备商业应用领域里面来说,在电影和视频领域来说它被应用的最广,因为它可以获取高分辨率的模特的面部,他们可以在一堆不同的面部表情中得到非常高分辨率的人脸模型。

本文《Light stage技术发展介绍》内容由3DCAT实时渲染解决方案提供商整理发布,如需转载,请注明出处及链接:https://www.3dcat.live/share/post-id-12

历代Light Stage研发过程

历代Light Stage研发过程

Light Stage 1 基于结构光的三维重建。整个采集过程耗时约1分钟,采集过程中人脸需要持续保持静止,这对演员保持静止的能力提出了极高的要求。

Light Stage 1

Light Stage 2左图为采集过程中4秒长曝光拍摄图片,右图为Light Stage 2真机系统

Light Stage 2

Light Stage 3并不用于人脸建模,而是构建一个可控的彩色光照平台,从而可以实现人脸实时的Relighting。

Light Stage 4的研发被搁置了,所以取消了Light Stage 4的命名,转而直接研发Light Stage 5

Light Stage 3

Light Stage 5采用与Light Stage 3同样的支撑结构,由于需要拍摄水平和垂直两种偏振状态下的图片,因此每个相机一共需要拍摄8种光照模式下的8张图片。相比之前的Light Stage,整个采集的时间大大缩短。如果采用高速相机可以达到实时采集,如果采用单反相机需要2秒。《本杰明•巴顿》、《蜘蛛侠》等电影特效中得到应用。

Light Stage 5

Light Stage 6是为采集演员全身反射场而设计。在支撑结构的中心有一个旋转平台,该旋转平台为演员有效的表演区域,直径2米。在采集过程中旋转平台会持续旋转,高速相机从而拍摄到不同视点的演员图像,演员需要不断的重复周期性动作,整个采集过程约几分钟。

Light Stage X

最新研发的系统为Light Stage X,小型可移动,专门针对高精度人脸反射场采集建模;其光照亮度、光谱、偏振状态都可以基于USB接口通过电脑编程控制,自动化程度更高,采集时间更短。

Google Lightstage系统

Google Lightstage系统

2019年11月,谷歌发布了人体三维重建和重光照技术的最新进展,并通过论文“The Relightables: Volumetric Performance Capture of Humans with Realistic Relighting”描述了技术实现的细节。从展示效果来看,这一套系统代表了目前本领域的最高水平。

Google Lightstage系统采用了331个可编程光源以及一个90台12.4M像素的工业相机组成的相机阵列。其中,每一个光源包含有63个高亮LED灯珠,分为不同的颜色和不同的发散角,每一个光源由一个带有FPGA的PCB进行控制,可以进行PWM调节。工业相机系统包括一套由42个RGB相机组成的多视角(Multi-view)图像,以及16组,每组有3台相机组成的主动视觉传感器。主动视觉传感器带有一个以VCSEL激光器作为光源的红外投影,2台带有红外滤光片的相机进行三维重建,1台RGB相机作为贴图使用。

Google Lightstage

这样,主动与被动传感器结合使用,以取得最佳的建模效果。相机系统工作在60Hz,相机系统与灯光系统时序匹配,以获取三维模型和相应的材质贴图。这样的系统,每秒钟的数据量达到惊人的63.5GB,为了确保存储,相机均采用PCIe总线,分布式进行存储。值得一提的是,为了减少灯光照射的模式,系统将RGB三个通道分离,分别产生两组渐变光。

人体三维建模和重光照技术是现代信息技术发展的前沿之一,涉及到机器视觉、计算机图形学、人工智能等多个学科。技术的发展与应用,对于虚拟人产业化有至关重要的作用。

本文《Light stage技术发展介绍》内容由3DCAT实时渲染解决方案提供商整理发布,如需转载,请注明出处及链接:https://www.3dcat.live/share/light-stage

标签:

热门标签

3DCAT实时云渲染

更专业的XR实时云渲染解决方案提供商

注册立赠30元无门槛体验券!

热门资讯

最新资讯

400-8037-298

在线咨询致电