影视制作中虚拟制作技术的成因研究
刘阳
摘要：随着半导体产业的飞速发展，集成芯片的运算能力常年成倍增加。在影视制作领域，算力进步的春风让更多技术手段成为了可能。目前虚拟制作（Virtual？Production）技术正顺着这股春风逐渐被运用在影视制作领域。本文简述了该技术的原理，并结合技术结构，从LED显示屏、计算机图形算力等角度分析该技术在近年兴起的原因。
关键词：虚拟制作；影视制作；动作捕捉
2019年，在美国洛杉矶会展中心SIGGRAPH会议的一个角落里，EPIC GAMES公司为观众带来了一场虚拟制作技术的首秀。摄影机正在拍摄着一位跨坐在摩托车上的男主角，而在他的身后的却是四块超大的LED屏幕。屏幕中的画面随着摄影机的运动而变化，实时显示出与摄影机透视相匹配的背景场景。摩托车的高光面清楚的映着周围环境的倒影。一旁的工作人员手指一点，场景的光线就由白天切换到了晚上。殊不知一场影视制作领域的革命性技术就此来临。在不久前上映的《曼达洛人》第一季中，有超过一半的镜头使用了该技术进行拍摄。
虚拟制作主要是以实时3D场景渲染为核心，LED墙面显示屏为载体，动态捕捉技术为纽带的新兴影视制作技术。其主要实现的效果为：在硕大的墙面显示屏上实时显示与摄像机运动相匹配的背景画面。该项技术的基本运行流程为：1.动态捕捉设备确定摄影机在空间中的运动方向、角度。2.计算机结合摄影机的镜头焦段、焦点、光圈等参数，实时渲染出与之匹配的3D场景。3.将的3D场景在LED墙面显示屏上显示出来。4.使用摄影机将被摄主体和墙面显示屏上的背景一同拍摄下来。一、虚拟制作技术形成原因分析
（一）LED墙面显示屏技术的进步
在早年，LED墙面显示屏多以单色（红色居多）大间距（像素点间距≥P10mm）为主。以显示飞字为主要目的。随着LED制造水平的发展，以及显示IC主控芯片能力的增强。在单位面积内，可受控的像素数量有了较大的突破。同时，可显示的颜色也从原来的单色逐渐进化成全彩（RGB）。并且在灰阶响应速度、刷新频率、对比度、亮度和色深等方面都有着显著的突破。近年随着制造工艺水平的进步，像素点间距由P10mm逐渐下降至P2.5mm，俗称小间距LED显示屏。单位面积内像素点的间距P值越小其像素密度（Pixels Per Inch）就越高。通俗来说就是画面更清晰。根据2019年TrendForce LED研究（LEDinside）报告，随着高分辨率与高动态对比显示需求爆发，预估2019～2023年小间距LED显示屏（点间距≤P2.5）产值年复合成长率将达27%，而超小间距（点间距≤P1.1）产品由于目前出货基数较低，未来成长动能最大，预估2019～2023年的CAGR为58%。这一报告体现出市场对于高质量小间距LED显示屏产品有着强烈的需求。在高质量LED墙面显示屏基础上，虚拟制作技术中渲染出来的虚拟背景才有显示的载体。
（二）计算机图形处理器运算能力的增加
计算机图形处理器（以下简称GPU）作为计算机图形的计算单元，其能力直接决定了渲染画面中模型细分的精细程度、贴图质量、图像分辨率、帧率等重要指标。随着NVIDIA和AMD全球两大GPU芯片厂商在新产品制程、架构、算法等方面的研究贡献。GPU的算力不断提高。以NVIDIA分别在2014年、2020年推出的旗舰级显卡GTX980和RTX3090为例。GTX 980拥有4.6T Flops/S的单精度浮点运算速度。而6年后的RTX3090取得了近8倍于前者的进步，速度达到了35.7T Flops/S。同时依托于GPU技术的创新，先后涌现出HDR（高动态范围）、DLSS（深度学习超级采样技术）、RTX（光线追踪技术）等新兴处理技术。特别是RTX光线追踪技术的诞生，让GPU从原有的光栅化计算转为光线化计算。画面中的阴影过度更自然、倒影更真实、画面如同让人置身其中一般。这让虚拟制作技术中的渲染内容有了硬件基础。
（三）游戏引擎技术的发展和普及
在拥有了强大硬件计算能力的基础上，软件技术的进步也是不可或缺的因素之一。随着近年来个人电脑的普及，游戏市场的用户基数越来越大。随之推动的即是游戏引擎的开发与运用。例如Unity Technologies公司的Unity系列、EPIC公司的虚幻（Unreal engine）系列以及Crytek公司的Cry Engine系列引擎等。在近年的产品迭代中，他们都展现出了惊人的画面拟真能力。特别是在贴图质量、粒子特效、物理碰撞、毛发模拟和光线追踪等方面。当然游戏引擎和现实世界间“桥梁”的建成让影视行业的从业者发现了一个全新的拍摄“影棚”。以虚幻4引擎为例，DMX512信号可以经由引擎从电脑输出到影视灯具，从而控制真实空间中的照明强度、方向、颜色。更是有时间码同步等影视专业功能。再加上，各大引擎的个人版本多以免费的形式开放下载，这无疑大大降低了游戏引擎的学习成本。让更多的影视制作人员了解和使用虚拟制作技术进行创作。
（四）运动捕捉技术的发展和普及
在虚拟制作中另一项非常重要的环节就是确定摄影机在空间中的位置以及追踪其运动。早在2000年的动画电影《辛巴达历险记》（Sinbad： Beyond the Veil of Mists）就已经开始运用该技术来捕捉演员的动作，并将其动作映射到动画的虚拟人物上。在此之后的20年间，运动捕捉技术得到了飞跃性的发展。逐渐形成了以红外光学捕捉为主要技术手段的主/被动捕捉系统。目前在业内以Vicon、OptiTrack和Mo-Sys的产品为主。其延迟和误差分别在4.2ms和0.4mm左右。主要原理为1、在需要运动捕捉的主体上粘贴可反射红外线的反射点。2、发射红外线。3、通过多个摄像头拍摄红外线的反射图像，结合多角度图像分析，最终求出物体在空间中的坐标和运动轨迹。该项技術已经广泛运用于影视特效领域。然而这类系统价格昂贵，以OptiTrack公司的8支prime-13系统为例。其性能可在3m*3m的面积内追踪1个物体，售价为22万人民币。但是有赖于VR产品在消费级市场的发力。以2015年HTC VIVE为代表的Lighthouse室内定位技术将运动捕捉彻底的平民化。与前面提到的OptiTrack产品原理不同，Lighthouse主要原理是从基站发出特定角度和频率的红外线，结合追踪器上不同立面传感器接收到红外线的时间差异，最终计算出空间坐标和运动轨迹。因为其销量大，设计原理简单，省去了摄像头和图像分析环节，所以单体成本较低。HTC VIVE1.0可在3.5m*3.5m的面积内追踪1个物体，其价格为5000元人民币。而且它也有着较低的延迟（10ms）和不错的追踪精度（误差在2mm左右）。这让越来越多的人可以接触到原本动辄几十万的运动捕捉技术。降低了虚拟制作的研发和使用门槛。二、影视制作行业的主观要求、探索
虚拟制作技术的诸多优点能够切实的帮助到影视制作工作。在影视制作中特效（VFX）的运用是非常普遍的。但是传统的绿幕特效方案因为其“拍摄-剪辑-特效”的制作流程。无法让导演在拍摄现场看到特效的效果，而只能凭空想象。这让前期拍摄的容错率变得很低。有时到特效制作阶段才发现拍摄中的一些问题，成片质量不是很理想。而虚拟制作“拍即所得”的技术特点彻底颠覆了这一情况。“特效-拍摄-剪辑”的制作流程让导演在拍摄现场就能看到成片的效果，从而更好的把握影片的质量。同样因为制作流程的改变，虚拟制作技术将影视制作的成本大大降低。无需长时间的后期制作、特效合成步骤，缩短了制作周期。因为LED墙面可以显示出任意场景，这就免去了一些场景摄制组出外景的必要，减少转场时间，进一步降低了拍摄预算。上一场戏在非洲大草原探险，下一场戏在东京街头飙车，仅仅需要动一动键盘和更换影棚内的前景即可在两个场景间切换。也因为这一特性，显著降低了影视制作中美术制景的工作难度和成本。以电影《八佰》为例，光场景投资就高达数亿元人民币。如果转为使用虚拟制作技术这笔制景费用将会大大降低。三、结语
目前，虽然虚拟制作技术为影视制作带来了诸多便利，但该技术尚处于起步阶段，仍有较多的问题有待解决。如运动捕捉-渲染-显示的延迟问题；与演员产生交互的道具、地面无法虚拟化的问题；LED显示屏成本较高的问题等。但是相信在未来透明显示屏、人工智能等技术的加持下虚拟制作技术的缺点将会被逐步解决。影视制作行业将迎来一次发展的新契机。
