浅析Ambisonics技术在VR电影声音创作中的应用
【摘 要】VR电影即虚拟现实电影,是近几年新兴的一种电影模式,本文基于对VR电影声音制作流程的研究,探索其中最为重要的Ambisonics技术的原理、发展以及其在VR电影声音创作中的应用。
【关键词】VR电影;Ambisonics技术;声音创作
中图分类号:J9文献标志码:A? ? ? ? ? ? ? 文章编号:1007-0125(2020)02-0101-01
电影声音的创作从电影诞生初期的默片放映到后来的单声道、双声道、5.1环绕立体声,再到如今的DOLBY ATMOS还音系统,都是为了利用双耳效应及心理声学等原理,在一定程度上还原与设定声场类似的空间听觉感知。近年来新兴的VR电影突破了传统电影空间的限制,有着360°的空间视觉特性,让观众获得虚拟现实空间的沉浸感。因此,VR电影中的声音也应该是一种真正的空间声。它所营造的是以观影者头部为中心的球形声场,根据观影者头部的运动状态,通过实时渲染达到声音随视线方向变化而变化。[1]
Ambisonics(多声道模拟环绕声)是一种捕捉球形(Full-Sphere)声场的三维环绕声技术,研发于20世纪70年代初。该技术能够记录下以听者/话筒为中心的整个球形空间的声场信息,将信息以Ambisonics B-format的音频文件格式进行保存,并且能够基本实现精准重放。[2]Ambisonics技术运用于音频的录音过程中,同时也在后期制作中发挥着关键作用。
一、Ambisonics技术在VR电影同期录音中的应用
VR电影中的声音较之传统声音最大的特点在于它的整个声场是包含360度的三维完整球体。传统的环绕立体声电影需要在同期过程中录制双声道立体声的环境声或是四声道、五声道的环境声铺设在对应的还原音箱中,而VR电影录制的是Ambisonics格式的音频,是包含声场方向信息的编码信号,它不受特定播放系统的限制,可以通过解码在不同数量的扬声器中播放出来。
最常见的Ambisonics是四通道格式,它是由一个具有4个振膜的话筒拾取到同期声场信息进行编码的,称为一阶Ambisonics格式,这种是最常见的Ambisonics格式,其可以在最少的预算下完成VR音频制作。随着话筒振膜数的提高,录制的Ambisonics格式也会随之提高,49个振膜的话筒可以录到6阶的Ambisonics声音。随着阶数的升高,声像在空间中的定位精确度也越来越高。
目前有很多公司已经开发研制了支持Ambisonics格式音频的录音设备,如Rode公司于2018年推出的Ambisonics 话筒NT-SF1,它具有四个心形电容振膜,排列成四面体阵列形式,分别指向左前、左后、右前、右后,所拾取的原始信號叫作A-format。ZOOM F8录音机在升级更新4.0系统以后就可以实现Ambisonics音频格式录音,在系统菜单的输入端口,可以将音频输入格式改为 Ambisonics Mode即可实现录制四通道的poly wav录音格式的A format音频信息。
再用RODE研发的SoundField Plug-in插件进行A-format到B-format格式的转换,从而获得水平及垂直面的三维信息。
在电影同期录音中,利用Ambisonics技术录制的音频信息,可以在后期制作中运用插件进行编辑解码,最终输出有三维信息的声音文件。VR电影在同期录音过程中与传统电影录音的最大区别就在于环境音的录制,因为对白以及音效可以通过后期pan的方式达到声像定位的效果,而环境声是一个环境的整体氛围,浑然一体的环境声效果很难通过后期拼凑出来。因此,同期录音时可利用Ambisonics技术录制含有三维声场信息的环境音用于后期的制作中。
二、Ambisonics技术在VR电影后期中的应用
(一)软件支持
当今电影后期制作的行业软件基本是Protools与Nuendo两个软件。Protools HD12.8.2版本软件中可以建立Ambisonics 音频轨道,将Ambisonics音频格式素材在软件里旋转声场、编辑及定位。对于单声道、双声道、环绕声素材,可用软件自带的Spatial Workstation插件或者Audio Ease的360pan Suite插件将素材转换为Ambisonics格式并对其进行编辑、处理和编码。
Nuendo8软件也可以直接建立Ambisonics音频轨道,当使用单声道、立体声或是环绕声音频文件时,需要让它们通过多声道模拟环绕声音频轨,通过“Multi Panner”(多重声相仪)调整声音的运动模式和自动化控制,并将输出设置为“Ambisonic Mix”总线。在导出时,选择“3rd Order Ambisonics out”(第三级多声道模拟环绕声输出)渲染并导出多声道模拟环绕声格式音频。
对于插入到软件中的点声源,为了能够更好融入到三维声场中,需要利用混响插件制造混响效果,如Wigware的Ambisonics reverb混响插件。该插件运用房间仿真技术,模拟房间空间,基于传统混响插件房间大小、吸声能力、混响时间等参数,附加可以根据声源的位置变化激发空间响应,获得相应的空间效果,更具三维真实感。
(二)监听
目前,为了还原三维球形声场,VR电影声音多采用耳机监听。用于VR声音制作的插件提供了双耳渲染输出,渲染方法是通过加入现有的HRTF函数来仿真,使耳机中的声音重现编辑及混录时声音在三维空间中所处的位置。[3]
一阶的Ambisonics B-format有四个通道,称之为W,X,Y,Z,它们分别代表着全方位声音信息、前后声音信息、左右声音信息以及高度声音信息。在经过HRTF函数仿真编码后,便可以输出左右声道信号进行监听。
用耳机进行监听,可以突破传统还音系统扬声器摆放以及听音环境的限制。利用封闭式耳机可以保真还原三维立体声场的声音信息,搭配头盔,可以实现与观影者视线实时同步的方位声音还原。
目前,VR电影相较于传统电影正处于初期阶段,很多操作系统的功能以及与之相配套的插件亟待开发,Ambisonics技术为VR电影声音的实现提供了十分重要的技术支持,对Ambisonics技术继续深入的研究及相关产品的研发,将会对VR电影声音创作的未来起到至关重要的作用。
参考文献:
[1]张莹,赵雪松.基于Ambisonics的VR电影录音初探[J].现代电影技术,2018(10).
[2]张莹,沈希辰.从Ambisonics到双耳听觉—VR电影声音制作方案研究[J].复旦学报,2017(02).
[3]王珏.VR(虚拟现实)电影声音制作流程分析[J].现代电影技术,2017(01).
基金项目:本文系浙江传媒学院2018年度青年教师科研提升计划项目结项论文,项目编号:ZC18XJ053。
作者简介:孙文欣(1990-),女,汉族,浙江杭州人,浙江传媒学院,研究方向:影视录音。