虚拟影像中管弦乐与数字化设计结合分析
冯曦 张晶晶
摘 要：目前，在众多的电影电视及多媒体舞台表演中，虚拟影像与管弦乐的组合是视听空间的主要形态。虚拟影像的技术与艺术想象激发了传统管弦乐创作方式与音响观念的变革，管弦乐得以在声响层次、声场空间、沉浸式审美体验上展现其前所未有的改变。本文将从这3个方面具体分析数字媒介中传统管弦乐审美形态的变化及其影响。
关键词：虚拟影像;管弦乐;音效;声场空间;沉浸
虚拟影像是指完全以计算机视频算法处理制作而成的数字化电影图像。自计算机技术应用于电影领域近半个世纪以来，虚拟影像以其梦境般的视觉奇观不断刷新观众的幻想边界，以强劲势头活跃于电影媒体;同时也愈加广泛地应用于网络、游戏等新媒体以及现代歌舞剧等需要多媒体舞台布景的场合。当下，在众多的商业影视作品中，虚拟影像与管弦乐的组合成为视听联觉创作的主要结构形式。在数字影像幻境的创造过程中，管弦乐配乐的听觉联动，虽然保持了固有的创作思维、织体结构和音乐语言形态，但在数字化革命的浪潮中也孕育出独特的艺术观念、审美趣味与阐释方式。
如果将传统电影配乐中管弦乐队真实录制、原声回放的电影音乐形式称为传统管弦配乐，那么，传统管弦配乐时代努力创造的音画统一关系在数字技术的推动下被悄然改变。音乐与音效创造性地组合与叠加，声音的潜质与天马行空的虚拟影像不谋而合。管弦乐得以在声响层次、声场空间、沉浸式体验这3个方面上展现出其前所未有的审美创造能力。
1 乐中的音响——数字音效与传统管弦乐的结合
管弦乐与数字音效的结合是数字虚拟空间音画结合的大胆尝试。这里的数字音效特指经由计算机软件算法生成及效果处理后而得到的音响。数字音效的产生源于虚拟影像的需求，它是塑造虚拟物象真实性的利器。虚拟影像是设计者借助计算机创造出的虚拟物象，它一方面展示超越真实的各种奇特幻象，呈现高度的假定性，另一方面又描摹真实物象，努力创造虚拟的真实。“数字化的电影仍然是假定性和逼真性相互依存和相互制約的，只不过没有物质基础的拟像反倒比传统影像显得更加真实。”[1]从某种意义上来说，音乐也具有高度的假定性，“音乐的声音是非自然性的，是通过人的思维活动创造出来的音响，是一种创造性的音响”。[2]实际上，超越自然音响的音乐是人类在听觉上对虚拟空间描绘的产物，是人类思维在听觉上的投射物，与视觉上的虚拟影像产生联觉效应。数字音效赋予虚拟影像真实性，但与传统影像声音不同的是，数字音效不是对现实音响的拷贝，而是一种被高度建构的音响。它是经由计算机数字合成器发出的电子虚拟声，或是自然音响经过复杂的数字处理后的音响。从这个角度来说，数字音效也是一种非自然性的、创造性的音响。两者的叠加即能引发人们在听觉上产生强烈的虚拟体验。因此，管弦乐与数字音效的结合是数字视听虚拟技术发展的必然。
1.1 情景渲染的同步整合
情景渲染的同步整合是指在特定的视觉现象出现之时，声音段落中一个音乐事件与一个音效事件为渲染某种情绪而交汇整合同步出现。自百年前有声电影工业起步，管弦乐即以丰富的音响和情感表现成为影视艺术情景渲染的有力工具，电影影像的管弦乐配乐传统沿袭至今，并依然是声音空间的主要情感传达载体。数字技术应用之前，电影音效主要致力于对现实音响的捕捉和还原，音乐与音效之间缺少同步交汇。数字技术的运用大大提高了音效的音色合成与处理能力。设计者可以通过加工、叠置、重新混录或剪辑等手段，赋予音效更多的内涵与情感，在音响的真实性之外投射音乐的表演性，使音效具备情景渲染的能力。“如果电影中复现出来的声音和现实中的情况完全一样，观众就会觉得这些声音没有那么真实、有效、恰当。如果想达到这种要求，电影声音就要渲染出与之相联系的感觉。”[3]虚拟影像容纳了各种现实场景的梦境视觉，为管弦乐与数字音效的情感叠合创造了优越的条件。
管弦乐与数字音效的同步整合有3种类型。
（1）重音式同步渲染。重音式是常见的音效与音乐的同步形式，表现为音效的关键音落在音乐的节拍重音点上，形成重音的重合。其视觉上同步点一般为视觉冲击力强的动作、移动场景或高格镜头之处。重音式同步使音效与管弦配乐产生准时、瞬时和突发的一致性，突出了叙事情节的关键基础。电影《海王》大量使用了这一重音同步渲染方式。如开场海洋馆里小海王亚瑟遭到同伴挑衅殴打时，背后游泳的鲨鱼突然面向挑衅者猛烈地撞击玻璃，一声沉闷有力的撞击声以重音鼓点形式正式托出管弦配乐，伴随第三声撞击声，配乐进入第二个乐句的演奏，渐入高潮。影片中众多的搏斗场景描写大量使用了配乐与音效在重音点处叠加的形式。如配乐片段结束时的重音与高崖跳水时的电子音效或海底飞行器的引擎启动声同时产生，以光束爆射音效重音开启新配乐段落，以重音音效作为配乐转折段落的转场衔接。这一方式增强了音画结合的紧密度，让人产生音画一体的幻觉，同时也有助于通过视听联觉创造刺激点，不断出现逐级增强的刺激，使得观众的情绪被紧密吸引和跟随，达到导演预期的目的。
（2）错位式同步渲染。错位式同步是指音乐与音效互为节奏、先后交错出现形成一个新的节奏型。它打破原有的音乐节奏惯性，通过声音音色与节奏的变化形成配乐的“离调”效果。这一渲染方式对音画时间同步的精确点要求较高，需要音效设计者与作曲家紧密配合。如电影《创·战纪》中主人公萨姆深入虎穴寻找父亲主光盘的下落，结果陷入被出卖混战的局面，命悬一线之际，萨姆的父亲及时出现。电子舞曲风格的配乐被一声浑厚有力的降调低音截断，此音效是父亲威严与力量的代表。在降调低音之后，随着父亲的起身与镜头的上移，音效转为迅速升调的重音，并迅速开启新的电子配乐模式，节奏的起伏变化在电子音效的起落下转换，形成独特的听觉效果。
（3）标点式同步渲染。标点式同步将音效作为一个段落结束时一种标点的形式来与音乐配合，画面情节段落的管弦配乐与音效轨道看似分离，直到段落结束时汇聚。它使音乐与音效对画面的渲染更具重量与厚度。如在电影《时间规划局》中，男女主角共同经历的紧张段落均是以管弦乐推进情绪气氛。管弦乐通过不断反复的节奏型，渐次递进的旋律音高，以及密集动荡的鼓点来逐渐拉升观众的情绪饱和度。在危急的情节终于落幕，观众期待管弦乐的结束音之时，音乐在声音空间中却突然消失，而被一个强有力的音效取而代之，给这一段落加上了句号。标点式的音效代替了常规音乐的和弦式结束音，创造性地结束一个剧情段落。配乐与音效标点式的同步创造出特殊的声画同步效果，它打破了管弦乐叙事常规的终止模式，使影像剧情节点的戏剧性得以夸大。
1.2 音色边界的模糊化
数字技术使管弦乐与音效的声音在音色的融合度上提升，尤其是电子音色的产生让管弦乐与音效的边界日益模糊化。随着数字技术的发展，影视管弦乐的创作愈来愈多地依赖计算机音频工作站完成，可在工作站平台中使用的管弦乐数字采样音色逼真细腻、体量庞大，为作曲家提供了有力的音色素材支持。较逼真地采样音色，在计算机中依然可以进行电子化处理，这样的处理客观上推进了与电子音效的融合。如电影《盗梦空间》，影片创造了管弦乐配乐与电子音响互相融合的优秀范例。管弦乐配乐大量出现在人物制造的梦境场景中，为了区分梦境与现实，突出梦中情景的玄幻与沉重，作曲家在利用管弦乐队发挥浑厚宏阔音响的同时，又加入大量厚重的电子低音或金属质感的空阔音效。为了增强音色的融合度，管弦乐队的低音声部与高音声部被强化，部分乐器予以适度的空间音效果的处理，使音色的融合更为自然流畅。同时，作曲家在创作手法上也突破线性旋律表现的思维，乐队主要以长音线条勾勒和弦变化。即使在表达主人公对爱人和家人的思念之情时，作曲家也取消了线性旋律的歌咏，转而通过大提琴八分音符节奏的演奏烘托情感的涌动，巧妙减小了音效点状声音与管弦乐整体音响之间的差异。
与此同时，工作站中的数字合成器音色丰富多样，无形中为传统管弦乐的声音提供了充裕的音色补充。一些作曲家在传统管弦乐配器中根据部分虚拟影像的需求会适当地加入电子合成器音色，以增强虚拟场景中光晕、机械、电子或金属质感的表现。如影片《创·战纪》，故事的主要背景是虚拟电子网络世界，由3D技术创造的电子空间由各种电子高光的场景模型构成，管弦乐配乐在基本配器基础上，加入大量电子琶音音色与厚重的电子低音或鼓点来配合画面中的数字模拟世界。
2 虚拟的声音空间——数字声音技术下的再造声场
“空间”这一词在声音研究领域被学者广泛提及。著名学者维列克对听觉空间的理解：“我们听音的时候，即使只通过听觉，也能在某种程度上感觉音源体的方向与距离等，可以把这样建立起来的空间称作为听觉空间。”[4]这里，维列克强调了人对声音信息的判断是听觉空间建立的基础，强调人耳对声源方向与距离的感知是构建听觉空间的核心因素。在现实环境中，人耳对声源方向与距离的感知明显受制于所处的客观声场环境。例如，在剧场听交响乐，虽然观众身处于同一个物理空间环境，但因座位前后上下的差异，观众的听觉空间各有不同。座位靠近舞台的观众声源分辨清晰，能获取更多的声音细节;但因位置距離较近，声源的直达声过多，空间反射声较少，距离感知较弱，建立的听觉空间较小。座位远一些的观众耳朵接收的直达声少，反射声多;对声源的辨别能力较弱，距离感知明显，建立的听觉空间较大。如将剧场再分大、中、小不同类型，听觉空间大小的反差将更为明显。由此可见，在现实环境中，人们听觉空间的形态在很大程度上受客观声场的大小、结构以及噪音环境等因素的限制。然而，在音乐会、歌剧、舞台剧或电影等涵盖声音表现领域的表演环境中，不同的听觉空间对观众的听觉审美至关重要。在狭窄局促的空间，声音显得密集喧嚣，在过大的空间，声音混响加大，高频衰减而含混不清，质感大打折扣。良好的听觉空间是距离声源有一定位置、能清晰分辨声源位置、能获取良好直达声与反射声比例的空间。在这样的听觉空间，观众才能获得饱满、均衡、动态清晰的声音，才能清晰地体会到艺术家表演或音乐作品的声音魅力。
20世纪80年代以来的数字音频技术，将录音工艺推向了崭新的阶段。在数字技术不断发展的过程中，音频信号的采集在信噪比、失真度、动态范围和频响等技术指标上明显改善。计算机音频工作站实现了大批量多轨道录音的可能，使声音的编辑、处理与合成缩混更加直观便捷。数字环绕立体声和全景声技术不仅能再现自然声场，也能基于声源艺术化地再造一个声场。数字录音技术在传统管弦乐上的应用，使管弦乐作品的音响呈现鲜明的再造声场形态。“在录音与重放之前，一首管弦乐作品本身就是一个完整的艺术品，具有完整的音响形式与艺术形象，录音只是对它的重现和记录。但在数字多轨录音中则不然，因为是分轨录制每一声部，在合成之前并不存在一个具有完整音响形式的艺术品。只有在经过录音师的缩混之后，一个具备完整音响形式和艺术形象的作品才真正产生。是录音赋予它赖以存在的音质、声像、声场信息等一切物质要素，包括它的形象。”[5]也就是说，录音师可根据声源的基础声音，对细节乐器和整体声响进行音色、音质、方位和距离的调控，创造所需声场空间。
如电影《三生三世十里桃花》的配乐，在西方管弦乐配器的基础上加入了部分中国民族乐器。为了表现出美轮美奂的虚拟影像时空，管弦乐队在演奏描绘仙境场景的旋律之外，还需要借助录音技术所创造的特殊声场还原播放，才能创造出“此曲只应天上有，人间能得几回闻”的听觉效果。录音师利用混响、均衡和声道技术适当改造管弦配乐的真实音响，根据情节的需求调节音响中真实和虚拟成分的比例，为观众创造美化虚无的声音空间。
3 沉浸性聆听
沉浸性指将观众全身心投入于计算机生成的虚拟环境中的能力。观众在此环境中会觉得自己是这个虚拟世界的一部分，而不是一个旁观者，所见所闻完全与真实环境相同。沉浸性是目前数字虚拟技术发展的重要特征，也是视听技术研究与应用的热点。目前，已进行商业推广并带来强烈沉浸式体验的虚拟技术有VR、AR、MR、全景声技术及3D音频技术。虚拟视听技术已紧密结合形成虚拟现实系统，主要应用于电影、游戏、剧场等文化娱乐领域。虚拟现实系统打破了信息平面展示的模式，可以向体验者提供360度的完全视角、细腻逼真的立体画面以及三维立体多方位的音响。体验者进入虚拟现实中后，可以对所在环境进行一定程度的自由探索，场景画面与声音随之发生改变，观众对剧情、环境和声音的沉浸感体验焕然一新。
全景声技术或3D音频技术，为传统管弦乐的审美与传播带来了更多的沉浸性，使得沉浸性的审美逐渐成为一种普遍现象。虚拟现实系统中，传统管弦乐的录制、缩混与输出重放虽然要经过编码、声场成像、解码等复杂流程，但最终观众可以获得精确还原的声场空间、清晰的乐器声源定位与均衡分明的声部层次，如置身于交响乐队之中。对于观众来说，音乐的接受不再只是单纯的音乐内容形态的接受，更是对音响沉浸感的接受。清晰饱满、层次分明的沉浸式音响，能够激发听众强烈的在场感，直接刺激听众的生理反应，加快听众对音乐内容的意义认知。如全息声电影以及一些虚拟影像在舞台表演空间的应用，如上海四维音乐工程设计公司将全息声技术引入上海北外滩交响音乐会，对音乐表演现场进行了沉浸式的全息声音响设计。从声音采样制作、现场拾音到现场扩声，对音乐内容及音效内容的呈现进行三维立体的创作，突破音乐还放的平面状态，让观众体验身临其境的全息感官享受。
4 结语
在“艺术+设计+科技”的时代大潮中，传统音乐艺术形式的改变不可避免。传统管弦乐已经历三百余年音乐厅式的创作、表演与传播，今日逐渐走向与其他艺术形式的融合。虚拟影像与传统管弦乐的结合是技术发展与艺术融合的必然结果，在结合过程中逐渐形成鲜明的视听审美形态，如音效层次的增加、立体化空间的还放等。随着技术的进步，管弦乐与虚拟影像的结合将有更多的创新点需要研究与实验。
参考文献：
[1] 杨新宇，高太梅.高科技对电影美学的影响与冲击[J].上海大学学报，2010（06）：61.
[2] 王次炤.音乐美学[M].北京：高等教育出版社，1994：11.
[3] 米歇尔·希翁（法）.视听：幻觉的构建[M].黄英侠，译.北京：北京联合出版社公司，2014：214.
[4] 渡边護（日）.音乐美的构成[M].张前，译.北京：人民音乐出版社，1996：72.
[5] 伍建阳.再现艺术声场与再造艺术声场[J].现代传播-北京广播学院学报，1997（02）：31.
作者简介：冯曦（1980—），男，上海人，南京艺术学院传媒学院博士研究生、副教授，中国传媒大学南广学院录音教研室主任、副教授，研究方向：数字媒体艺术，录音艺术。
张晶晶（1982—），女，江苏连云港人，中国传媒大学南广学院副教授，研究方向：影视声音设计，录音艺术。
