5G与人工智能技术赋能下VR图书的内容设计研究

    

    【摘要】? 作为创新VR出版产业形态的新动力,5G与人工智能技术赋能将进一步推动VR图书向纵深化、精细化、多元化、大众化方向发展。文章以5G与人工智能技术赋能为切入点,对VR图书的内容设计予以研究,指出新时期VR图书的内容设计应凸显沉浸式、交互性、构想化等特征,“以内容景观为中心”的场景式设计、“以用户体验为中心”的沉浸式设计为原则,以及时有效的多感官叙事设计和全面立体的具身式交互设计为方法,才能在新技术思维下实现创新发展。

    【关? 键? 词】5G;人工智能;技术赋能;VR图书;内容设计

    【作者单位】陈宏伟,河北美术学院国际教育学院。

    【中图分类号】G212【文献标识码】A 【DOI】10.16491/j.cnki.cn45-1216/g2.2020.12.011

    以虚拟现实和基因工程为代表的第四次工业革命的到来,让人类信息传播方式、内容、渠道、效果都发生了翻天覆地的变化。德国哲学家卡尔·雅斯贝斯曾在《时代的精神状况》一书中表示:“每一个新的一代都是如此,他们面对毁灭的前景战栗不已,同时却把较早的时期看作黄金时代。” [1]自2016年VR元年开始,虚拟现实技术逐渐应用在出版领域,VR图书以沉浸式体验设计刷新了读者对图书行业的认知,重新定义了出版行业的发展格局。随着2019年6月6日5G商用牌照的发放,5G将以强大的融合性再次激发原有技术的无限活力,并搭配大数据、云计算、物联网等新兴科技,重新定义图书内容生产、传播、呈现的方式,给出版业发展带来机遇和挑战。目前,学界、业界对VR图书的研究关注点主要放在其服务功能上,较少从时代环境的技术赋能特性对VR图书内容设计带来的影响展开深入研究,本文尝试从这个角度进行分析研究。

    一、5G与人工智能技术对VR图书的影响

    近年来,移动通信技术与人工智能的迅速发展让VR产业在影视、新闻、出版、游戏等领域的作用愈发突出。2019年5G商用牌照的下发进一步加剧了这一趋势, “VR+出版”成为新时期行业转型升级的中坚力量,其中,少儿类、教育类、科技类图书出版成为VR图书出版的热门。从技术特性看,5G的增强型移动带宽(eMBB)、低时延高可靠通信(uRLLC)以及海量低功耗连接(mMTC)三大特点对VR出版的发展起到至关重要的作用[2]。

    从宏观角度看,5G与人工智能是创新VR出版产业形态的核心动力。从印刷文本到数字出版,再到沉浸出版,出版产业新形态的诞生离不开技术的加持。张大伟认为,出版产业新形态的诞生前提是产业融合,而产业融合的前提则是“新技术思维”的延伸与拓展[3]。在5G时代,出版产业在高速率、低时延、低成本等技术思维下将实现真正的媒介融合,即出版与教育、文化、游戏等各产业融合。此外,5G与人工智能的融合应用还将进一步促进出版产业的区域联盟协同,在出版资源定位、跨区域(跨界)联合出版、远程出版、用户驱动出版等业务工作上实现融合创新,甚至在5G的独立网络切片技术下实现多用户、多业务的隔离发展与个性服务,这将再次激发VR行业的发展潜力和服务效力,引领出版业进入新的发展阶段。

    从微观角度看,5G赋能人工智能将进一步突破技术瓶颈,推进VR图书纵深化、精细化、多元化、大众化发展。5G作为一项基础性技术,其能优化其他前沿技术的运行环境,以技术杂交或叠加的方式为图书出版带来无限动力。在5G强大的赋能作用下,VR图书的场景构建、用户设计、交互方式与沉浸体验将大幅提升,甚至将具有高度交互性的虚拟影像和真实影像实时嵌入内容场景,创造超现实的景观世界,让读者在真实世界与虚拟世界自由穿梭,随时随地获得沉浸体验。此外,5G将极大解决VR图书在带宽率、延迟等方面的问题,以超清全景互动的呈现方式为用户提供多元化智慧阅读服务,同时在低时延、万物互联的技术特性下大幅降低制作成本,让VR图书从过去的小众化、高成本出版类型演变为大众化的常态出版物,促进出版业创新发展。

    二、5G与人工智能技术赋能下VR图书的内容设计原则

    1.“以内容景观为中心”的场景式设计原则

    从“以内容景观为中心”的场景式设计原则看,5G与人工智能技术赋能下的VR图书在虚拟现实建模层面将获得巨幅提升,5G的高速率、低时延、泛在网、万物互联等特性将满足二维、三维以及多媒体与动态技术的无缝衔接和大规模传输需求,人工智能技术的应用也将实现VR图书内容与虚拟环境的高效交互,大幅提升临场感。因此,无论是VR图书的数字资源,还是非数字资源,都将在技术赋能下全方位构建内容景观,并栩栩如生地实现多场景构建,达到“人”“物”交互的目的。这对丰富VR图书内容资源库和扩大景观范畴有重要作用,是VR图书实现多场景服务的关键。以Spiraloid Workshop公司推出的全球首部VR交互图书《纳米机器人:事件一》为例,该作品将漫画与AR/VR技术相结合,让读者在虚拟场景中观看传统漫画,甚至配合3D版人物和情节阅读体验强化内容景观。但由于受到技术成本限制,该图书并未实现多场景服务。在5G与人工智能等多重技术融合应用下,VR图书的场景设计将呈现多模态趋势,如5G的eMBB、mMTC、uRLLC等前沿技术将对VR图书的多场景内容景观设计提供更稳定、更全面、更专业的技术支持,人工智能技术将不断强化VR圖书的内容景观,赋予VR图书无穷魅力。

    2.“以用户体验为中心”的沉浸式设计原则

    “以用户体验为中心”的沉浸式设计,关键在于利用技术赋能让用户实现身心沉浸,这种技术与理念杂交在5G与人工智能的融合应用下将以高度交互性的虚拟影像、真实影像即时嵌入客观世界的真实生活场景中,不断创造令人叹为观止的超现实虚拟世界,甚至在技术的进一步发展后实现用户在真实世界与虚拟世界的自由切换。2020年4月23日举办的中国数字阅读云上大会,以“5G+新阅读/新体验”为方向,以云上VR书店突破物理空间限制,全景式还原线下场景,让用户通过移动智能手机便可身临书店,开启融合3D动画、视频音频、环绕图文等多形式沉浸阅读体验之旅。浙江摄影出版社推出的《诗意栖居——在“浙”里看见美丽中国》,在5G、人工智能、虚拟现实等技术的支撑下实现了全景式展现浙江“千万工程”实践的壮阔图景,赋予用户多角度、深层次、真实在场感受社会发展的新奇体验,并在此基础上借助“5G+VR”技术,以云讲解、导览强化用户沉浸感,在超高清视频、音频构建的无限趋于真实环境的虚拟空间中不断满足用户的信息需求,实现了VR图书以全新交互的姿态为用户带来多感官、实时互动的沉浸体验目标。

    三、5G与人工智能技术赋能下VR图书的内容设计特征

    1.沉浸式

    图书内容设计的最佳目的是满足用户的沉浸体验需求。传统的视听觉文本内容和音视频内容往往由于他者的参与而变成一种公众行为,用户难以获得沉浸体验。VR图书的内容设计以立体化场景为主,其阅读具备直接性、个人性、临场感、参与性等特征,因而能满足用户的沉浸需求。沉浸是一种轻松、自由的阅读状态,但现阶段的VR图书需要借助烦琐的技术设备营造沉浸场景,甚至在体验过程中给用户带来紧张感、束缚感。此外,技术的有限表达和成本受限也导致VR图书的内容设计想象难以完全发挥[4]。2019年中国图书进出口(集团)总公司与中国联通在北京国际图书博览会联手打造5G新阅读展区,在5G与人工智能等多重技术赋能下,“万书互联、人书互动、纸电融合、人人阅读”的智慧阅读场景已成为现实,低时延、万物互联的技术创新能缓和技术与用户之间的矛盾,在提升VR图书内容沉浸感的同时,降低技术与成本带来的双重限制,以更加优质的内容场景和智慧服务为用户带来前所未有的阅读体验,使沉浸式阅读成为一种常态。

    2.交互性

    图书内容设计的核心目的是向用户提供阅读服务。5G与人工智能技术赋能下的VR图书内容设计将区别于传统图书设计的单向度、静态阅读形式,以交互性、动态阅读形式促进用户与VR图书之间的及时互动。5G的高速率特性将突破以往的技术限制,让VR图书在技术赋能下实现内容的可视化场景构建,用户不再局限于视觉阅读,而是以多感官体验与图书内容进行虚拟互动,甚至在低时延的技术下实现“所想即所得”。用户可以从以往的视觉想象式阅读转变为立体化具身式阅读,更在以人工智能、虚拟现实等技术为支撑的智慧设备中获得沉浸体验,增加VR图书的内容趣味性和临场感。如咪咕中信云上VR书店,不仅配备了智慧VR导购,还在5G、人工智能的基础上融合了3D动画、短视频、24bit至臻音质音频等多重富媒体导读形式,全方位展示中国移动“5G+VR”技术如何打破虚拟与实体、线上和线下、阅读媒介与场景边界,强化读者与云书店,甚至是VR图书内容场景的即时互动。这种交互式全息阅读在技术与沉浸内容的双轮驱动下将不断与读者进一步交互,是5G、人工智能等前沿技术融入出版的直接体现。

    3.构想化

    5G和人工智能技术的应用,将为人类认识、探索世界提供前所未有的技术支撑和视角,万物互联和虚拟互动让读者可以借助阅读VR图书跨越时间和空间的界限,以身体在场式的多感官体验去获取知识、享受乐趣,甚至身临其境地融入以往难以企及的微观世界。于准认为,VR技术在出版行业的应用为多场景建构提供了可能,但技术的作用不仅是传播信息,而且是引导读者不断产生新的联想或想象,充分运用自身的创造性思维弥补图书内容的“空白”和“缺失”[5]。2018年2月,捷克团队Achtung 4K和歌德学院联手将卡夫卡小说《变形记》进行了VR改编,让读者可以化身为主人公甲壳虫体验书中的任意内容,如甲壳摩擦声、妹妹的小提琴声、家人态度的转变等,并以强烈的情绪渲染和在场式体验获得阅读满足,达到启发构想的目的。在5G与人工智能技术赋能下,4K/8K等超高清互动视频作为VR图书的核心应用场景之一,将对用户产生巨大影响。5G良好的承载、传输力和人工智能强大的服务力将实时为用户展示多场景内容,为读者对VR图书内容的理解、想象以及更深层次的感悟提供可能。

    四、5G与人工智能技术赋能下VR图书的内容设计方法

    1.及时有效的多感官叙事设计

    人的视觉、听觉、触觉、嗅觉、味觉是产生沉浸感的主要通道。在5G与人工智能等技术赋能下,VR图书的内容设计要不断以新技术开发新体验,创新多感官叙事设计,促使用户获得身心沉浸体验。首先,以5G的高速率技术特色和人工智能的多场景建构功能进行视觉叙事设计,即通过各种光线、大小、色彩形状等超真实设计让VR图书的内容形成全面、立体的真实景观,达到给予用户视觉震撼的目的。如2020年中国数字阅读云大会展出的各类VR图书,便有效利用了4K/8K超高清视频的高效传输,营造虚实相生的拟态景观,通过云上VR书店、云上博物馆、云上IP馆以及5G阅读体验区等板块,让用户不断与内容场景虚拟互动。其次,根据5G的uRLLC情境和人工智能的3D建模增强音效代入感,让用户在VR图书的内容场景中聆听各种真实世界的声音,激发用户想象力,在全方位强效的语音穿透力下衬托内容情节、塑造场景氛围,达到让用户沉浸体验的目的。如 “一老一少”中图·社区智慧书房活动以5G、人工智能等多维技术提升音效代入感,让用户通过智能设备获得更为丰富的阅读体验。最后,利用5G的万物互联和人工智能的类真实模拟设计VR图书的类触觉装置,通过低时延和即时互动让用户在场景建構和情节发展过程中及时有效地产生真实的触觉、味觉、嗅觉感受,无限延伸VR图书内容的叙事维度。如2017年戛纳电影节上映的《肉与沙》影片,不仅有效利用了VR技术,还以围墙、砂石、铁锈等实体装置设计为用户打造真实体验环境,让用户利用视听觉、类触觉产生强烈的身临其境之感。

    2.全面立体的具身式交互设计

    全面立体的具身式交互设计是为了促进VR图书实现从想象式到具身式的转变,让用户在产生沉浸体验后能有效与VR图书内容场景构建的虚拟世界保持自由交互,消除阅读隔阂,让沉浸成为一种常态。全面立体的具身式交互设计要注重利用5G对各类技术的运行环境优化特性,增强人工智能、大数据、云计算、物联网等技术性能,使其全方位对VR图书内容的场景切换、情境控制、道具组合、知识延伸等方面进行有机组合。在2019年北京国际图书博览会上,中国图书进出口(集团)总公司和中国联通协作开发的5G新阅读展区便利用了新兴技术赋能,在促使VR图书内容服务与用户阅读需求实现完美契合的基础上,满足大规模内容场景间信息过渡、数据传输等需要,并根据独立网络切片技术对各个内容场景施以区隔和保护,最大限度地延展VR图书智慧阅读服务功能。展区还借助5G的万物互联和人工智能的超真实场景构建设置 “5G全息舞台”“中图数字化转型成果”“POD按需印刷与智慧农家书屋”“智慧社区书房”四大体验板块,让VR图书内容的各个构成元素实现同时在线,打破传统阅读枯燥乏味的学习过程,将VR图书的每一个内容场景都实现知识增值。随着人工智能技术的不断发展,各类虚拟或实体智能机器人将出现在VR图书的内容设计中,并通过5G的高频和多天线技术联合大数据、云计算、物联网等实现用户个性化精准服务,在让用户实现具身式沉浸体验的同时,强化VR图书的灵活性、差异化阅读服务能力,提升其整体服务质量。

    |参考文献|

    [1] [德]卡尔·雅斯贝斯. 时代的精神状况[M]. 王德峰,译. 上海:上海译文出版社,2013.

    [2] 杜都,赖雪梅. 5G时代出版新业态与新模式探析[J]. 出版广角,2019(17):15-17.

    [3] 张大伟. 5G时代出版业的发展趋势及制度创新:技术与制度互动的视角[J]. 编辑学刊,2020(1):6-11.

    [4] 吴钊,赵伦. 论沉浸式出版[J]. 现代传播(中国传媒大学学报),2019(3):156-159.

    [5] 于准. 5G移动通信视域下的“VR+文学”出版[J]. 中国编辑,2019(4):37-42.