基于AR技术的非遗产品交互媒体技术研究
陈辉
摘 要： AR技术主要将用户周围的现实情况跟计算机产生的虚拟场景有机融合在一起，增强用户对于真实存在现实的进一步认识，AR技术让情景更加逼真，利用触觉、听觉、视觉等交互行为，获得环境和用户的自然交互，能够被普遍应用在文化、娱乐、教育、医疗、工业等行业，因此，对于AR技术的研究，对于推动各行各业的发展非常有意义。针对此现状，在分析AR技术的特点、应用领域以及技术的成熟度的基础上，对“平度大泽山天柱山魏碑”的核心内容及开发现状进行分析，提出AR技术的“平度大泽山天柱山魏碑”开发技术路线，技术实现，交互性多媒体开发策略。该研究对于AR技术的进一步应用有积极意义。
关键词： AR技术； 非遗产品； 交互媒体； 虚拟场景
中图分类号： TN911?34 文献标识码： A 文章编号： 1004?373X（2017）22?0116?03
Abstract： The AR technology mainly makes users′ surrounding circumstances organically fused with the virtual scenes produced by computers to enhance users′ understanding of the realistic existence. The AR technology makes the scene seem more vivid， by which natural interaction between users and environment can be obtained by means of interactive behaviors such as touch， hearing and vision. The AR technology can be widely applied in the fields of culture， entertainment， education， medicine and industry. Therefore， research on the AR technology has great significance in promoting the development of all walks of life. In view of this， the core content and development situation of "Dazeshan Tianzhu stela of Northern Wei dynasty in Pingdu" were analyzed after analyzing the characteristics， application field and maturity of the AR technology. A technology development route， technology realization， and development strategy of interactive multimedia of "Dazeshan Tianzhu stela of Northern Wei dynasty in Pingdu" are proposed based on the AR technology. The research has positive significance for further application of the AR technology.
Keywords： AR technology； non?heritage product； interactive media； virtual scene
0 引 言
AR是VR一个非常重要的分支部分。AR叠加虚拟信息到用户的真实情景中，呈现出人们需要的信息在真实环境中以交互和实时的方式，提高用户的感知能力。AR不仅将VR的基本特点继承了，还注重协调和增强真实场景，所以其具有比VR应用更加广泛的领域。当前，已经普遍应用AR技术。本文以ARToolkit为开发平台，实现了一种基于AR的非物质文化遗产“平度大泽山天柱山魏碑”资源开发研究，重点针对系统具体需求与AR技术的特点讨论了其交互界面的设计。
1 “平度大泽山天柱山魏碑”的核心内容及开发
现状
“平度大泽山天柱山魏碑”在整个山东非常出名，是中国的一项文化财富。由于郑羲去世后的谥号为郑文公，所以该碑文名称为：“魏故中书令秘书监郑文公之碑”，简称郑文公碑。郑道昭是一位著名的书法家，曾在北魏最负盛名，由其亲笔写的魏碑体，主要突出体现了我国书法由隶书到楷书的转变，因此该碑文至今都是书法家致力推荐的。于1988年5月份，平度市天柱山石刻列为国务院公布的第三批全国重点文物保护单位，成为青岛市惟一的全国重点文物保护单位。从现有的文献资料来看，少有见到利用数字技术和现代科技手段对“平度大泽山天柱山魏碑”进行产业化开发的案例研究，也未查阅到有关利用AR技术手段对“平度大泽山天柱山魏碑”进行一定规模的产业化开发和运营的实践活动。
2 AR技术的“平度大泽山天柱山魏碑”开发技
术路线
AR系统一般是由一组实时工作、密切相连的软件系统和硬件部分一起协同完成，主要形式分为三种：视频，光学透视式和Monitor?Based。AR系统整体特征是：将虚拟物体定位添加在3D空间中；达到交互性；虚拟和真实世界的信息集成。当前，AR技术已经应用到文化旅游、ICH、工程、游戏娱乐、影视动漫、医疗、建筑、军事、教育等领域。以AR技术为基础的ICH开发技术路线如图1所示。
3 技术实现
采用Painter tool SAI工具来绘制文化标签的绘制过程，主要对“平度大泽山天柱山魏碑”，以及周围的刻石绘本当作AR实时跟踪对象，在该软件中可以实现多媒体技术的整合应用，并且可以利用扩展功能来实现XML格式的图像进行标志性语言的描述，最终实现跟踪目标对象采用多媒体技术来储存信息。本文采用的案例中依据非遗产品的故事设计，一共绘制了22张的绘本图像当作系统跟踪的文本标志，并且令文本标签的大小为880×503像素，为了确保标识图像的最终跟踪信息不丢弃，将绘本完成的绘制文件完成之后就需要转换成PDF格式进行绘制文本。
实现对于非文化物质遗产内容的数字化处理，制作数字动画和三维模型都是通过第三方软件lava/ads max实施的。最后实现数字影像是在软件Adobue frem.iere CS6/After EffectsCS4上根据“平度大泽山天柱山魏碑”内容，对于此案例的开发过程中，主要对于碑文上的文字进行数字化处理：环境造型设计、三维场景设计、碑文三维动画表现和数字影像设计创作，总共包括郑羲的生平事迹和著述、碑上的汉字书法的三维情节动画、石碑建筑三维模型。
集成AR技术整体上在Vuforia SDK、Android SDK，Unity3D集成的开发环境下通过C#工具达到集成虚实融合技术，到最后采用软件的后缀功能来实现，其开发工具具体如图2所示。
4 交互性多媒体开发策略
本节主要对如何开发和应用“平度大泽山天柱山魏碑”ICH进行分析，依据CDIM开发模型和ARCDIS系统原型。
4.1 文化数字化植入开发模式分析
依据上文对于“平度大泽山天柱山魏碑”ICH相关内容的分析。下文对于“平度大泽山天柱山魏碑”ICH开发模式的构件，“平度大泽山天柱山魏碑”ICH的文化数字化设计开发模式的表示如图3所示。
在开发的整个过程里，首先分析“平度大泽山天柱山魏碑”ICH资源，对植入主体和植入客体进行分析，分析植入文化数字的适应性与匹配性。本文分植入主体为三个大的类型：第一个类型包括各种种类在内的故事绘本、工艺品、纪念品的文化创意产品；第二种类型为以书画和诗词为主的文化艺术展品；第三個类型为以文化遗产景观为主的实体建筑。在分析创新“平度大泽山天柱山魏碑”ICH的过程中，制作三维模型、数字影像、数字动画等形态的文化内容的创作与讨论以“平度大泽山天柱山魏碑”以及相关的文化艺术作品代表的文化内容，依据纪念品、工艺品等文化创意作品，以及文化艺术产品和实体建筑景观，通过AR技术集成手段，利用实现和应用开发ARCDIS系统原型，最终达到“平度大泽山天柱山魏碑”文化景观中ICH相应的体验服务，AR体现文化艺术作品和文化创业作品。AR文化创意产品主要是指通过AR技术植入文化数字所形成的包括严肃游戏、传说故事绘本、纪念品、手工工艺品等文化产品。文化艺术作品的AR诠释与展示是指在“平度大泽山天柱山魏碑”景区中所存放的书籍、各类诗词、各类书画等相关的作者著作以及叙述的大致内容可以采用数字化来展示。
4.2 应用策略
由于ARCDIS系统的原先设计主要根据计算机技术中的视觉三维注册与跟踪的途径进行设计，在正式开发时一定要将相应的文化标签设置好，采用计算机三维视觉技术以及追踪技术来获取目标物。在以开发和设计“平度大泽山天柱山魏碑”三个种类的产品体系中，以ARCDIS系统为基础，能够将三个种类的场景设置好，也能够交叉应用在三个不一样的应用场景中，例如在开发AR “平度大泽山天柱山魏碑”的严肃游戏、纪念品、工艺品、故事绘本等文化产品时，可以设置互动体验区在“平度大泽山天柱山魏碑”文化景区中，在互动体验区时，利用配置高清DV摄像机和大屏幕显示设备，在PC平台进行相关展示，提供不同于智能平板电脑和智能手机的ICH数字化互动体验效果。这种应用的方法，一方面可以提高游客旅游时的观光时间，当游客在景区旅游时，又可以让游客体验和解读“平度大泽山天柱山魏碑”ICH的文化的互动性和趣味性更加深刻，还能让“平度大泽山天柱山魏碑”书法文化景观的文化旅游主题获得更好的体现。利用AR技术来解释文化艺术作品，并将其更好地展示在大屏幕上或者其他地方，以便于风景区旅游来的人更好地欣赏文化艺术作品的内涵，让游客更好地欣赏其外形之美的同时，理解其内在精神。将AR技术运用在“平度大泽山天柱山魏碑”的实体景观里面，可以将一些文化的标签设置出来，并向游客的智能手机推送“平度大泽山天柱山魏碑”的ICH数字化内容。这样游客可以更好地利用手中的电子设备欣赏和体验实体和虚幻结合的文化盛宴。
5 结 论
综上所述，采用AR技术对于非遗产品实现多媒体交互技术的开发，是一种涉及多个领域，多个学科以及多业态交叉与融合的数字文化产业的创新开发模式。本文从分析民间文学类ICH开发现状和困境出发，以国家级ICH“平度大泽山天柱山魏碑”为例，根据CDIM的理论，在资源分析后，分析了之前开发模式缺陷。同时分析了现有的开发模式的操作过程，即在“平度大泽山天柱山魏碑” ICH物质媒介载体中，插入文化多媒体，并植入数字化文化创意产品，并以此进行实例来开发，在ARCDIS系统原型上，并探讨了此实例的系统目标、运作流程、技术实现方法，并做了测试在智能手机上。
参考文献
[1] 王庆月.基于CAVE的虚拟现实关键技术研究[J].现代电子技术，2017，40（1）：140?144.
[2] 谭必勇，张莹.中外非物质文化遗产数字化保护研究[J].图书与情报，2011（4）：7?11.
[3] 贺小荣，何清宇.非物质文化遗产旅游开发的新范式：景区实景舞台剧模式[J].教育教学论坛，2011（20）：151?152.
[4] 白建松.非物质文化遗产内容的博物馆数字化展示模式与产业化研究[J].浙江艺术职业学院学报，2011（2）：112?117.
[5] 李波.非物质文化遗产信息资源描述模型探析[J].四川理工学院学报（社会科学版），2011（3）：118?121.
[6] BRIAN C， LEVOY M. A volumetric method for building complex models from range images [C]// Proceedings of the 23th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM Press， 1996： 633?634.
[7] LEVOY M， PULLI K， CURLESS B， et al. The digital Michelangelo project： 3D scanning of large statues [C]// Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM Press， 2000： 131?144.
[8] MILGRAM P， KISHINO F. A taxonomy of mixed reality visual display [J]. IEICE transactions on information and systems， 1994， 77（12）： 1321?1329.
摘 要： AR技术主要将用户周围的现实情况跟计算机产生的虚拟场景有机融合在一起，增强用户对于真实存在现实的进一步认识，AR技术让情景更加逼真，利用触觉、听觉、视觉等交互行为，获得环境和用户的自然交互，能够被普遍应用在文化、娱乐、教育、医疗、工业等行业，因此，对于AR技术的研究，对于推动各行各业的发展非常有意义。针对此现状，在分析AR技术的特点、应用领域以及技术的成熟度的基础上，对“平度大泽山天柱山魏碑”的核心内容及开发现状进行分析，提出AR技术的“平度大泽山天柱山魏碑”开发技术路线，技术实现，交互性多媒体开发策略。该研究对于AR技术的进一步应用有积极意义。
关键词： AR技术； 非遗产品； 交互媒体； 虚拟场景
中图分类号： TN911?34 文献标识码： A 文章编号： 1004?373X（2017）22?0116?03
Abstract： The AR technology mainly makes users′ surrounding circumstances organically fused with the virtual scenes produced by computers to enhance users′ understanding of the realistic existence. The AR technology makes the scene seem more vivid， by which natural interaction between users and environment can be obtained by means of interactive behaviors such as touch， hearing and vision. The AR technology can be widely applied in the fields of culture， entertainment， education， medicine and industry. Therefore， research on the AR technology has great significance in promoting the development of all walks of life. In view of this， the core content and development situation of "Dazeshan Tianzhu stela of Northern Wei dynasty in Pingdu" were analyzed after analyzing the characteristics， application field and maturity of the AR technology. A technology development route， technology realization， and development strategy of interactive multimedia of "Dazeshan Tianzhu stela of Northern Wei dynasty in Pingdu" are proposed based on the AR technology. The research has positive significance for further application of the AR technology.
Keywords： AR technology； non?heritage product； interactive media； virtual scene
0 引 言
AR是VR一个非常重要的分支部分。AR叠加虚拟信息到用户的真实情景中，呈现出人们需要的信息在真实环境中以交互和实时的方式，提高用户的感知能力。AR不仅将VR的基本特点继承了，还注重协调和增强真实场景，所以其具有比VR应用更加广泛的领域。当前，已经普遍应用AR技术。本文以ARToolkit为开发平台，实现了一种基于AR的非物质文化遗产“平度大泽山天柱山魏碑”资源开发研究，重点针对系统具体需求与AR技术的特点讨论了其交互界面的设计。
1 “平度大泽山天柱山魏碑”的核心内容及开发
现状
“平度大泽山天柱山魏碑”在整个山东非常出名，是中国的一项文化财富。由于郑羲去世后的谥号为郑文公，所以该碑文名称为：“魏故中书令秘书监郑文公之碑”，简称郑文公碑。郑道昭是一位著名的书法家，曾在北魏最负盛名，由其亲笔写的魏碑体，主要突出体现了我国书法由隶书到楷书的转变，因此该碑文至今都是书法家致力推荐的。于1988年5月份，平度市天柱山石刻列为国务院公布的第三批全国重点文物保护单位，成为青岛市惟一的全国重点文物保护单位。从现有的文献资料来看，少有见到利用数字技术和现代科技手段对“平度大泽山天柱山魏碑”进行产业化开发的案例研究，也未查阅到有关利用AR技术手段对“平度大泽山天柱山魏碑”进行一定规模的产业化开发和运营的实践活动。
2 AR技术的“平度大泽山天柱山魏碑”开发技
术路线
AR系统一般是由一组实时工作、密切相连的软件系统和硬件部分一起协同完成，主要形式分为三种：视频，光学透视式和Monitor?Based。AR系统整体特征是：将虚拟物体定位添加在3D空间中；达到交互性；虚拟和真实世界的信息集成。当前，AR技术已经应用到文化旅游、ICH、工程、游戏娱乐、影视动漫、医疗、建筑、军事、教育等领域。以AR技术为基础的ICH开发技术路线如图1所示。
3 技术实现
采用Painter tool SAI工具来绘制文化标签的绘制过程，主要对“平度大泽山天柱山魏碑”，以及周围的刻石绘本当作AR实时跟踪对象，在该软件中可以实现多媒体技术的整合应用，并且可以利用扩展功能来实现XML格式的图像进行标志性语言的描述，最终实现跟踪目标对象采用多媒体技术来储存信息。本文采用的案例中依据非遗产品的故事设计，一共绘制了22张的绘本图像当作系统跟踪的文本标志，并且令文本标签的大小为880×503像素，为了确保标识图像的最终跟踪信息不丢弃，将绘本完成的绘制文件完成之后就需要转换成PDF格式进行绘制文本。
实现对于非文化物质遗产内容的数字化处理，制作数字动画和三维模型都是通过第三方软件lava/ads max实施的。最后实现数字影像是在软件Adobue frem.iere CS6/After EffectsCS4上根据“平度大泽山天柱山魏碑”内容，对于此案例的开发过程中，主要对于碑文上的文字进行数字化处理：环境造型设计、三维场景设计、碑文三维动画表现和数字影像设计创作，总共包括郑羲的生平事迹和著述、碑上的汉字书法的三维情节动画、石碑建筑三维模型。
集成AR技术整体上在Vuforia SDK、Android SDK，Unity3D集成的开发环境下通过C#工具达到集成虚实融合技术，到最后采用软件的后缀功能来实现，其开发工具具体如图2所示。
4 交互性多媒体开发策略
本节主要对如何开发和应用“平度大泽山天柱山魏碑”ICH进行分析，依据CDIM开发模型和ARCDIS系统原型。
4.1 文化数字化植入开发模式分析
依据上文对于“平度大泽山天柱山魏碑”ICH相关内容的分析。下文对于“平度大泽山天柱山魏碑”ICH开发模式的构件，“平度大泽山天柱山魏碑”ICH的文化数字化设计开发模式的表示如图3所示。
在开发的整个过程里，首先分析“平度大泽山天柱山魏碑”ICH资源，对植入主体和植入客体进行分析，分析植入文化数字的适应性与匹配性。本文分植入主体为三个大的类型：第一个类型包括各种种类在内的故事绘本、工艺品、纪念品的文化创意产品；第二种类型为以书画和诗词为主的文化艺术展品；第三個类型为以文化遗产景观为主的实体建筑。在分析创新“平度大泽山天柱山魏碑”ICH的过程中，制作三维模型、数字影像、数字动画等形态的文化内容的创作与讨论以“平度大泽山天柱山魏碑”以及相关的文化艺术作品代表的文化内容，依据纪念品、工艺品等文化创意作品，以及文化艺术产品和实体建筑景观，通过AR技术集成手段，利用实现和应用开发ARCDIS系统原型，最终达到“平度大泽山天柱山魏碑”文化景观中ICH相应的体验服务，AR体现文化艺术作品和文化创业作品。AR文化创意产品主要是指通过AR技术植入文化数字所形成的包括严肃游戏、传说故事绘本、纪念品、手工工艺品等文化产品。文化艺术作品的AR诠释与展示是指在“平度大泽山天柱山魏碑”景区中所存放的书籍、各类诗词、各类书画等相关的作者著作以及叙述的大致内容可以采用数字化来展示。
4.2 应用策略
由于ARCDIS系统的原先设计主要根据计算机技术中的视觉三维注册与跟踪的途径进行设计，在正式开发时一定要将相应的文化标签设置好，采用计算机三维视觉技术以及追踪技术来获取目标物。在以开发和设计“平度大泽山天柱山魏碑”三个种类的产品体系中，以ARCDIS系统为基础，能够将三个种类的场景设置好，也能够交叉应用在三个不一样的应用场景中，例如在开发AR “平度大泽山天柱山魏碑”的严肃游戏、纪念品、工艺品、故事绘本等文化产品时，可以设置互动体验区在“平度大泽山天柱山魏碑”文化景区中，在互动体验区时，利用配置高清DV摄像机和大屏幕显示设备，在PC平台进行相关展示，提供不同于智能平板电脑和智能手机的ICH数字化互动体验效果。这种应用的方法，一方面可以提高游客旅游时的观光时间，当游客在景区旅游时，又可以让游客体验和解读“平度大泽山天柱山魏碑”ICH的文化的互动性和趣味性更加深刻，还能让“平度大泽山天柱山魏碑”书法文化景观的文化旅游主题获得更好的体现。利用AR技术来解释文化艺术作品，并将其更好地展示在大屏幕上或者其他地方，以便于风景区旅游来的人更好地欣赏文化艺术作品的内涵，让游客更好地欣赏其外形之美的同时，理解其内在精神。将AR技术运用在“平度大泽山天柱山魏碑”的实体景观里面，可以将一些文化的标签设置出来，并向游客的智能手机推送“平度大泽山天柱山魏碑”的ICH数字化内容。这样游客可以更好地利用手中的电子设备欣赏和体验实体和虚幻结合的文化盛宴。
5 结 论
综上所述，采用AR技术对于非遗产品实现多媒体交互技术的开发，是一种涉及多个领域，多个学科以及多业态交叉与融合的数字文化产业的创新开发模式。本文从分析民间文学类ICH开发现状和困境出发，以国家级ICH“平度大泽山天柱山魏碑”为例，根据CDIM的理论，在资源分析后，分析了之前开发模式缺陷。同时分析了现有的开发模式的操作过程，即在“平度大泽山天柱山魏碑” ICH物质媒介载体中，插入文化多媒体，并植入数字化文化创意产品，并以此进行实例来开发，在ARCDIS系统原型上，并探讨了此实例的系统目标、运作流程、技术实现方法，并做了测试在智能手机上。
参考文献
[1] 王庆月.基于CAVE的虚拟现实关键技术研究[J].现代电子技术，2017，40（1）：140?144.
[2] 谭必勇，张莹.中外非物质文化遗产数字化保护研究[J].图书与情报，2011（4）：7?11.
[3] 贺小荣，何清宇.非物质文化遗产旅游开发的新范式：景区实景舞台剧模式[J].教育教学论坛，2011（20）：151?152.
[4] 白建松.非物质文化遗产内容的博物馆数字化展示模式与产业化研究[J].浙江艺术职业学院学报，2011（2）：112?117.
[5] 李波.非物质文化遗产信息资源描述模型探析[J].四川理工学院学报（社会科学版），2011（3）：118?121.
[6] BRIAN C， LEVOY M. A volumetric method for building complex models from range images [C]// Proceedings of the 23th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM Press， 1996： 633?634.
[7] LEVOY M， PULLI K， CURLESS B， et al. The digital Michelangelo project： 3D scanning of large statues [C]// Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM Press， 2000： 131?144.
[8] MILGRAM P， KISHINO F. A taxonomy of mixed reality visual display [J]. IEICE transactions on information and systems， 1994， 77（12）： 1321?1329.
