交互橱窗公共展示的叙事结构研究

2023.08.04

李茹莎

摘要：本文设计了一个以敦煌壁画为主题，具有叙事性结构的交互橱窗系统。通过这种与人类姿势交互的认知模型，引导用户主动参与，加强人们对敦煌文化的亲近感。

关键词：交互橱窗;姿势交互;叙事结构;敦煌飞天

0 引言

随着科学技术的发展，交互展示在极大地推动了文化遗产的数字化展览。目前，多数展览在交互方式上存在同质化现象，内容上多以单向线性灌输式进行，难以吸引大众，有效传达展览信息。1996年，Hoffmann设计了真人大小的提线木偶模仿人类动作进行表演。[2]2004年，Yamane等人用来自人类的运动捕捉数据控制机动，以弦驱动木偶表演，用算法使捕捉数据适用于木偶。[3]以上研究所设计的木偶通过模仿人类动作以建立同步性，但缺乏内在情感的自主性与差异性。本文设计了一个认知模型的交互橱窗系统，避免单纯模仿并建立其独立性。采用虚实结合的交互对用户的姿势给予回应，让用户更自然、积極、主动地参与，并获得引导性的展览信息。

1 交互橱窗系统

1.1 概念设计

参考敦煌壁画元素，以大众熟知的《九色鹿》《出游四门》进行设计（图1a）。交互橱窗系统借用立体空间与不同交互模式构建多种感官体验，让用户在较短的时间内对系统进行熟悉并尝试交互方面的探索，达到心理上的情感共鸣。

1.2 系统设计

交互橱窗系统硬件包括一个55英寸显示屏，PC，木偶及其控制设备，Kinect（图1b）。用户姿势通过Kinect捕捉，将数据与PC中的木偶动作库进行同步匹配，使用户动作得到即时反馈。木偶的运动采用总线舵机控制，借用舵机角度控制绕线圈的旋转，带动木偶各关节的运动，从而形成木偶的整体运动。LED屏内的动画采用数位板绘制敦煌故事，运用动作捕捉技术，通过三维软件进行后期处理。

1.3 原型设计

交互橱窗系统包括LED动画和木偶认知模型两部分。

LED动画设计：一是介绍故事基本信息;二是介绍故事的叙事结构、情节发展;三是选择匹配环节。

木偶认知模型有三个模块：一是用户姿势的识别;二是木偶姿势的选择;三是木偶一系列的姿势动作。[1]

由于人类的姿势千变万化且自由度高，具有随机性和复杂性。为了使木偶的回应更具主动性、不可预知性，采用一对多的关系让每个用户的姿势映射到一组可能的木偶姿势中。选择的过程系统无法判断用户情绪，所以木偶的姿势将集结所有可能的情绪。[1]

本文创建了两种不同的设计模式原型，不同之处主要体现在内容上，针对故事的叙事结构与情节发展进行设计。

（1）原型一的系统设计。原型一的设计希望逐步激发用户兴趣，LED屏中的内容会根据各部分的预设时间进行展示，使用户按预设的顺序与时间依次体验完所有部分。

第一，用户走近时，木偶表达激动或心慌等情绪并做出飞行姿势，代表着木偶希望带领用户去了解敦煌壁画。同时，LED屏动态展示飞天舞蹈并开始自动播放故事的基本信息。

第二，用户打招呼时，木偶表达欣喜情绪并做出打招呼姿势，代表着木偶的礼貌与回应。同时，LED屏在飞天打招呼动画中按照故事情节发展依次展开，让用户直观地了解故事的详情。

第三，在选择匹配环节，用户依据之前所了解的信息对该环节的问题进行互动。

第四，在用户离开时，木偶做出低头，双手耷拉的姿势，代表着木偶的无奈或低落等情绪。同时，LED屏将故事回归初始状态。

无人时木偶做细微动作防止长时间静止，仿佛有生命力一样吸引路人。LED屏则是祥云等装饰元素的循环。当有人经过时，木偶做出走路姿势，LED屏的壁画则跟随路人的位置及行走方向进行对应壁画部分的动态展示。

（2）原型二系统设计。原型二的设计期望可以鼓励用户对内容的欣赏。用户可以根据自身兴趣与节奏，通过交互自由地访问每一部分。

第一，用户走近时，木偶表达激动或心慌等情绪并做出飞行姿势，代表着木偶希望带领用户去了解敦煌壁画。同时，LED屏随着飞天舞蹈出现敦煌故事基本信息、叙事结构及情节、选择匹配三部分。

第二，用户手势交互（指向/点击）时，木偶做出打招呼姿势，表达欣喜情绪。同时，LED屏根据用户的指向呈现该部分的内容。若用户做出打招呼姿势，LED屏呈现欢迎页面，随即提示用户可选取感兴趣的内容点击了解。

原型二在无人或有人经过或有人离开时系统状态与原型一一致。

2 结语

本文通过交互橱窗展示设计，从交互叙事结构出发，总结交互展示设计在叙事结构的设计法则，同时探究一个输入多个输出的交互反馈，期望实物参与的交互更能激发用户的兴趣与探索欲。相信交互公共展示在未来会运用到教育、娱乐等众多领域并发挥其价值。

参考文献：

[1] Mahzoon，M.，Maher，M.L.，Grace，K.，LoCurto，L.，Outcault，B . The Willful Marionette：Modeling Social Cognition Using Gesture-Gesture Interaction Dialogue[C]. International Conference on Augmented，2016：402-413.

[2] Hoffmann， G.： Teach-in of a robot by showing the motion[C]. International Conference on Image Processing，1996：529-532.

[3] Yamane，K.，Hodgins，J.K.，Brown，H.B . Controlling a motorized marionette with human motion capture data[J]. International Journal of Humanoid Robotics，2004.