《MR环境下多模态人机交互的设计评价系统研究》-工学论文，设计论文-论文范文参考-科学狗论文网

标题

MR环境下多模态人机交互的设计评价系统研究

范文

曹琪范劲松

摘要：解决现有设计评价工具成本高、周期长、交互性差等问题。以清洁车设计为例，利用头戴式设备HoIoLens，通过与人交互对话，将优化的虚拟清洁车模型及属性实时、无缝地叠加在实际的使用场景中。利用系统可用性量表（sus）进行用户体验评估，测试结果良好。通过将MR技术引入到设计评价过程，可以提高新产品研发效率和效益，为使用者提供更加自然、高效、真实的评价工具。

关键詞：工业设计设计评价混合现实多模态人机交互 HoIoLens

中图分类号：TP47

文献标识码：A

文章编号：1003-0069（2020）05-0026-03

Abstract： Solve the prob}ems of high cost， long cycle and poor interactivlty ofexisting design evaluation toolo Taking the cleaning car deoign as an example， thehead-mounted device HoloLens is used to interactively and interactlvely superimposethe optimized virtual deaning vehicle model and attributes in the actual use scenereaction using the System Availability Scale（SUS） to do user experience evaluation，the teot results are good. By introducing MR technology into the design evaluationproceoS， new product development efficiency and efficiency can be improved， andusers can be provided with more natural， efficient and realistic evaluation toolsKeywords： Industrial deoign Design evafuatIon MIxed Reality Multi-modal human-computer interaction HoloLens

设计评价（DR）系统是在产品开发过程当中及早地发现和指出产品设计的缺陷、错误和可能存在的制造问题[1]，以便对其性能和使用等各个方面进行全面的评估。目前工业设计评价过程使用的工具为实物样机[2]、数字样机[3]和虚拟样机[4]。实物样机的主要问题是成本高、周期长和逼真度不够;数字样机的主要问题是要依赖于应用软件，对设备和使用人员的要求高;虚拟样机可以实现实时交互，克服了上面两种方法的不足，但主要交互方式基于计算机传统图形界面和鼠标键盘，不是自然的交互方式。同时，数字样机和虚拟样机都要求用户必须在计算机上操作，使用不够便捷，限制了用户交互的自然性。近年来，随着多媒体软硬件技术的发展，人机交互的研究已经拓展到MR领域[5]。借助MR技术搭建一个多模态人机交互的设计评价系统是工业设计领域的—次尝试。

一、MR环境下的多模态人机交互界面

（一）多模态人机交互概念

多模态人机交互，又称多通道人机交互，是一种区别于传统的单通道人机交互而言的新技术。通道指的是感官。多模态人机交互同时对来自多个交互通道的信息进行识别并融合，最终得到一个综合后的交互信息，以此获得更自然性和高效性人机交互体验。很多情况下，一套多模态人机交互系统需要多种识别设备来共同实现。

（二）MR环境下的多模态用户界面模型

MR环境下的多模态用户界面[6]是一种全新的人机交互平台，用户通过手势、语音、视觉、触觉等多种通道实现虚实融合环境下的自然交互。用户界面是人机交互的媒介，主要利用人机工学原理，实现人_机一环境之间的协调配合。这里的“人”指的是人的感官，“机”指的是MR交互设备，“环境”指的是虚实结合的交互环境。通过综合利用人的多感觉通道和效应通道，力图使计算机能够听、说、理解用户的交互意图[7]，如图1。

（三）用户界面的系统框架

用户界面的功能是实现人机环境之间的信息传递，而一个完整的信息加工过程从用户输入开始，经过数据处理到功能实现结束。在MR环境下的多模态用户界面中，用户首先通过手势识别、语音识别、眼动追踪和触觉反馈等自然的操作方式实现信息输入。然后，MR头戴设备会将获取的用户信息进行处理，将全息图像投影在真实世界中，现人机互动，最终完成用户的意图，如图2。

二、MR环境下的多模态人机交互方式

（一）凝视交互

凝视的目的是实现对全息图的目标选择。如图3，该系统通过HoIoLens向用户眼睛的凝视方向发出一条射线与全息图像之间进行碰撞检测8。

假设射线与全息图某个部件的交点为P。射线与前后剪切面相交于空间点P1和P2。其中，P1点坐标可用该点所在射线单位向量E与模M表示为：

P=Pl+ExM

（1）

已知全息图上的3个基准点A（XA，YA，ZA）、B（XB，YB，ZB）、C（XC，YC，ZC）。则这3个基点所构三角形ABC内的任何一点的坐标均可以用变量k、v（O

P=A+KxB-A+vxx （C-A）

（2）

Pl+ExM= （1-k-v） xA+KxB=vxC

（3）

将A、B、C三点坐标值分别带入到方程（1）中可得

（4）

经过上述计算便可以求出P点的坐标，对比HoIoLens三维注册过程生成的深度图中全息图零部件的空间坐标，便可以确定发生碰撞的全息图部件，实现全息图的目标选取。为了便于凝视光标的观察，该系统提供了两种显示状态：当HoIoLens检测到手势时，视野出现手势光标（见图4a）;当凝视全息物体时，光标变为带有箭头的手掌图案（见图4b）。本系统中所有的手势交互都是在此基础上实现的。

（二）手勢交互

手势识别是HoIoLens主要的交互输入方式，其识别过程利用了多角成像技术。这种技术通过使用两个及以上的摄像头同时摄取图像，然后比对这些不同摄像头在同一时刻获得的图像差别，进行计算深度信息获得三维图像。HoIoLens目前认可的两种核心组件手势为：Air tap和Bloom。Air tap是一种轻拍手势，手持直立，类似于鼠标点击或选择。在大多数MR平台中相当于凝视定位后UI元素上的“点击”。在HoIoLens中，全息物体通常会被标定在空间中某个固定的位置，用户可以通过移动自身的位置，实现多视角观察。除此之外，还可以通过在全息物体上添加Gesture Action脚本并设置相应的轴来实现对全息物体的旋转和位移操作。本系统实现的手势交互命令如图5所示。

（三）语音交互

语音识别的过程识将人的语言翻译成计算机可识别语言的过程。首先，将声音信号变成单词流;其次，将各种语言进行恰当的建模;最后对语言进行相关约束。语音识别还应具备语音合成功能，实现计算机与人的交流反馈。如表1所示，HoIoLens可以通过语音识别技术实现许多交互功能。除了HoIoLens自带的语音命令，开发者还可以根据需要在系统中添加其他语音命令。本系统实现的主要交互命令有：通过Speech to Text功能，可以实现屏幕语音文字输入;另外，为了实现全息物体的位移和旋转，使用户可以将全息模型与场景更好地匹配，本系统还添加了位移和旋转语音命令。

（四）交互模型

根据信息加工的三个过程可以将人机交互分为物理设备层、交互定义层以及应用接口层三个阶段。据此，文中提出一个三层架构的MR多模态人机交互模型（如图6所示）。其中，HoIoLens作为一种典型的MR设备，可以提供凝视、手势、语音甚至触感等多通道交互方式。不仅于此，在人与HoIoLens互动中，MR环境下的多模态人机交互系统能够实现保持会话跟踪、映射调度与计算机系统响应，这个过程被称为会话管理。由于语音通道的使用，该系统可以使用会话管理为核心的上下文会话管理模式，提供语音服务。这种会话管理能够协调语音通道与其他交互通道相结合，在各交互通道原始识别内容的基础上，逐步映射转换形成能够被应用系统调度执行的服务指令。这种交互模式能够达到1+1+1>3的效果，实现以人为中心的自然交互。

三、清洁车评价系统的实现

（一）评价系统的构建

为了验证该系统的可行性，文中以清洁车作为产品设计评价对象，搭建了一个MR环境下多模态人机交互的设计评价系统。首先，由于工业设计产品模型为了模拟复杂逼真的产品，往往需要大量运用多边形近似技术，导致数据组织的复杂和数据量的增长，无法应用在HoIoLens中使用;为了得到高精细节的场景模型，同时解决模型面数的问题，文中对清洁车模型进行减面优化，优化后的模型保留了高模的主要形态和细节，又可避免模型面数减少造成的细节丢失问题，从而节省计算机资源。其次，借助Unity引擎和HoIoLens开发工具，实现清洁车模型在HoIoLens中的应用。评价系统的构建过程如图7所示。

（二）评价系统的实现

将两台或者多台HoIoLens通过WiFi连接到同一个局域网中可以实现多人协同作业。该系统以两台设备为例，任意选择其中一台作为服务器端，另外一台则为客户端。首先通过服务器端对系统进行测试，测试通过后让另外一台HoIoLens进入系统，与服务器端建立连接，进行多人协同评价，系统实现的主要功能如图8所示。

四、清洁车评价系统的评估

工业设计评价系统作为一种设计评价工具，其首要特征满足产品评价的功能需求，其次该系统本身作为一种软件产品应具有良好的用户体验需求。因此该清洁车评价系统的评估需要从两方面进行考虑。为了测试清洁车评价系统的性能，文中又制作了3D打印模型和增强现实展示，通过访谈和问卷的形式获得三种评价工具的性能，以便对清洁车评价系统的优势进行评估。

（一）功能性评估

工业设计评价过程就是利用各种评价工具将产品的属性充分展示给评价者，以便评价者能够正确有效地对设计方案做出评价和选择。为了更专业地对三种评价工具的功用性进行评估，文章采访了10名工业设计专业的大学生和老师，通过他们的体验和分析，总结出如下三点优势。

1.逼真展示：将工业设计产品制作成数字化的全息模型叠加到真实环节中，实现产品在真实环境的逼真再现;能够有效、准确地再现产品形态、色彩、灯光、材质的逼真感以及使用环境的协调性等方面，同时能够有效地表达和再现产品的功能特征，从而正确地表现产品的性能特点。

2.实时评价：用户可以在观察产品属性的同时选择自己满意的色彩方案;另外，用户可以在观察产品每一个属性时通过语音命令在屏幕中生成评价性文字，并通过截屏记下评价内容。

3.低成本和高效率：设计评价需要在整个设计开发过程中反复进行，该系统可以在减少样机制作的基础上，全面、高效地对方案进行评价，从而缩短产品的研发周期。

（二）可用性评估

可用性是指产品在特定用户的特定用途下所具有的效果、效率和用户主观满意度。系统可用性量表由John Brooke于1996年提出，是一种用于产品可用性测试的标准化问卷调查量表。为了测试该清洁车系统发功用性，文中随机选取了30名在校大学生作为实验对象，在实验开始前分别介绍每种交互界面的使用方法。用户在掌握了评价工具的使用方法后，对三种交互界面的可用性进行评估。针对本次调查内容，根据sus调查表设置了以下10个问题：

Q1.我愿意经常使用该评价系统。

Q2.我觉得该评价系统有些复杂。

Q3.我觉得该评价系统很容易使用。

Q4.该评价系统需要有经验的人帮助我使用。

Q5.我觉得该评价系统将设计方案展示得很好。

Q6.我觉得该评价系统存在太多不一致。

Q7.我觉得大多数人都能很快学会使用该评价系统。

Q8.我觉得该评价系统使用起来很麻烦。

Q9.在使用过程中，我感觉很自信。

Q10.为了操作该评价系统，我需要学习很多东西。

选项设置及打分规则如下：

1.每个问题根据程度设置基础分1-5分，对应“强烈反对”到“非常满意”。2.奇数问题用选项原始分减去1即为该题分，偶数问题用5减去该选项原始分即为该题分。sus得分为所有问题得分总和的2.5倍。另外，第4题和第8题得分总和12.5倍可以反映系统的易学性，其余题目得分总和的3.125倍可以反映系统的可用性。SUS得分采用百分制。

為了进一步检验系统的可用性，实验过程中随机选取了30名在校大学生作为体验和调查对象，设置实体界面和触控界面两种对照实验。样本的统计情况如表2所示：

三种交互界面得分，全息界面的SUS得分为90.58最高，触控界面分数82.50居中，实体界面分数79.08最次。查阅文献，全息界面分数92.18对应的百分等级约为97，意味着比97%的产品可用性好。除此之外，其可用性得分92.60也最好，易学性上由于实体模型比较直观不需要学习成本所以全息界面的易学性低于实体界面但高于触控界面。由此可见，该系统用户体验良好，较传统的评价工具具有明显优势。

文中通过对最新的混合现实技术与人机交互技术的交叉研究，开发基于视觉、手势及语音等多通道虚实融合人机交互模式的设计评价系统，并借助HoIoLens实现了清洁车的设计评价，测试结果良好。本系统的主要意义在于：通过对MR环境下多模态人机交互技术在工业设计评价中的研究应用，提高新产品研发效率和设计创新能力，降低产品开发成本，满足日益变化的市场需求;同时，将设计方案在实际环境中的逼真表达和全息物体之间的自然交互，实现产品功能的仿真和模拟，以方便各种评价人员做出全面有效地评价。

基金项目：广东高校省级特色创新项目（2016KTSCX148）;佛山市科技局科技创新项目（2016AG100321）;广东省教育厅高校科研项目（2015xzd01）。

参考文献

[1]Morad Mahdjoub，Davy Monticolo，Samuel Gomes， etal[J].A collaborative desian for usability approachsupponed by virtual reality and multi-agent system embedded in a PLM environment.Computer-Aided Desigu （ARTICLE IN PRESS）， 2009，（2）：1-12.

[2]宁萌，马泽峰，薛必伦等.燃爆式弹跳驱动器的设计与分析[J].机械设计，2017，34（9）：18-22.

[3]王发麟，廖文和，郭宇等.线缆虚拟装配关键技术研究现状及其发展[J].中国机械工程，2016，27（6）：839-851.

[4]韦正超.基于Adams和Matlab的发射设备随动系统虚拟样机建模与联合仿真[J].现代机械，2019（1）：66-69.

[5] Fiorentino M，Uva A E，Gattullo M，etal，Augmented reality on large screen forinteractive maintenanceintructlon[J].ComputerslnIndustey，2014，65（2）：270-278.

[6]黄进，韩冬奇，陈毅能等.混合现实中的人机交互综述[J].计算机辅设计与图形学学报，2016（6）：869-880.

[7]俸文.多通道人机交互技术的研究[D].江苏南京：南京理工大学，2004.

[8]商蕾，王冰，杨志勇，何业兰.基于HoloLens的船舶辅机拆装系统研究与实现[J].中国航海，2018，41（03）：38-42.

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。