《混合现实技术在神经发育障碍儿童干预中的应用与启示》-管理学论文，管理论文-论文范文参考-科学狗论文网

标题

混合现实技术在神经发育障碍儿童干预中的应用与启示

范文

林潇潇高汉威朱德珍

摘要：随着特殊教育的不断向前发展，越来越多的残疾儿童能够接受相应的教育与干预训练。而辅助技术的应用能够帮助残障儿童在心理和教育层面获得更好的发展。混合现实技术作为当今信息科学技术领域的前沿，越来越受到残障儿童教育、康复领域研究者的广泛重视。文章通过介绍HoloLens混合现实眼镜、“迷雾之地”混合现实系统、混合现实鱼缸系统、TeachLivE教学现场混合现实教学系统四种混合现实技术在神经发育障碍儿童干预领域的应用，对比这些技术间的相似性和差异性，最终提出混合现实技术对我国残疾儿童教育与干预的启示。

关键词：混合现实技术;神经发育障碍儿童;应用;启示

中图分类号：R741 文献标识码：A

DOI：10.19881/j.cnki.1006-3676.2020.10.09

Application and Enlightenment of Mixed-Reality Technology for? Children with Neurodevelopmental Disorder

Lin Xiaoxiao1? Gao Hanwei2? Zhu Dezhen3

（1.School of Education，GuangZhou University，Guangdong，Guangzhou，510006;2.GuangZhou Academy of Fine Arts，Guangdong，Guangzhou，510006;3.GuangZhou Iron and Steel Enterprise YaYunCheng Kindergarten，Guangdong， Guangzhou，510006）

Abstract：With the development of special education，more and more children with disability can receive appropriate education，intervention and training.The application of assistive technology （AT） can help children with disability to achieve great development in psychological and educational aspects.As the frontier of information science and technology，Mixed-Reality technology has been paid more and more attention by researchers in the fields of education and rehabilitation of children with disability.In this paper，by introducing the HoloLens reality glasses，the lands of Fog system，Mixed Reality Aquarium and TeachLiveE mixed-reality teaching system of four kinds of mix reality neural developmental disorders in childrens intervention in the field of application，compared the similarities and differences between these technologies at the same time，finally puts forward mixed-reality technology education and intervention for children with disability enlightenment to our country.

Key words：Mixed-Reality;Children with Neurodevelopmental Disorder;Application;Enlightenment

一、引言

随着全球科技的不断发展，计算机辅助教学越来越受到教育界的重视，多种多样的计算机辅助教学技术能够帮助学生更好地融入课堂，提升他们在教学过程中的参与度。计算机辅助教学的媒介由传统的计算机设备如台式电脑、笔记本电脑等发展为移动终端技术的任意载体。与传统的计算机设备相比，移动终端具有操作容易、便携、运行速度快等多种优势，更有利于使用者实现有效的交互。[1]特殊教育领域的计算机辅助技术被广泛应用于对残障儿童的教学中。特殊教育辅助技术包括从低技术和高技术。低技术设备指低成本且不需要电源的设备，如图片沟通板、握笔矫正器和手持放大镜等;高技术设备一般是成本高昂的设备，包括计算机、平板电脑、移动设备及其软件等。随着互联网的发展和电子科技的进步，特殊教育辅助技术逐渐向高技术方向发展。[2]混合现实技术就属于具有高科技含量的技术。随着混合现实技术的创新与推广，其已成为科技界、教育界共同关注的热点。

神经发育障碍（Neurodevelopmental Disorder）是一类总称，包括由于神经系统与大脑功能出现问题而产生的各种形式的障碍。神经发育障碍包括注意缺陷多动障碍、孤独症谱系障碍、学习障碍以及智力障碍。大多数存在神经发育障碍的个体在不同领域会经历多样化的、共生的障碍，这些领域包括言语与语言、记忆、学习、社交行为以及行动能力。[3]

二、混合现实技术

混合现实技术（Mixed Reality，简称MR）是虚拟现实技术（Virtual Reality）和增强现实技术（Augmented Reality）的结合。该技术是将虚拟世界与现实世界进行合并形成新的可视化环境，并在虚拟世界、現实世界与用户之间搭起一条交互反馈的信息线路，实现现实世界与虚拟世界的无缝衔接。[4]混合现实技术是一种新的计算机技术，通过混合真实世界和虚拟世界中的物品促使用户开展互动。该技术使用户可以观察添加到现实世界中的虚拟对象并与之交互。在混合现实技术的概念基础上，黄红涛等研究者提出了混合现实学习环境的概念。混合现实学习环境是一种利用混合现实技术构造起来的由计算机支持的学习环境。在该环境中，来自真实世界和虚拟世界的各类对象被整合到一个单一的学习进程中。如果这个环境具有支持具身交互的功能，那么它就可以被称为“具身型混合现实学习环境”（Embodied Mixed Reality Learning Environment）[5]面向残障儿童的混合现实技术大多属于该系统环境。

三、面向神经发育障碍儿童的混合现实技术应用

（一）HoloLens可穿戴设备混合现实技术

HoloLens是微软开发的可穿戴混合现实设备。它将一台全息计算机（Holographic Computer）安装在一套头戴式设备上。由众多传感器、先进光学设备以及一个定制的全息处理单元组成。如图1所示，它是安装在头戴式设备上的全息计算机，其中有诸多特殊组件，如多传感器、先进光学设备以及一个定制的全息处理单元。

用户使用HoloLens混合现实眼镜在真实环境中与全息图像呈现的数字内容展开交互。通过空间映射技术（Spatial Mapping Techniques）捕获（Capture）信息，识别如桌子、地板、墙壁和天花板等平面[6]，同时生成真实环境渲染图以及交互式虚拟数字的内容。HoloLens支持多种交互模式如视、听觉交互模式等。

HoloLens的操作方式包括凝视（Gaze）、手势（Gestures）、声音（Voice）和使用遥控器（Clicker）。HoloLens凝视用户通过改变注视方向，可以更新他们对环境的认知。一个光标会出现在注视焦点中，并随注视焦点的方向移动。在手势操作过程中，当拇指和食指轻拍时，瞬时气锥就会选择并激活光标所在的注视的交互式全息图，触发相关的反馈，持续气塞则执行拖放。在声音操作过程中，通过定义语音命令给应用程序提供指令，实现与交互项目的交互。遥控器操作是通过由蓝牙连接的物理控制器来代替空气开关选择和移动交互元素。[7]

此外，HoloLens会在全息影像中创建虚拟助手（Virtual Assistant），虚拟助手的设计可以参考用户的兴趣偏好，提升残障用户的参与体验。HoloLens提供三种虚拟助手参与模式：静态模式、动态模式和回应模式，如图2所示。

Beatrice Aruanno等研究者通过让神经发育障碍人士穿戴HoloLens混合现实眼镜完成“桌面物品摆放”和“垃圾分类收集”游戏任务发现，无论表现以及任务完成度如何，大多数参与者都喜欢使用HoloLens，并对此次体验感到满意。参与者会被虚拟助手吸引，并能准确地辨识出虚拟助手的角色（如小黄人）。中等程度神经发育障碍的人士在完成游戏任务方面的表现要比重度神经发育障碍的人士好，因为他们通过一段时间的培训能够更好地掌握HoloLens的交互机制。[7]

（二）“迷雾之地”混合现实系统

“迷雾之地”混合现实系统（The Lands of Fog System）是加入一系列视觉、听觉效果的，在直径6米的地板投影虚拟环境的系统。其设计目的是鼓励自闭症儿童和他们的非自闭症同伴共同开展具有创造性的探索类游戏。系统设计的游戏场景是一个部分被雾气笼罩的幻想世界，在这个世界里，这些儿童能够主动寻找并捕捉虚拟的昆虫，系统给予他们积极的、一致性的反馈，即加入新的角色或欢快的旋律。[8]该系统采取循序渐进的策略来拉近自闭症儿童与非自闭症儿童的距离。反馈的目的是给游戏的参与者提供更积极的反馈来替代治疗师的工作，并利用系统来引导自闭症儿童完成游戏任务，促使他们出现问题行为。“迷雾之地”混合现实系统为治疗师在协调游戏者间的互动方面提供了支持框架，为儿童提供在可控的实践环境中形成良好社交互动氛围的场景。

“迷雾之地”混合现实系统的具体操作流程是，自闭症儿童手持一个装有LED灯的真实捕蝶网，系统对捕蝶网进行追踪。自闭症儿童通过捕蝶网与投射在地板上的虚拟昆虫元素进行互动。此外，物理目标被设计用来帮助神经发育障碍儿童通过认知负载（Cognitive Offloading）将注意力集中到环境中来。

科研人员在利用“迷雾之地”混合现实系统开展的相关研究过程中发现，集体协同社交游戏活动的开展效果要比个人活动好。自闭症儿童与非自闭症儿童共同参与的集体协同类游戏活动为他们提供了同伴协作、交流的机会。与此同时，科研人员还研究比较了自闭症儿童在“迷雾之地”混合现实系统和乐高游戏情境下的儿童非言语行为。研究发现，自闭症儿童在“迷雾之地”混合现实系统中的非言语行为水平相对较高。其可能的原因是，在“迷雾之地”混合现实系统的游戏中，自闭症儿童亲近同伴来完成协作任务。此外，在“迷雾之地”混合现实系统中，自闭症儿童表现出的焦虑水平相对较低，其原因可能是自閉症儿童能够对游戏参与方式进行选择，其既可以邀请同伴参与，也可以自己单独进行游戏，这能让自闭症儿童表现得更加放松，为自闭症儿童提供一个舒适的社交环境。[8]

（三）混合现实鱼缸系统

混合现实鱼缸系统（Mixed-Reality Aquarium）是国内首个为孤独症谱系障碍儿童以及儿童英语教学打造的混合现实系统。它将虚拟的海洋世界与真实的鱼缸结合，通过投影设备和液晶调光膜来展现3D虚拟场景，增强用户的沉浸感。混合现实鱼缸能够训练孤独症谱系障碍儿童的认知能力、动手能力和表达能力，为他们提供自然、简单，兼具真实感的交互方式。[9]混合现实鱼缸系统参考了孤独症谱系障碍儿童康复师关于认知训练的专业知识，将认知训练课程整合到混合现实鱼缸系统中，通过视觉化、具象化的效果促进孤独症谱系障碍儿童与训练内容、康复师之间的互动。[7]混合现实鱼缸系统既包含了真实物理环境下有水草和鱼类等生物的鱼缸，又包含了虚拟的海洋环境和生物，将二者融合为一体，建立了一个有趣的水下世界。

Juan Liu等科研人员利用混合现实鱼缸对孤独症谱系障碍儿童进行干预训练。经过为期一个月（四周）的训练，孤独症谱系障碍儿童的认知、语言和行动能力都得到了显著的提升。此外，混合现实鱼缸系统在孤独症谱系障碍儿童发展兴趣、培养注意力和提升行为表现方面存在着显著的发展潜力。[10]

（四） TeachLivE混合现实教学系统

TeachLivE是中佛罗里达大学（University of Central Florida）针对职前和在职特殊教育教师培训开发的混合现实培训平台。[11]

TeachLivE系统模拟的是一间混合现实课堂实验室，教室中设计了若干名虚拟学生。虚拟学生分别具有四种个人特征：攻击—独立型、依赖—独立型、被动—依赖型和以不同强度水平的其他特征（如歇斯底里、强迫性、冲动等）为补充的被动—依赖型。与面部表情、肢体语言、动作捕捉和人工智能相结合的具有典型青少年学生特征的虚拟学生和虚拟环境所形成的班级相结合，为用户提供一种令人信服的虚拟体验。[12]

参与者能够在电脑顯示器中看到由室外的操控者控制的虚拟学生，操控者同时能够看到参与者和他使用的资料，如白板等。如图5所示：参与者是一位存在视觉障碍的老师，她不能很清楚地看到屏幕。因此，在显示器前的一张桌子上还放有显示虚拟学生形象的卡片，以帮助这位参与者了解在屏幕中发生的事情。

TeachLivE系统允许教师在安全空间内尝试新事物，反思教学过程中的各类互动，并能在使用后获得即时反馈。在TeachLivE虚拟实验室环境中建立具有典型个性特征与行为的虚拟学生。除了教师准备外，TeachLivE系统也已经在改善智力障碍儿童行为问题的研究中取得了积极成果。[13]残障儿童在与虚拟学生交流时会经历更少与非残障同伴交流时产生的社交障碍。[14]

Caitlyn等研究者开发了一种基于TeachLivE虚拟实验室环境，利用同伴指导（Peer Mentorship）帮助智力障碍学生提升沟通能力，试验采用创新促进就业所需技能（In—FORCE）这一解决问题的沟通干预策略。该策略包括社交沟通、同伴互动、角色扮演以及基于虚拟现实场景的学习。该尝试的参与者参与混合现实环境中的解决问题的角色扮演活动中。基于由美国劳工部创建的社交技能课程，问题场景用于推动In-FORCE干预中的角色扮演活动。由6名专家组成的小组创建并验证20个场景。每一个场景都被制作成一段视频，其中有一位叙述者来描述问题，并且有一位成人虚拟主管从自身角度陈述问题。在四个不同问题场景中，治疗组参与者与虚拟同伴C.J.见面。问题解决技能的变化是在测试前和测试后的会议中，使用研究者建立的In-FORCE问题解决检核表来测量。治疗组和控制组中都会出现一位虚拟主管化身Adkins女士（图6所示）。研究结果显示，试验参与者对于干预的真实性和有用性的反馈都是积极的。[15]

此外，Fraser等研究者在TeachLivE实验室设计一位自闭症虚拟学生来训练特殊教育教师对其实施回合式教学（Discrete Trial Teaching， DTT）的效果。在TeachLivE实验室对特殊教育教师训练中，遵循以下步骤，如图7所示[16]。

研究证实，没有开展真实回合式教学的特殊教育教师，在TeachLivE实验室开展45分钟的混合现实技术环境中的回合式教学，在较短时间内远远超过他们在真实环境中的此项教学效果。此外，每一位特殊教育教师仅在TeachLivE实验室接受一次培训后，就能将他们学到的新技能转移到自己所在的真实教室中来，为自闭症儿童提供教学。这证实了在混合现实环境中开展学习时，在获得最初的高度真实感（High Rate of Fidelity）后，技能的泛化（Generalization）很快就会发生。

四、不同混合现实技术间的比较

以上几种混合现实技术尽管都被称为混合现实技术，但由于实施对象、需求场景和设备自身功能及特点的不同，在活动实施目标、功能等方面均有差异。

（一）技术相似性层面

从技术相似性层面上看，虚拟场景布景的设计都采用了鲜艳、活泼的颜色，这能够吸引残疾儿童，尤其是患有孤独症谱系障碍的儿童和智力障碍的儿童的注意力。这些混合现实技术均强调参与者与场景间的互动，如HoloLens眼镜的关注点就在用户与场景间的互动上。

这几种混合虚拟场景技术具有一定的相似性，如都是混合虚拟现实技术，都使用了颜色鲜艳的虚拟场景，符合残障儿童的喜好，且都需要用户参与互动。混合现实鱼缸技术是在鱼缸表面上，“迷雾之地”混合虚拟现实技术是利用投影仪在地板上投影出虚拟场景来实现互动，HoloLens是通过可穿戴式混合现实眼镜在用户所看到的真实环境中投射虚拟物品数字，同时利用控制器来实现互动。混合现实技术须关注用户的沉浸感体验，他们的设计目标都是吸引用户积极、主动地在他们构建的虚拟场景中展开互动。

（二）技术差异化层面

以上提到的这些混合虚拟技术之间的不同之处有以下几点：1.实施对象不同。HoloLens混合现实眼镜、“迷雾之地”系统、混合现实鱼缸系统等混合现实技术所针对的用户都是残疾儿童，其应用目的是解决残疾儿童，尤其是神经发育障碍儿童情绪、沟通以及行为上的障碍。而TeachLivE实验室系统面向的用户则是各类教师，是为了辅助职前或在职教师培训而设计的。2.用户沉浸感不同。用户沉浸感体验强度依次是HoloLens混合现实眼镜、TeachLivE实验室系统、混合现实鱼缸系统、“迷雾之地”系统。3.所需场地不同。TeachLivE实验室系统所需场地面积最大，“迷雾之地”系统次之，混合现实鱼缸系统需要的场地最小。而HoloLens混合现实眼镜对场地的要求则是随着任务场景要求的变化而改变的。

（三）设计发明时间层面

从以上混合现实干预技术的发明时间上看，最早出现的技术是TeachLivE实验室，早在2008年就有公开发表的文献提到过该技术及其相关应用的介绍。HoloLens混合现实眼镜和混合现实鱼缸系统则是较新的混合现实技术。由此可以看出，将真实场景和虚拟现实场景呈现在更小、技术集成度更高的设备中是未来混合虚拟现实技术发展的一个方向。

五、混合现实技术对我国特殊教育干预发展的启示

（一）混合现实技术为残障儿童干预研究提供新方向

在国内外如中国知网、Web of Science等数据库输入“混合现实技术”“特殊需要儿童”“特殊教育”等关键词就会发现，目前国内外特殊教育领域关于“混合现实技术”的相关研究较少。然而在科技领域，“混合现实技术”的研究和研发已非常普遍。因此，如何利用混合现实技术对残障儿童，尤其是认知障碍儿童开展干预是特殊教育、康复等领域值得研究的问题。

（二）混合现实技术为特殊教育教师培训带来新思考

混合现实技术的出现颠覆了传统的教师培训项目。尤其是TeachLivE实验室系统的出现，为现代化的特殊教育教师职前与职后培训带来了新的思考。如何在不打搅课堂的情况下，对有情绪、行为问题的残障学生开展课堂情绪行为管理？混合现实技术能就此为教师提出最优的解决方案。此外，受到全球新冠疫情的影响，线下教学逐渐转向线上，利用混合现实技术建立教师培训在线虚拟實验室，可以解决教师无法通过真实课堂管理和教育学生的问题。

（三）混合现实技术为残障儿童融入社会提供新保障

混合现实技术通过在真实环境中增加虚拟元素帮助训练残障儿童各种融入社会所需的能力。HoloLens混合现实眼镜能帮助神经发育障碍儿童锻炼生活自理能力，“迷雾之地”混合现实系统能帮助自闭症儿童提升沟通、交流能力。混合现实技术不仅能够增加用户完成游戏任务过程中的趣味性，还能在残障儿童执行游戏任务的过程中采集和处理数据，评估残障儿童在任务执行过程中的错误、不足和优势。康复师可根据这些反馈结果对虚拟游戏人物进行调整和修改，以提升残障儿童的社会生活能力，帮助他们更好地融入社会。

（四）混合现实技术为残障儿童辅助技术研发提供新领域

将高科技不断引入特殊教育的各个环节，利用混合现实技术对神经发育障碍儿童积极的干预。目前仍需要不断地循证实践（Evidence-Based Practice）来验证混合现实技术对神经发展性儿童干预的有效性，同时在混合现实游戏设计中要增强带入感、沉浸感以及互动性。

（五）混合现实技术为我国融合教育实践提供新支持

融合教育问题逐渐得到政府部门和相关领域研究者的重视，而融合教育理念与政策能否最终落实，辅助技术有着关键的作用。在辅助技术领域中的创新不仅能够帮助残障儿童有效开展康复活动，还能帮助他们更好地融入课堂。面向残障儿童的功能较为单一的传统的辅助技术，已经无法满足残障儿童在认知与情感上的需要了，这类传统的辅助技术无法为他们提供综合性辅助，也无法长时间吸引残障儿童的专注力。而混合现实干预技术能整合虚拟场景与真实场景，让神经发育障碍儿童有更加新奇的体验，能与环境展开积极的互动。混合现实干预技术能给予儿童多感官刺激，通过执行游戏任务来训练和提升他们的情绪管理、行为管理、生活自理等方面的能力。

参考文献：

[1] Watts L.，Brennan S.，Phelps R.，IPadican：Trialing iPads to support primary and secondary students with disabilities.Australian Educational Computing，2012，27（2）：4 -12.

[2] 李欢，林佳英.近二十年国际特殊教育辅助技术研究的演化路径分析[J].中国特殊教育，2020（1）：7-16.

[3] U.S. Environmental Protection Agency.Americas Children and the Environment （Third Edition）[M].Washington：Retrieved Fetrieved，2018.

[4] 孔玺. 混合现实技术及其教育应用现状与展望[J]. 现在远距离教育，2019（3）：82-83.

[5] 黄红涛，孟红娟，左明章，郑旭东. 混合现实环境中具身交互如何促进科学概念理解[J].文献，2018（6）：28-36.

[6] Microsoft. Microsoft Holographic Spatial Mapping[EB/OL].（2018-3-21）[2020-10-5].https：//docs.microsoft.com/en-us/windows/mixed-reality/spatial-mapping.

[7] Beatrice a.，Franca g.，Emanuele t.，et al.，Hololearn：Wearable Reality for People with Neurodevelopmental Disorders（NDD）[J]. ASSETS18，2018（1）：40-51.

[8] Ciera Rowell，Batuhan Sayis，Juan Pedro Benitez & Narcis pares，Mixed Reality，Full-Body Interactive Experience to Encourage Social Initiation for Autism：Comparison with a control Nondigital Intervention[J]. Cyberpsychology，Behavior，and Social Networking，2020（23）：5-9.

[9] 勒新培，混合现实鱼缸系统及其交互技术研究[D].青岛：山东大学，2020.

[10] Juan Liu，Yulong Bian. Designing and deploying a mixed-reality aquarium for cognitive training of young children with autism spectrum disorder[J]. SCIENCE CHINA Information Sciences，2020（1）：1-3.

[11] Dieker L. A.，Hynes M et al，Implications of mixed reality and simulation technologies on special education and teacher preparation[J]. Focus on Exceptional Children，2008（40）：1-20.

[12] Melssa E. H，Karen S. V. & Guili Zhang.Mixed-Reality Teaching Experiences Improve Preservice Special Education Students Perceptions of their Ability to Manage a Classroom[J]. Journal of Virtual Worlds Research，2018（1）：1-16.

[13] Walker Z，Vasquez E.，Wienke W.，The impact of simulated interviews for individuals with intellectual disability[J]. Educational Technology & Society，2016（19）：76-88.

[14] Stendal K，Balandin S，Molka-Danielsen J，Virtual worlds：A new opportunity for people with lifelong disability？ [J]. Journal of Intellectual & Developmental Disability，2011（36）：80–83.

[15]? Caitlyn A B.Building Workplace Communication for Individuals with Intellectual Disabilities Using TeachLivE? [J].4th Annual teach live conference Orlando，2016：8-19.

[16] Dawn W F，Tamara J M，Using a Mixed-Reality Environment to Train Special Educators Working With Students With Autism Spectrum Disorder to Implement Discrete Trial Teaching[J]. Hammill Institute on Disabilities，2019（1）：1-12.

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。