动画观看中幼儿字幕注视的眼动研究
夏琼 方莹 王紫妍
【摘要】本研究采用眼动追踪技术探究幼儿观看动画片时的字幕注视行为，发现幼儿对图像区的注视显著多于字幕区;幼儿对字幕的加工特点受到年龄和字幕语言的影响，即随着年龄的增长，幼儿对中文字幕注视增加而对英文字幕注视减少。研究者据此提出相关建议。
【关键词】幼儿;动画观看;字幕;眼动指标
【中图分类号】G610? ?【文献标识码】A? ?【文章编号】1004-4604（2020）7/8-0045-05
随着媒体技术的发展，字幕电影、字幕动画片越来越普遍。字幕作为一种特殊形式的语言文本，能够满足不同语言习惯的人们的观看需求。已有研究表明，成人观看字幕电影时，对字幕有优先阅读的偏好。〔1〕进一步的研究发现，字幕包含的信息量越大，成人对字幕的偏好性越突出。〔2，3〕目前，对儿童观看字幕电影时的注意研究还相对较少，仅有的少量研究也多集中在大龄儿童身上。〔4，5〕基于此，本研究拟考察幼儿观看动画片时的字幕阅读情况，以期为进一步了解幼儿早期文字意识的发展以及多通道信息整合的认知加工能力的发展提供参考。
一、研究设计
1.被试
研究者随机抽取杭州市某幼儿园178名幼儿参与实验。其中，小班幼儿60名（男 30名，女30名），年龄范围为 3.59～4.56岁，平均年龄4.09岁（SD=0.30）;中班幼儿58名（男32名，女26名），年龄范围为4.41～5.56岁，平均年龄5.08岁（SD=0.29）;大班幼儿60名（男38名，女22名），年龄范围为4.55～6.88岁，平均年龄6.10岁（SD=0.39）。所有被试均视力正常，无色弱或色盲。
2.实验材料
研究者选取迪斯尼动画片《小熊维尼》中的视频片段作为实验材料。视频时间长度为55秒，包含1个较为完整的故事情节，视频下方配有字幕。根据音频语言和字幕语言的不同，研究者共创建了4种类型的视频版本，分别是中文配音中文字幕（CA-CS）、英文配音中文字幕（EA-CS）、英文配音英文字幕（EA-ES）和中文配音英文字幕（CA-ES）。字幕呈现时间控制在6秒以内。所有视频均为压缩格式AVI，画面尺寸为1024×635像素，帧率为30帧/秒。
3.实验仪器
本实验采用EyeLink1000遥测式眼动仪。该设备由两台电脑组成，通过以太网连接，其中一台电脑呈现实验刺激，另一台电脑记录眼动变化。用于呈现刺激的屏幕大小为19英寸，刷新频率为60赫兹，分辨率为1024×768像素。眼动记录仪置于屏幕下方，通过瞳孔/角膜的红外反射来记录被试的眼球运动，采样率为500赫兹。
4.实验程序
研究者为被试随机分配视频版本，在安静的实验室内对被试单独施测。被试坐在舒适的椅子上，眼睛与屏幕的距离约为65厘米，眼睛正对显示器的3/4垂直高度位置。一名研究者坐在被试身后，防止被试的身体和头部出现大幅度运动。另一名研究者负责操控眼动仪等设备。所有被试实验前先进行5点定标校准。 校准图片为黑色小圆环（外环直径为16毫米，内环直径为4毫米），随机呈现在屏幕的4个角落和中央。5点定标校准完成后，被试观看视频，同时眼动记录开始。视频的音量大小平均为50分贝。视频观看完毕后，研究者要求被试口头回答关于视频主要内容的问题。实验中所有材料的呈现和眼动记录均由设备自带的编程软件Experiment Builder自动完成。眼动数据通过数据处理软件Data Viewer处理后导出，并运用SPSS21.0软件进行统计分析。
5.眼动指标
本研究主要选取了注视时间、注视次数、瞳孔直径、字幕区注视时间百分比等眼动指标进行分析。参照以往研究，将被试视线在注视目标上停留时间超过100毫秒、面积不大于1°×1°视角的停留点定义为一个注视点。注视时间是指被试在注视目标上的所有注视点的停留时间之和。注视次数是指被试在注视目标上注视点的数量。瞳孔直径是反映心理负荷的敏感指标，随心理努力的程度而变化。在加工难度较大的材料时，心理负荷大，瞳孔会相应变大，反之，则不会变化。此外，瞳孔直径的大小还与认知兴趣有关，人们看到感兴趣的事物时往往会表现出较大的瞳孔直径。字幕区注视时间百分比是字幕区所有注视点的注視时间总和除以字幕总呈现时间所得，反映了被试在字幕区对字幕的注视比率。
二、研究结果
研究者在屏幕的图像区（1024 ×439 像素）和字幕区（1024×196 像素）各画了一个矩形兴趣区，对兴趣区内的注视时间、注视次数以及瞳孔直径进行了3（年龄段：小班、中班、大班）×2（音频语言：中文、英文）×2（字幕语言：中文、英文）×2（兴趣区：字幕区、图像区）的重复测量方差分析。由于字幕区和图像区所占的面积差异较大，因此，研究者以字幕区和图像区的像素面积作为系数对注视时间和注视次数进行加权（见表1）。
1.注视时间
分析结果表明，在注视时间上，年龄的主效应不显著（p>0.05），音频语言的主效应以及字幕语言的主效应也均不显著（ps>0.05）。兴趣区的主效应显著（p<0.01），幼儿对图像区的注视时间显著长于字幕区。年龄与音频语言、年龄与字幕语言、音频语言与字幕语言的交互效应均不显著（ps>0.05）。兴趣区与年龄、兴趣区与字幕语言的交互效应均不显著（ps>0.05）。兴趣区与音频语言的交互效应接近显著（p=0.08），在英文音频条件下，幼儿对字幕区的注视时间要长于中文音频条件。
年龄、音频语言与字幕语言之间的交互效应不显著（p>0.05）。兴趣区、年龄与音频语言之间的交互效应不显著（p>0.05）。兴趣区、音频语言和字幕语言之间的交互效应不显著（p>0.05）。兴趣区、年龄和字幕语言之间的交互效应显著（p<0.05），表现为随年龄增长，幼儿对中文字幕的注视时间增加，对英文字幕的注视时间减少。兴趣区、年龄、音频语言和字幕语言之间的交互效应不显著（p>0.05）。
2.注视次数
分析结果表明，在注视次数上，年龄的主效应显著（p<0.01），幼儿对字幕的注视次数随年龄增长而显著增多。音频语言的主效应不显著（p>0.05）。字幕语言的主效应临界显著（p=0.06），幼儿在中文字幕条件下对字幕的注视次数多于英文字幕条件。兴趣区的主效应非常显著（p<0.001），幼儿注视图像区的次数显著多于字幕区。年龄与音频语言、年龄与字幕语言、音频语言与字幕语言之间的交互效应均不显著（ps>0.05）。兴趣区与年龄、兴趣区与音频语言的交互效应也不显著（ps>0.05）。兴趣区与字幕语言的交互效应临界显著（p=0.06），表现为在中文字幕条件下，幼儿对字幕区的注视次数更多。
年龄、音频语言与字幕语言之间的交互效应不显著（p>0.05）。兴趣区、年龄与音频语言之间的交互效应不显著（p>0.05）。兴趣区、音频语言和字幕语言之间的交互效应不显著（p>0.05）。兴趣区、年龄和字幕语言之间的交互效应临界显著（p=0.05），表现为随年龄增长，幼儿对中文字幕的注视次数增加，对英文字幕的注视次数没有显著变化;在英文字幕条件下，幼儿对图像区的注视次数随年龄增加。兴趣区、年龄、音频语言和字幕语言之间的交互效应不显著（p>0.05）。
3.瞳孔直径
分析结果表明，在瞳孔直径上，年龄的主效应显著（p<0.05），幼儿注视字幕区的瞳孔直径随年龄增长而显著变大。音频语言、字幕语言的主效应均不显著（p>0.05）。兴趣区的主效应非常显著（p<0.01），幼儿注视图像区的瞳孔直径显著大于字幕区。年龄与音频语言的交互效应不显著（p>0.05）。年龄与字幕语言之间的交互效应临界显著（p=0.053），小班幼儿和中班幼儿注视英文字幕的瞳孔直径大于中文字幕，但大班却相反。 音频语言与字幕语言之间的交互效应显著（p<0.05），在音频语言与字幕语言一致的条件下，幼儿注视字幕区的瞳孔直径小于音频语言和字幕语言冲突条件下的瞳孔直径。 兴趣区与年齡、兴趣区与音频语言、兴趣区与字幕语言的交互效应均不显著（ps>0.05）。
年龄、音频语言和字幕语言之间的交互效应不显著（p>0.05）。兴趣区、年龄与音频语言之间的交互效应接近显著（p=0.07），在中文音频条件下，大班幼儿注视字幕区的瞳孔直径大于中班和小班幼儿，注视图像区的差异不大;在英文音频条件下，幼儿注视图像区的瞳孔直径随年龄增长而变大，注视字幕区的差异不大。兴趣区、年龄和字幕语言之间的交互效应不显著（p>0.05）。兴趣区、字幕语言和音频语言之间的交互效应不显著（p>0.05）。兴趣区、年龄、音频语言和字幕语言之间的交互效应不显著（p>0.05）。
4.字幕区注视时间百分比
对字幕区注视时间百分比进行了3（年龄段：小班、中班、大班）×2（音频语言：中文、英文）×2（字幕语言：中文、英文）的多因素方差分析（见表2）。结果表明，在字幕区注视时间百分比上，年龄、音频语言、字幕语言的主效应均不显著（p>0.05）。音频语言与年龄的交互效应不显著（p>0.05）。音频语言与字幕语言的交互效应也不显著（p>0.05）。字幕语言与年龄的交互效应接近显著（p=0.06），表现为在中文字幕条件下，大班幼儿对字幕区的注视时间百分比高于中班和小班幼儿，而在英文字幕条件下，幼儿对字幕区的注视时间百分比随年龄的增长而降低。
三、讨论
本研究发现，幼儿并没有表现出与成人一样的对字幕自动化加工的特点，他们对图像的关注多于对字幕的关注。这与已有研究结果一致。幼儿早期阅读能力经历了从图画到文字的发展过程，学前末期，幼儿才逐渐成为一个初步的文字阅读者。〔6〕因此，幼儿对图像区的注视时间长，注视次数多，观看图像时的瞳孔直径也更大。
本研究发现，幼儿对字幕的加工特点受年龄和字幕语言的影响。随年龄的增长，幼儿对中文字幕的注视行为增加。在中文字幕条件下，大班幼儿对字幕区的注视时间百分比高于中班和小班幼儿;在英文字幕条件下，幼儿对字幕区的注视时间百分比随年龄的增长而降低。本研究还发现，大班幼儿注视中文字幕时瞳孔直径显著增大。此外，在音频语言与字幕语言一致条件下，幼儿的瞳孔直径小于音频、字幕语言冲突条件下的瞳孔直径。幼儿的视觉注视行为逐步受到其知识经验特别是语言文字熟悉度的影响。随着年龄的增长，幼儿的中文阅读经验逐渐丰富，对文字熟悉度增加，文字意识逐步发展。〔7〕因此，幼儿对中文字幕的注视行为增加。此外，幼儿对电视的注意最初是受显著性的知觉特征所驱动的，如声、光、颜色、新异的字幕等。随着幼儿的成熟和知识经验的累积，注意控制变得越来越主动，幼儿对电视的注意逐步转变为主要受理解过程的驱动。〔8〕
四、教育启示
本研究发现，幼儿在动画观看中对字幕的注视行为与其文字意识的发展有关。文字意识是指有关文字形式和功能的内隐或外显意识。这种意识在幼儿时期表现为对文字的兴趣和关注。幼儿的文字意识发展经历了三个阶段：萌发阶段、探索阶段、类文字阅读阶段。从文字意识发展的年龄特征来看，5岁是幼儿文字意识发展的转折点。5岁幼儿的图画阅读能力发展较为完善，幼儿开始在阅读中表现出对文字的极大兴趣和关注。到6岁时，幼儿的文字意识不断提高，已经成为一个初步的文字阅读者。幼儿的文字意识发展水平会影响其观看动画片时的字幕注视行为，反过来，动画片中经常出现的字幕也会促进其文字意识的发展。因此，我们应当把握幼儿文字意识发展的转折点，为幼儿适时、少量提供优质的、带字幕的电视节目，培养幼儿的文字意识。
本研究还发现，幼儿观看视频的行为和认知机制与成人不同，他们对视频的注视行为受到其知识经验的影响。也就是说，若幼儿理解视频内容，则他们的注视行为会变得更为主动。因此，我们为幼儿提供的电视节目应当适合幼儿当前的认知发展水平和知识经验，这不仅有助于幼儿更好地理解节目内容，也能促进幼儿对节目进行更主动的认知加工。
參考文献：
〔1〕G?RY DYDEWALLE， PRAET C，VERFAILLIE K，et al.Watching subtitled television automatic reading behavior〔J〕.Communication Research，1991，（5）：650-666.
〔2〕WIM D B，G?RY DYDEWALLE.The minds eye：Cognitive and applied aspects of eye movement research〔M〕.Amsterdam：North-Holl and? Publishing Company，2003：671-684.
〔3〕王福兴，周宗奎，赵显，等.文字熟悉度对电影字幕偏好性影响的眼动研究〔J〕.心理与行为研究，2012，（1）：50-57.
〔4〕G?RY DYDEWALLE，WIM D B.Eye movements of children and adults while reading television subtitles〔J〕.European Psychologist，2007，（3）：196-205.
〔5〕G?RY DYDEWALLE， JOHAN V R.Developmental studies of text-picture interactions in the perception of animated cartoons with text〔J〕.Advances in Psychology，1989，58：233-248.
〔6〕刘宝根，周兢，高晓妹，等.4～6岁幼儿图画书自主阅读过程中文字注视的眼动研究〔J〕.心理科学，2011，34（1）：112-118.
〔7〕刘宝根.学前儿童文字意识发展研究述评〔J〕.幼儿教育：教育科学，2013，590（6）：41-45.
〔8〕PEMPKL T A，KIRKORIAN H L，RICHARDS J E，et al.Video comprehensibility and attention in very young children〔J〕.Developmental Psychology，2010，（46）：1283-1293.
A Study of Childrens Eye Movement in Their Visual Attention to Subtitle During Cartoon Watching
Xia Qiong， Fang Ying， Wang Ziyan
（Hangzhou College for Kindergarten Teachers， Zhejiang Normal University， Hangzhou， 310012）
【Abstract】Using eye-movement tracking technology， this study explored young childrens visual attention to subtitles during cartoon watching. The results revealed that young children paid more attention to the area of images than subtitles; childrens subtitle processing is impacted by their ages and subtitle types， their attention to Chinese subtitles increases but attention to English ones decreases with age. The researchers put forward some suggestions.
【Keywords】 young children; cartoon watching; subtitle; eye movement
* 本文为浙江省教育厅科研项目“幼儿动画观看中字幕阅读的眼动研究”的研究成果之一，项目批准号：Y201431930。
**通讯作者：夏琼，博士，浙江师范大学杭州幼儿师范学院副教授，E-mail：q_xia@126.com
