在线讨论质量分析工具的研发与实效验证
闫寒冰 段春雨 王文娇
摘要：在线讨论是远程培训的重要活动形式，其讨论质量直接关涉到远程培训的成效。然而，以往的在线讨论质量分析往往局限于或者对分析框架进行学理层面的探讨，或者对内容质量进行事后分析，或者采用部分抽样而非全样本分析。这致使原有研究可操作性不强、过程性干预较弱、数据抽样和分析不够科学。为了改进研究的不足，远程培训在线讨论质量分析框架应围绕话题质量、讨论参与和讨论深度三个关键要素进行建构，分别设置质量分析计算规则，嵌入到网络研修平台中，使其能为学生、教师和管理者自动提供实时的可视化分析仪表盘。以两期远程培训学员为对象，通过对比实验和问卷调查等方法，对在线讨论质量分析工具的应用效果检验表明：在线讨论质量分析工具不仅有利于提高远程培训中学员的讨论参与度与积极性，而且对其讨论深度与讨论质量也具有积极影响。此外，在线讨论质量分析工具还具备一定的自我导向作用，有利于改善远程培训中学员参与讨论的行为，保持和提高其讨论积极性。
关键词：在线讨论；远程培训；讨论质量；分析工具；实效验证
中图分类号：G434 文献标识码：A 文章编号：1009-5195（2018）01-0088-11 doi10.3969/j.issn.1009-5195.2018.01.010
一、引言
得益于互联网在跨越时空限制、共享优质资源等方面的优势，远程培训正在成为各行各业专业人员能力提升的重要渠道之一。以教育领域为例，自“国培计划”实施以来，我国每年均有几百万的中小学教师会通过远程培训来提升自身的专业能力。“大规模”已成为远程培训的常态。建构主义学者认为，社会性交互对一个人的认知发展具有重要的支撑作用（Vygotsky，1978）。以计算机为中介的交流（CMC）理论认为，基于文本的异步讨论活动不仅有利于发展学习者的批判性思维，还有助于促进其深度学习与知识建构。正是基于这样的理念，在线讨论已成为各级各类远程培训中不可或缺的组成部分。
然而，由于缺乏正确的在线讨论质量管理方法，以发帖量、点击数、回帖量为主的质量分析方法在导向上助长了平庸帖子的大量出现，甚至在有些远程培训中，在线讨论活动已完全沦为一种“凑分作业”。学员只顾各自发帖，以帖子数量来凑足分值，很少或从不与同伴进行互动与交流。在线讨论的质量直接影响远程培训的成效，如何常态化、伴随性地对在线讨论质量进行形成性分析，以便精准判断与及时干预，已成为培训实践中亟待解决的问题。
在线讨论质量分析一直是CMC领域的研究热点。许多学者开展了大量的研究工作，形成了许多质量分析方法与工具。但总体而言，当前研究与实践应用的距离较远。大部分研究以内容分析为主，无法嵌入平台实现自动化分析。此外，许多研究方法多为事后分析法，其分析结果只能为下次培训或学习借鉴，而对本次培训活动难以产生实质性影响（Fujita，2013）。本研究借鉴已有研究，系统构建了在线讨论质量分析模型，并据此设计开发了一套可实现自动化分析与可视化呈现的在线讨论质量分析运算规则。为验证其实践成效，将该运算规则以工具形式嵌入教师远程培训平台，并从主观和客观两方面对其有效性进行了检验。
二、在线讨论质量分析研究综述
纵观已有研究，从研究范式上可以分为三类：一是以讨论行为计量为取向的研究范式；二是以讨论内容分析为取向的研究范式；三是以行为数据挖掘为取向的研究范式。相比而言，以內容分析为取向的研究范式是当前研究的主流。
以讨论行为计量为取向的研究范式强调量化的分析标准，倡导从讨论行为数量上分析讨论的质量，典型人物有乔纳森。乔纳森认为在分析CMC交互质量上，有必要采用量化的分析方法，从信息数量上进行研究（Jonassen，1996）。以讨论行为计量为主的研究范式产生较早，许多学者都采用这种方法对在线讨论质量进行了研究。典型研究如Levin等人设计的讨论信息“内容地图”（Concept Maps），通过对远程学习者的交流信息进行统计，以分析与判断讨论交互的质量与信息流向（Levin et al.，1990）。Knutzen开发的“参与版”（Participation Forum）和“参与地图”（Participation Map）等Moodle插件，通过对学生的讨论参与量进行统计，以判定其讨论参与的质量等级（Knutzen，2013）。彭敏军等建构了讨论参与度考量方法，从发帖数、回复数等方面对学生讨论的参与质量进行了计算与测量（彭敏军等，2011）。
后续研究发现，定量的分析标准与方法并不能完全反映在线讨论的交互质量（吴亚婕等，2012）。为了揭示在线讨论活动规律，研究者开始聚焦讨论内容，采用内容分析法评价在线讨论的质量。以讨论内容分析为取向的研究范式比较注重质性分析方法，提倡利用讨论内容分析编码表对在线讨论质量进行分析。其中，最具有代表性的编码表是Henri设计的异步讨论分析框架。Henri以认知学习理论为基础，聚焦于个人发展，提出了参与、社会、交互、认知和元认知等5个分析维度（Henri，1991）。该分析框架目前已被广泛应用与借鉴，成为在线讨论质量分析的先驱性工具。赵建华等对讨论内容分析编码表进行了研究，梳理出15种具有代表性的内容分析工具（赵建华等，2015）。当前以内容分析为取向的研究有很多，典型的有Nandi等借助Henri提出的异步讨论分析框架对网络学习环境下师生的异步交互深度进行了评价，发现学生的在线讨论参与行为易受教师影响，其交互质量取决于教师的及时反馈（Nandi et al.，2012）。黄庆玲等借鉴Garrison等开发的讨论内容分析表（Garrison et al.，2003），对教师工作坊的讨论深度进行了实证研究，通过对比分析话题类型、发帖数以及工作坊的讨论深度，揭示了教师工作坊的讨论特征与影响因素（黄庆玲等，2016）。严亚利等采用自制的交互内容编码表，对海盐博客群中教师的在线交互深度进行研究，发现教师博客交互深度仅限于浅度水平，还无法实现深度学习的预期目标（严亚利等，2010）。
近年来，随着学习分析技术与教育大数据的兴起，以行为数据挖掘为取向的研究范式正逐步成为在线讨论质量分析的“新贵”。典型研究有Gibbs等开发的讨论行为可视化分析工具MTRDS，该工具可以以时间序列的形式实时记录学生的发帖行为，诊断学生的在线讨论参与情况（Gibbs et al.，2006）。Trampu?等开发的讨论主题可视化分析工具，借鉴复杂的聚类算法，不仅可以实时呈现讨论主题聚类图，还可以对讨论主题趋势进行诊断与预测（Trampu? et al.，2010）。Ming等运用文本挖掘技术中的语义分析算法对大学科学课程中师生交互行为进行挖掘，构建出主题模式-时间序列可视化图谱，该图谱可以揭示特定讨论主题与特定讨论策略之间的模式关系（Ming et al.，2011）。Scheuer等基于人工智能技术设计了分析学生在线讨论贡献程度的算法，并通过实验检验了该方法在CSCL学习中的有效性（Scheuer et al.，2010）。
三、在线讨论质量分析工具设计
1.质量分析框架
要设计在线讨论质量分析工具，首先要明确在线讨论质量分析要素。为此，本研究对文献综述中的典型文献进行梳理，提取了其质量分析的主要内容，如表1所示。
2.质量分析指标
依据在线讨论质量分析框架，参照已有研究，本研究建构了在线讨论质量分析指标体系（见表2）。其中，讨论参与分析指标主要借鉴Weinberger等人的研究，设置了讨论参与度和参与异质性两个指标（Weinberger et al.，2005）。讨论深度分析指标主要参照严亚利等人开发的交互深度分析编码表，设置了灌水、浅度、中度、深度四个指标（严亚利等，2010）。讨论主题分析指标主要根据在线讨论的设计原则（闫寒冰等，2008），从教学目标和学习对象等视角出发，设置了目标相关度和对象适切度两个指标。
3.质量分析规则与方法
（1）“讨论参与”的分析规则与方法
讨论参与包括讨论参与度与参与异质性两个指标。其中，讨论参与度主要关注讨论者的参与贡献（如发帖量、回复或评论量等），反映的是讨论参与的个人特征；参与异质性主要关注的是学习者参与在线讨论的平等程度，反映的是在线讨论的群体特征。李银玲等人曾提出通过统计帖子数量来分析讨论参与贡献的计算方法（李银玲等，2008）。本文参照李银玲等人提出的方法，把发帖量与回帖量作为讨论参与度的主要分析指标。将讨论参与度定义为学员参与在线讨论的发帖数量与回帖数量之和，其计算规则为：
讨论参与度C=发帖数量+回帖数量
作为一种虚拟的群体活动，在线讨论还具有共建性的天然属性。因此，讨论参与分析除了考虑学习者的参与贡献以外，还需对其异质性进行考量。Weinberger等人认为在线讨论参与的异质性可通过参与人数占群体人数的百分比来表示（Weinberger et al.，2005）。本文借鉴Weinberger等人的研究，将参与异质性界定为某一讨论话题实际参与讨论的人数占群体总人数的比例，其计算公式为：
参与异质性C=实际参与人数/群体总人数
在具体实践中，讨论参与质量分析主要是将讨论参与度与参与异质性的计算规则嵌入到远程培训平台，实现平台的自动统计与分析。
（2）“讨论深度”的分析规则与方法
本研究将讨论深度定义为发起话题下所有回帖质量的均值，并借鉴已有的交互深度内容分析量表（严亚利等，2010），设计与开发了在线讨论帖子内容深度评价表（见表3）。该表将在线讨论贴的内容深度划分为灌水、浅度、中度、深度四个等级。
因此，某一话题讨论深度的计算规则为：
讨论深度D话题M=（帖子1质量+帖子2质量+…+帖子n质量）/话题M帖子总数n
某个学员讨论深度的计算规则为：
讨论深度D某学员=（某学员帖子1质量+帖子2质量+…+帖子n质量）/某学员帖子总数n
在具体实践中，需将讨论深度计算规则嵌入远程培训平台，这样助学教师就可以在完成讨论帖子正常浏览与点评的同时，伴随性地对学员回帖质量进行即时的简易评价，图2为操作界面的示例。其中，灌水贴、精华贴（中度）、超精华贴（深度）的分数可以通过管理后台来调整。比如设定灌水帖为-1分、一般帖子为+1分、精华帖为+5分、超精华帖为+10分。在整个过程中，平台能过程性地记录各个回帖的“评语”，并依据计算规则自动转换为相应分数。除此之外，还可从“发起话题”和“学员个体”等不同角度来计算讨论深度。值得一提的是，在这种计算规则下，如果帖子被设为“灌水帖”，则发貼越多，得分越少；而如果发帖质量高的话（即被设为“精华帖”或“超精华”帖），则只要发少数几个帖子，就能获得较高分数。因此可以认为，这是一种催发高质量讨论的激励机制。
（3）“讨论主题”的分析规则与方法
讨论主题质量主要包括目标相关度和对象适切度两个指标。所谓目标相关度，是指发起话题与课程学习内容是否相关，是否有助于学习目标的达成。这一指标十分重要，但在实践中却被长期忽视。例如，在“系统教学设计”课程的主题讨论中，助学教师发起题为“为什么教师感到不幸福？”的话题，结果回帖者众多，其中不乏真知灼见。然而，无论学生讨论的参与度有多高，讨论深度有多深，但我们很难说它的讨论质量是高的，因为该主题的“目标相关度”为零。所谓对象适切度，是指发起话题在问题难度、文字表述等方面与学习者认知水平的适切程度。兼顾可行性的考虑，本研究主要借鉴分级评价理念以及李克特评价量表，构建了如表4所示的讨论主题评价表。其中，目标相关度与对象适切度均采用五点计分方式，从低到高划分为5个等级，记分范围为0～4。
在讨论主题分析的具体实践中，不仅需要将其计算规则嵌入至网络研修平台，还需由课程教师（或资深助学教师）依据特定章节的教学目标以及对学习者认知水平的预判，对特定发起话题的目标相关度与对象适切度进行打分。经过打分后，系统会依据拟定的计算规则，自动计算与生成讨论主题的分析结果。讨论主题的设计如图3所示，该功能只向课程教师开放。
（4）讨论质量分析规则与方法
本研究将某一话题的讨论质量定义为发起话题质量与讨论深度的乘积，其计算规则为：
话题讨论质量Q=发起话题质量H*讨论深度D
上述公式相当于为在线讨论的质量赋予了一个介于0～1之间的系数。只有发起话题有意义时，亦即为学习目标服务且适合于当前的学习对象时，在此话题下的讨论才能体现课程学习的意义。
据此，我们将在线讨论的总质量界定为所有讨论主题质量的平均值，其计算公式为：
在线讨论总质量Q总=（话题1讨论质量Q1+话题2讨论质量Q2+…+话题m讨论质量Qm）/讨论话题数m
4.質量分析结果可视化
通过可视化技术与手段分析学习者的行为与特征，已成为学习分析领域研究的一贯做法。其中，学习仪表盘技术是最惯用的分析手段。学习仪表盘又称数字化学习仪表盘，是大数据时代一种新型的在线学习支持工具，比较典型的有可汗学院学习仪表盘、Duolingo学习仪表盘以及“快乐学”仪表盘（张振虹等，2014）。Murray等人在研究中提出利用学习仪表盘分析在线讨论质量的理论模型（Murray et al.，2013）。本文参考Murray等人的研究，采用学习仪表盘技术设计了在线讨论质量分析结果的可视化方案。
在具体过程中，主要采用分角色设计理念，分别从学员视图、助学教师视图以及管理者视图等方面设计了可视化仪表盘。其中，学员视图仪表盘用来记录学员个人讨论情况，方便其进行自我调节与控制；助学教师视图仪表盘用来显示班级群体的在线讨论情况，便于助学教师调整工作方向，采取适当的助学策略；管理者视图仪表盘用来呈现课程班级的在线讨论总体情况，便于支持管理者的教学决策。
（1）学员视图仪表盘
学员视图主要包括“我的帖子统计”“我的讨论参与度”“我的帖子质量”三种仪表盘（见图4）。其中，“我的帖子统计”仪表盘主要记录学员参与各个讨论话题的发帖与回帖数量；“我的讨论参与度”仪表盘主要呈现我的参与度、最高学员参与度、最低学员参与度以及班级学员的平均参与度；“我的帖子质量”仪表盘主要对学员所发的每个帖子的内容深度进行统计。在具体实践中，所有学员的视图仪表盘均可在远程培训平台学员空间的“讨论分析”模块中自主查看。
（2）助学教师视图仪表盘
助学教师视图主要包括“班级在线讨论参与异质性”“在线讨论话题质量”“班级在线讨论深度”“班级在线讨论质量”四种仪表盘（见图5）。其中，“班级在线讨论参与异质性”仪表盘主要呈现班级学员对各个讨论话题的参与情况；“在线讨论话题质量”仪表盘主要显示班级学员参与每个讨论话题的质量；“班级在线讨论深度”仪表盘主要展示班级学员参与每个讨论话题的深度；“班级在线讨论质量”仪表盘主要记录班级学员参与每个话题的讨论质量以及班级总体的讨论质量。在具体实践中，所有助学教师视图仪表盘均可在远程培训平台教师空间的“讨论分析”模块中自主查看。
（3）管理者视图仪表盘
管理者视图主要包括“班级在线讨论总体情况”和“所有班级在线讨论总质量”两种仪表盘。其中，前者是对某一班级在线讨论的总体情况进行分析；后者是对同一课程所有班级的在线讨论总质量进行分析。为了便于呈现，研究者对参与异质性进行了换算，将参与异质性的值乘以10，作为“班级在线讨论总体情况”仪表盘中的显示结果。在具体实践中，所有管理者的视图仪表盘均可在远程培训平台管理空间的“讨论分析”模块中自主查看。
四、在线讨论质量分析工具的应用效果测评
为了检验在线讨论质量分析工具的有效性，本研究将设计好的质量分析规则与方法嵌入到华东师范大学教师远程研修平台。综合采用对比实验、问卷调查等方法，从主观和客观两方面对在线讨论质量分析工具的应用效果进行了测评。
1.实验研究测评
本研究采用对比实验的方法，通过分析使用与未使用在线讨论分析工具的两期学员（参加同一门课程学习）在在线讨论活动上的差异，来验证在线讨论质量分析工具的应用效果，其研究技术路线如图7所示。
实验对象。本实验主要选择上海市市级共享课程“学习过程设计”两期学员为实验对象，并将其划分为两个不同的班级，分别命名为A班、B班。A班为“学习过程设计”第1期学员，人数为120人；B班为“学习过程设计”第3期学员，人数也为120人。两期学员均为上海市区内的中小学教师。
实验控制。本研究对实验条件进行了严格控制：A班、B班两期学员学习相同的课程内容；参与完全一致的在线讨论话题，所有讨论话题均经课程主讲教师认真设计，确保其主题相关度与对象适切性；由同一教师担任助学工作任务；参与培训时间均为5周（35天）。
实验干预。A班学员参加在线培训期间，不开放在线讨论质量分析功能模块；B班学员参加在线培训期间，开放在线讨论质量分析功能模块。待两期培训都结束后，对A班、B班两期学员的在线讨论总体情况进行对比分析。
测评方法。本实验主要将讨论参与和讨论质量作为主要的研究测评点，并以此为依据对A班、B班两期学员的在线讨论活动情况进行对比分析。具体而言，通过帖子数量与参与讨论人数的对比分析来评估A班、B班两期学员的讨论参与情况；通过对比所发帖子的质量来评估A班、B班两期学员的在线讨论质量。其中，帖子数量与参与讨论人数的对比分析主要通过对平台记录的数据进行整理，并借助Excel软件进行统计分析。帖子质量对比分析先借助帖子内容深度评价表对每一个帖子的质量（灌水、浅度、中度、深度）进行判定，然后再利用Excel软件对其具体情况进行统计。为了研究方便，在帖子质量分析中我们采用随机抽样的方法，以讨论话题为单位，分别从A班、B班的讨论话题中随机抽取20%的帖子。其具体抽样方案如表5所示。
（1）A班、B班学员发帖数量对比
统计结果显示，A班发帖总量为1723个，B班发帖总量为2488个。在发帖总量上，B班明显优于A班，说明在线讨论质量分析工具的使用有利于提高班级总体的讨论参与度。在此基础上，本研究又对A班、B班生均发帖量进行了对比分析。统计结果表明，A班的实际参与人数为117人（3人从未登录），生均发帖量为14.7个；B班的实际参与人数为116人（4人从未登录），生均发帖量为21.4个。在生均发帖量上，B班也明显优于A班，说明在线讨论质量分析工具的应用有助于提升学员个体的讨论参与度。
为了更进一步分析在线讨论质量分析工具的影响作用，本研究以讨论话题为单位，分别对A班、B班学员参与每个讨论话题的发帖数量进行了对比分析，其统计结果如图8所示。可以看出，除了讨论4和讨论5，其余14个讨论话题的发帖数量，B班均高于A班，这说明在线讨论质量分析工具的应用还有助于提高学员参与每个讨论话题的讨论参与度。综上，在线讨论质量分析工具的使用对提升学员的讨论参与度具有较好的促进作用。
（2）A班、B班参与讨论人数对比
为了更形象地揭示A班、B班学员参与在线讨论人数的情况，本研究以时间为单位，对A班和B班每周参与在线讨论的人数进行了统计。鉴于两班实际参与总人数不对等，研究主要采用百分比的形式进行统计分析，结果详见图9。
从图9可知，培训初期（第一周、第二周）A班和B班参与讨论人数所占比例都较高，两者区别不大。究其原因，可能是由于培训初期学员的学习兴趣都比较高，乐于参与在线讨论活动。随着培训的推进，A班、B班参与讨论的人数比均出现明显的下降趋势。这可能与培训活动安排有关，因为从第三周开始开放考核作业，一些学员可能由于急于完成作业，而无暇顾及讨论活动。进一步分析发现，虽然A班、B班参与讨论的人数都呈现下降态势，但B班下降速度明显比A班缓慢。这说明在线讨论质量分析工具的应用有助于保持学习者的讨论参与度。
（3）A班、B班所发帖子质量對比
研究邀请两名助学教师参与，利用帖子内容深度评价表对抽样获取的A班、B班所有讨论贴进行手动评价。然后，借助Excel软件对各质量等级（灌水、浅度、中度、深度）的讨论贴所占比例进行统计，结果如图10所示。
从统计结果上看，B班的灌水帖和浅度帖所占比例均比A班低，而B班的中度帖与深度帖所占比例都比A班高。这说明在线讨论质量分析工具的使用有助于减少学员在线讨论浅度交互（灌水帖、浅度帖）的比率，增加其深度交互（中度帖、深度帖）的比率。换言之，在线讨论质量分析工具的应用有利于提升学员参与在线讨论的深度与质量。
2.调查研究测评
问卷设计。与实验研究相类似，问卷研究测评也主要以学员讨论行为和讨论质量为考察点，从这两个方面设计与自编测量题项对学员使用在线讨论分析工具后的主观感受进行调查。设计好的调查问卷主要包括有效性感知和自我导向作用两个维度。其中，有效性感知量表主要参照李克特五点计分方式（1代表不符合，2代表不太符合，3代表一般 ，4代表比较符合，5代表非常符合），从讨论积极性、讨论参与度、帖子质量、讨论行为、讨论关注等方面设置了5个题项。自我导向作用测量主要采用自编的导向作用量表，从讨论参与度和讨论帖质量等方面设置了5个题项，每个题项均有三个选项。按照导向作用程度不同，本文对每个选项进行了编码（0代表无导向，1代表弱导向，2代表强导向）。
问卷发放与回收。以使用过在线讨论质量分析工具的B班学员为调查对象，借助“问卷星”发放调查问卷，共发放问卷120份，回收116份且全部有效，有效回收率为96.7%。
数据分析与统计。以SPSS 19.0为数据分析工具，对回收的调查数据进行统计分析。从统计结果看，有效性感知α系数为0.92，自我导向作用α系数为0.91，表明问卷信度较好。
调查分析结果主要体现在以下两个方面：
（1）学员有效性感知分析
采用SPSS 19.0为分析工具，统计分析学员对在线讨论分析工具的有效性感知，结果如表6所示。从统计结果可知，每个题项的均值都在4.0分之上，说明学员对在线讨论质量分析工具的认可度较高。从具体内容上看，讨论积极性（4.10）、讨论参与度（4.01）、帖子质量（4.01）、讨论行为（4.03）、讨论关注（4.03）等5个问题的均值都大致相当，说明学员认为在线讨论质量分析工具不仅有利于提高他们的讨论积极性与参与度，而且还对其帖子质量、讨论行为以及讨论关注也有积极影响。
（2）学员导向作用感知分析
使用SPSS 19.0统计分析学员对在线讨论质量分析工具的导向作用感知，其结果如表7所示。可以看出，5个题项的均值均大于1.5，这表明在线讨论质量分析工具对学员的参与度和帖子质量都具有较强的导向作用。从参与行为来看，处于较低水平学员的导向作用最强（1.91），处于较高水平学员的导向作用次之（1.68），处于一般水平学员的导向作用最弱（1.61）。不同参与度水平学员的导向作用均值都很高（大于1.5），这说明学员认为在线讨论质量分析工具有助于改善与保持他们的讨论积极性。从发帖行为来看，发精华帖学员（1.76）与发灌水帖（1.80）学员的导向作用均值相当，这说明在线讨论质量分析工具对学员发帖行为也具有一定的促进作用。
五、总结与展望
在线讨论是远程培训的重要活动形式，其质量直接关涉到远程培训的成效。以往的在线讨论质量分析，往往具有以下不足：一是所构建的关键要素局限于学理层面分析，较少形成实践中可操作的分析工具；二是在分析讨论内容质量时，往往是事后分析，而非过程性分析，因而难以用于实践中的及时干预；三是以往研究多采用部分抽样的方式进行分析，尚未使用大数据情境下的全样本分析。本研究系统构建了在线讨论质量分析三要素（话题质量、讨论参与和讨论深度）框架，基于大数据与学习分析技术设计了面向实践的、可用于全样本与过程性分析的在线讨论质量分析规则，并将其嵌入到网络研修平台开展了实效验证。研究发现，在线讨论质量分析工具不仅有利于提升培训教师的在线讨论参与度，而且对培训教师的发帖质量与讨论深度也具有积极影响。另外，研究还发现在线讨论质量分析工具还具备一定的自我导向作用，对改善培训教师的讨论参与行为，保持与提高其参与在线讨论的积极性都具有积极影响。
本研究所生成的讨论质量计算规则具有较强的可行性与普适性，有助于远程培训平台开发者依据自身需要，基于平台的开发环境进行程序设计、规则嵌入以及可视化呈现。研究涉及的“讨论参与”与“讨论深度”均可实现自动化、伴随性的数据收集与分析。但由于“话题质量”涉及与课程内容、学习目标相关的复杂分析，其判断必须由专家（如课程教师或资深的助学教师）参与，因而该要素的自动化分析将有赖于人工智能技术或深度学习算法的进一步发展与优化。这也是本研究未来努力深入探索的方向。
注释：
① 所谓“发起话题”，是指引发讨论行为的帖子内容，不涉及回复帖。“发起话题”主要由助学教师发布，即为教师布置的讨论内容，有时也允许学员发布。
② 根据具体的学习内容与质量分析目的，0.6与0.4的比重为可调节数值。
参考文献：
[1]黄庆玲，李宝敏，任友群（2016）. 教师工作坊在线讨论深度实证研究——以信息技术应用能力提升工程教师工作坊为例[J]. 电化教育研究，（12）：121-128.
[2]李银玲，张超（2008）. 教师远程培训中在线参与度的分析与计算[J]. 中国远程教育，（2）：60-64.
[3]彭敏军，陆新生，刘引红（2011）. 基于数量和质量的在线学习参与度考量方法研究[J]. 现代教育技术，（1）：103-106.
[4]吴亚婕，陈丽（2012）. 在线学习异步交互评价模型综述[J]. 电化教育研究，（2）：44-49.
[5]闫寒冰，魏非（2008）. 远程教学设计[M]. 上海：华东师范大学出版社：121-123.
[6]严亚利，黎加厚（2010）. 教师在线交流与深度互动的能力评估研究——以海盐教师博客群体的互动深度分析为例[J]. 远程教育杂志，（2）：68-71.
[7]张振虹，刘文，韩智（2014）. 学习仪表盘：大数据时代的新型学习支持工具[J]. 现代远程教育研究，（3）：100-107.
[8]赵建华，孔晶（2015）. 在线讨论分析编码表的类型及应用[J]. 远程教育杂志，（2）：11-20.
[9]Fujita， N. （2013）. Critical Reflections on Multivocal Analysis and Implications for Design-Based Research[A]. Suthers， D.， Lund， K.， & Rosé， C. et al. （2013）. Productive Multivocality in the Analysis of Group Interactions[C]. Boston， MA：Springer：435-455.
[10]Garrison， D. R.， Anderson， T.， & Garrison， R. （2003）. E-Learning in the 21st Century： A Framework for Research and Practice[M]. London：Routledge：177-180.
[11]Gibbs， W. J.， Olexa， V.， & Bernas， R. S. （2006）. A Visualization Tool for Managing and Studying Online Communications[J]. Educational Technology & Society， 9（3）：232-243.
[12]Henri， F. （1991）. Computer Conferencing and Content Analysis[A]. Kaye， A. （1991）. Collaborative Learning Through Computer Conferencing[C]. Berlin：Springer：117-136.
[13]Jonassen， D. H. （1996）. Computers in the Classroom： Mindtools for Critical Thinking[M]. Columbus， OH： Merrill Prentice Hall：708.
[14]Knutzen， B. （2013）. Moving to Education 3.0 Participative Learning[EB/OL]. [2017-07-09]. http：//www.elearningforum.net/Seminar/Seminar13-61.html.
[15]Levin， J.， Kim， H.， & Riel， M. （1990）. Analyzing Instructional Interactions on Electronic Message Network[A]. Harasim， L. （1990）. Online Education：Perspectives on a New Environment[C]. Praeger：185-214.
[16]Ming， N.， & Baumer， E. （2011）. Using Text Mining to Characterize Online Discussion Facilitation[J]. Journal of Asynchronous Learning Networks，15（2）：71-109.
[17]Murray， T.， Wing， L.， & Woolf， B. P. et al. （2013）. A Prototype Facilitators Dashboard：Assessing and Visualizing Dialogue Quality in Online Deliberation for Education and Work[A]. Proceedings of the 2013 International Conference on e-Learning， e-Business， Enterprise Information Systems， and e-Government（EEE-2013）[C]：22-25.
[18]Nandi， D.， Hamilton， M.， & Chang， S. et al. （2012）. Evaluating Quality in Online Asynchronous Interactions between Students and Discussion Facilitators[J]. Australasian Journal of Educational Technology，28（4）：684-702.
[19]Scheuer， O.， & Miksatko， J. （2010）. Supporting Collaborative Learning and E-Discussions Using Artificial Intelligence Techniques[J]. International Journal of Artificial Intelligence in Education，20（1）：1-46.
[20]Trampu?， M.， & Grobelnik， M. （2010）. Visualization of Online Discussion Forums[J]. JMLR： Workshop on Pattern Analysis Applications， 11：134-141. http：//jmlr.org/proceedings/papers/v11/trampus10a/trampus10a.pdf.
[21]Vygotsky， L. S. （1978）. Mind in Society[M]. Cambridge， MA： Harvard University Press.
[22]Weinberger， A.， & Fischer， F. （2005）. A Framework to Analyze Argumentative Knowledge Construction in Computer Supported Collaborative Learning[J].Computers & Education， 46（1）：71-95.
收稿日期 2017-11-08 責任编辑 刘选
