智能课堂监控与分析系统
戴振泽 施艳 郑少伟 郭梓文 丁王斌
摘 要：为解决传统监控系统耗时长，效率低，可靠性差等问题，本文基于人工智能技术，对传统监控系统进行改进提升，设计一个智能课堂监控与分析系统。该系统综合使用Java编程技术、图像视频处理技术、机器学习技术，对学生在课堂上的行为表现进行智能地识别与分析，实现从人工监控到智能监控的转变，从而大幅提升课堂质量管控。
关键词：智能课堂；视频监控；人工智能
中图分类号：TP319 文献标识码：A
1 引言（Introduction）
课堂监控系统是记录和重现课堂教学的重要工具[1]，是一种采用跟踪技术来记录课堂教学活动的系统。
智能课堂监控与分析系统的创建，是为了更好的提高学校对课堂教学质量的管控的重要举措，而传统课堂监控系统一般由人工监控，用于实时监视课堂教学情况与突发事件，无法有效的对课堂教学质量进行评估。智能课堂监控与分析系统以其全新的“主动监控”模式，从根本上解决了传统课堂监控系统的完全依赖人工监控的局限性，大幅提升了课堂监控系统的工作效率，节省了人力资源。通过监控视频中的图像进行自动智能分析来对监控进行识别，分类，在此基础上来分析判断，从而完成日常管理，做出反馈。
2 智能课堂监控现状（Intelligent classroom
monitoring）
据调查显示，很多高校的课堂监控还停留在手工统计数据、手工计算分析数据的层次上，缺乏实效性的反馈。当前很多发达国家高校也建立了相对完善的课堂监控系统，对课堂教学活动进行了深入研究。
例如：澳大利亚昆士兰大学（The University of Queensland）课堂监控系统是对教师教学进行监督，由教学委员会进行综合加工、整理评价，并对教师进行相应指导；美国耶鲁大学（Yale University）课堂监控以考察学校教学目标、计划、大纲、学生管理等工作，由第三方鉴定机构进行考评；英国的圣安德鲁斯大学（University of St Andrews）课堂监控主要侧重教学过程，全过程、全方位、全员性监控评估，即教师质量监控评估，学生质量监控评估，教学效果监控评估等[2]。
当然，国内高校也有课堂监控体系，但以人工为主，对于数据采集统计，往往消耗数据处理时间，失去时效性，降低教学监控效果。例如：苏州市职业大学课堂监控系统是对教师行为、学生行为、教学特色等内容进行监控分析，只是重点分析课堂教学，对教师监控、对板书监控、对多媒体教学进行监控、对学生活动监控，但是只能监控而已并不能形成智能的分析系统，会造成评价的偏差[1]；无锡职业技术学院课堂监控系统只是对“学生信息反馈”“听评课反馈”“课堂考勤”等主要功能模块进行整合，实现了教学信息实时采集、实时反馈，动态数据智能汇总，同样也无法做出智能的评定[3]；山东技师学院课堂监控系统是通过校园网对教学楼课堂实行有效地监控，能够根据需要对存储图像时间进行设定，实现实时录像、录像存放、回放、录像检索等管理。通过设计，辅导员可以不受时间空间的限制，方便的使用手机、电脑等终端设备对自己所带班级进行远程的纪律和学习督导[4]。但是实现对课堂信息的提取、基础数据的汇总需要人员增添，统计分析可比性不强，没有实现实时监控[1]。
2.1 传统视频监控系统的不足
目前视频监控已经普遍存在，但往往并没有充分发挥它实时主动监督的作用。现存的大部分视频监控系统一般都是通过两种方法运用监控的结果：
（1）将摄像机的拍摄的视频记录下来，当突发异常事件之时，才通过回放所保存的视频，观察所发生的事实。但是，这时往往为时已晚，不利于进行预防和调整。
（2）把多个视频监控画面集中到一个监控室内，通过监控室内数十个显示器同时显示各个场景画面，以供监控人员观看。当监控人员通过显示画而发现某些异常时，人工通知相关人员前去处理。但是，据调查显示，每小时一个人能集中注意力的时间低于20分钟，另外由于摄像头较多，往往每个显示器都是轮流显示多个摄像头的画面。因此，通常监控人员平均观看每个摄像头的时间低于每小时5分钟，无法有效地进行管理[5]。
庞大的视频数据量，由人工实时监控，所花费的代价是惊人的，效率是非常低下的。总之，装备带有一定智能的视频监控系统已经是很多行业的迫切要求。
2.2 智能视频监控系统的定义及其优点
智能视频监控就是在不需要人工干预情况下，利用计算机视觉、数字图像处理和视频图像分析的方法，对摄像机拍摄的视频图像序列进行自动分析，实现系统对场景中的举动进行识别判断。
智能视频监控系统和传统的视频监控系统比较，具有很多的优点：
（1）无限监控。智能视频监控系统能对所监控的画面进行一天24小时无止息的监控，并自动分析，提高事件分析的效率并及时反馈，可及时查看。
（2）提升准度。智能视频监控系统可以借助強大的视频处理、分析模块，能有效地降低漏查和误查概率。
总之，智能化一直是计算机视觉的热点研究问题之一，也是时代发展的必然。
建设“智慧课堂”是提升教学质量的新支点和新动力，随着人工智能技术的迅猛发展，传统视频监控系统与人工智能的结合是大势所趋，因此发展课堂智能监控技术也势在必行。传统课堂监控系统由于海量视频数据在人力监控资源上的局限性，这种“被动式，忽略式”的视频监控模式难以满足当今学校对教学的管控服务。本文旨在设计一个智能课堂监控与分析系统，以建设高效课堂为中心，利用最新的图像视频处理与机器学习技术对学生在课堂上的行为表现进行智能地识别与分析，让监控智能化，让课堂智慧化。
3 智能课堂监控与分析系统设计（Design of intelligent
classroom monitoring and analysis system）
3.1 系统方案总括
现如今，教室里安装的视频监控除了对课堂教学情况进行监控与记录以外，并不能对其进行有效地分析，在反馈整合上没有实现智能化。本文设计的智能课堂监控与分析系统是一个结构严谨，时效性强的系统[6]，其方案流程为：教室摄像头定时截取课堂学生行为照片并传入系统后台，系统按照以时间命名的文件夹将其提取、存档，通过样本训练的方式得到符合的构造方式，智能地对图像进行自动识别分析，从而对数据进行整合，得出一张课堂反馈表，减少人力长时间监控疲劳的弊端，有助于数字化校园的建设与发展，能有效的提高学校对课堂教学质量的管控，推动“智慧课堂”的发展。设计了如图1所示的结构图。
3.2 软件结构设计及功能简介
系统软件采用数据库作为管理系统的后台，采用Java开发工具软件作为数据操作的前台，是用户和计算机交流的人-机接口管理软件[7]。按照智能课堂监控与分析系统的架构，设计了如图2所示的功能模块。
由图可知，智能课堂监控与分析系统是依托监控系统对学生在课堂上课行为表现（如睡觉、玩手机、认真听课等）的海量数据的采集，通过课堂行为动作识别模块中的机器学习的方法对采集的图像进行智能的识别与分类，并在此基础上对数据进行智能的评估，实时数字化反馈学生课堂行为，不受时间空间的限制，提高信息整合能力。
（1）课堂行为监控模块
实时监控是对学生课堂行为的一个提醒，能够起到一个督促的作用。教学检查中教务处、系部检查人员可以不受地点限制地完成对课堂的检查，完成对课堂状况的判断，可以更加如实掌握学生的课堂表现，对学生和学校都能有促进作用。
（2）课堂行为动作识别模块
作为系统的核心模块，该模块显得尤为重要。通常所说的图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。但是在实际行为图像处理过程中，经常会出现奇怪现象，如端正坐姿的睡觉、遮挡性的玩手机等行为都对系统识别有很大的影响，图像与现实所出现的差异也在所难免，通过海量原型的比对，从而得出较为正确可靠的信息资源。
实现课堂行为识别的方法多样，我们选择的是基于人工智能行为识别的条件下利用Python进行深度学习设计、开发，封装图像数据库，对其进行检测分析，判断学生课堂的行为举动，通过机器学习的方法能有效地做出反馈，改进学校管理学生的模式，提升学校的教学质量。借助计算机强大的数据处理功能，反馈出各个班级学生的上课状态、上课风貌，快速分析识别更准确地得出数据结论，使得图像信息数字化，从而可以更方便地理解判断。
（3）智能评价模块
将一节课45分钟分为三段（每15分钟一段），每一段进行单独评分。设定各个时段听课效率占比大于75%为优秀，占比大于50%小于75%的为良好，占比小于50%的为听课效率较差的状况（听课效率=认真听课的人数/班级总人数）。最后依据分段评分情况，按照一时段前15分钟占比三成，二时段中间15分钟占比四成，三时段末15分钟占比三成的评分标准累加完成对各班该节课最后得分的评估（设一时段、二时段、三时段听课率分别为X1、X2、X3，则最后评
分=X3*30%+X2*40%+X3*30%）。
学校可以基于分析结果在后期的探讨中给予各个班教学更中肯的评价，也可以以此作为评优的考核标准。
本文重点是将人工智能技术应用于智能课堂监控与分析系统中，该系统源于计算机视觉，融合了图像处理技术，模式识别等技术，这些技术已经越来越受到外界的关注。同时，利用已有的教室监控资源，降低成本，发挥团队和师资的强大力量去努力实现教育教学的可视化管理。
4 实现效果（Achieved results）
4.1 系统主界面
当用户启动软件后，进入智能课堂监控与分析系统主界面，主界面设置了四个窗口（实时监控、信息管理、数据查询、设置），可以根据不同的需求开启不同的窗口，如图3所示。
4.2 实时监控
软件对摄像头所监控的数据进行同步传输，直接成像进入系统，可以随时了解各班学生课堂表现，从而可以及时的做出提醒和改进，如图4所示。
4.3 自动截图与分类
软件对该摄像头下产生的数据进行分类并自动截图保存至本地，系统可以根据图片显示进行管理，也可方便有据查看课堂行为，如图5所示。
4.4 数据查询
用户可以选择性地对各个年级、各个专业、各个班级进行课堂行为表现查询，依据自由选择导出各班的课堂结果分析，如图7所示。
5 结论（Conclusion）
课堂教学是素质教育的主要阵地，是教师和学生教与学活动相互的直接表现。课堂行为动作监控可以全方位跟踪学生学习，本文智能课堂监控与分析系统充分结合了智能识别技术、计算机技术和网络技术，为教学质量提供真实有效的依据。本文所涉及的人工智能机器识别中的行为识别作为当下最热门的技术之一，应用层面广博。本文的研究和设计成果可以为各个高校课堂学生行为管理提供有益的借鉴和参考。但是行为识别程序在实际应用时，识别准确率还有待提高，需要进一步研究完善。
参考文献（References）
[1] 樊凌，戴雯惠，唐寅.基于智能跟踪的课堂教学监控系统的探索与研究[C].International Conference on Education Technology & Training，2010.
[2] 黄健荣.梧州学院课堂教学质量监控系统的设计与实现[D].电子科技大学，2013.
[3] 徐金凤，张路遥.高职院校教学质量监控信息化平台的设计——以无锡职业技術学院为例[J].无锡职业技术学院学报，2017，16（3）：41-44.
[4] 李霞.校园视频监控系统的研究与实现[D].山东大学，2015.
[5] 袁国武.智能视频监控中的运动目标检测和跟踪算法研究[D].云南大学，2012.
[6] 荆洲，权伟，唐杰，等.基于人脸识别的智能课堂点名系统[J].软件工程，2017，20（5）：43-46.
[7] 王云良，汤慧芹，顾卫杰.高职院校智能化课堂教学质量监控系统研究[J].软件工程，2015（3）：28-29.
作者简介：
戴振泽（1998-），男，本科生.研究领域：物联网工程.
施 艳（1998-），女，本科生.研究领域：物联网工程.
郑少伟（1998-），男，本科生.研究领域：软件工程.
郭梓文（1999-），男，本科生.研究领域：图像处理.
丁王斌（1990-），男，硕士，助教.研究领域：软件工程.本文通讯作者.
摘 要：为解决传统监控系统耗时长，效率低，可靠性差等问题，本文基于人工智能技术，对传统监控系统进行改进提升，设计一个智能课堂监控与分析系统。该系统综合使用Java编程技术、图像视频处理技术、机器学习技术，对学生在课堂上的行为表现进行智能地识别与分析，实现从人工监控到智能监控的转变，从而大幅提升课堂质量管控。
关键词：智能课堂；视频监控；人工智能
中图分类号：TP319 文献标识码：A
1 引言（Introduction）
课堂监控系统是记录和重现课堂教学的重要工具[1]，是一种采用跟踪技术来记录课堂教学活动的系统。
智能课堂监控与分析系统的创建，是为了更好的提高学校对课堂教学质量的管控的重要举措，而传统课堂监控系统一般由人工监控，用于实时监视课堂教学情况与突发事件，无法有效的对课堂教学质量进行评估。智能课堂监控与分析系统以其全新的“主动监控”模式，从根本上解决了传统课堂监控系统的完全依赖人工监控的局限性，大幅提升了课堂监控系统的工作效率，节省了人力资源。通过监控视频中的图像进行自动智能分析来对监控进行识别，分类，在此基础上来分析判断，从而完成日常管理，做出反馈。
2 智能课堂监控现状（Intelligent classroom
monitoring）
据调查显示，很多高校的课堂监控还停留在手工统计数据、手工计算分析数据的层次上，缺乏实效性的反馈。当前很多发达国家高校也建立了相对完善的课堂监控系统，对课堂教学活动进行了深入研究。
例如：澳大利亚昆士兰大学（The University of Queensland）课堂监控系统是对教师教学进行监督，由教学委员会进行综合加工、整理评价，并对教师进行相应指导；美国耶鲁大学（Yale University）课堂监控以考察学校教学目标、计划、大纲、学生管理等工作，由第三方鉴定机构进行考评；英国的圣安德鲁斯大学（University of St Andrews）课堂监控主要侧重教学过程，全过程、全方位、全员性监控评估，即教师质量监控评估，学生质量监控评估，教学效果监控评估等[2]。
当然，国内高校也有课堂监控体系，但以人工为主，对于数据采集统计，往往消耗数据处理时间，失去时效性，降低教学监控效果。例如：苏州市职业大学课堂监控系统是对教师行为、学生行为、教学特色等内容进行监控分析，只是重点分析课堂教学，对教师监控、对板书监控、对多媒体教学进行监控、对学生活动监控，但是只能监控而已并不能形成智能的分析系统，会造成评价的偏差[1]；无锡职业技术学院课堂监控系统只是对“学生信息反馈”“听评课反馈”“课堂考勤”等主要功能模块进行整合，实现了教学信息实时采集、实时反馈，动态数据智能汇总，同样也无法做出智能的评定[3]；山东技师学院课堂监控系统是通过校园网对教学楼课堂实行有效地监控，能够根据需要对存储图像时间进行设定，实现实时录像、录像存放、回放、录像检索等管理。通过设计，辅导员可以不受时间空间的限制，方便的使用手机、电脑等终端设备对自己所带班级进行远程的纪律和学习督导[4]。但是实现对课堂信息的提取、基础数据的汇总需要人员增添，统计分析可比性不强，没有实现实时监控[1]。
2.1 传统视频监控系统的不足
目前视频监控已经普遍存在，但往往并没有充分发挥它实时主动监督的作用。现存的大部分视频监控系统一般都是通过两种方法运用监控的结果：
（1）将摄像机的拍摄的视频记录下来，当突发异常事件之时，才通过回放所保存的视频，观察所发生的事实。但是，这时往往为时已晚，不利于进行预防和调整。
（2）把多个视频监控画面集中到一个监控室内，通过监控室内数十个显示器同时显示各个场景画面，以供监控人员观看。当监控人员通过显示画而发现某些异常时，人工通知相关人员前去处理。但是，据调查显示，每小时一个人能集中注意力的时间低于20分钟，另外由于摄像头较多，往往每个显示器都是轮流显示多个摄像头的画面。因此，通常监控人员平均观看每个摄像头的时间低于每小时5分钟，无法有效地进行管理[5]。
庞大的视频数据量，由人工实时监控，所花费的代价是惊人的，效率是非常低下的。总之，装备带有一定智能的视频监控系统已经是很多行业的迫切要求。
2.2 智能视频监控系统的定义及其优点
智能视频监控就是在不需要人工干预情况下，利用计算机视觉、数字图像处理和视频图像分析的方法，对摄像机拍摄的视频图像序列进行自动分析，实现系统对场景中的举动进行识别判断。
智能视频监控系统和传统的视频监控系统比较，具有很多的优点：
（1）无限监控。智能视频监控系统能对所监控的画面进行一天24小时无止息的监控，并自动分析，提高事件分析的效率并及时反馈，可及时查看。
（2）提升准度。智能视频监控系统可以借助強大的视频处理、分析模块，能有效地降低漏查和误查概率。
总之，智能化一直是计算机视觉的热点研究问题之一，也是时代发展的必然。
建设“智慧课堂”是提升教学质量的新支点和新动力，随着人工智能技术的迅猛发展，传统视频监控系统与人工智能的结合是大势所趋，因此发展课堂智能监控技术也势在必行。传统课堂监控系统由于海量视频数据在人力监控资源上的局限性，这种“被动式，忽略式”的视频监控模式难以满足当今学校对教学的管控服务。本文旨在设计一个智能课堂监控与分析系统，以建设高效课堂为中心，利用最新的图像视频处理与机器学习技术对学生在课堂上的行为表现进行智能地识别与分析，让监控智能化，让课堂智慧化。
3 智能课堂监控与分析系统设计（Design of intelligent
classroom monitoring and analysis system）
3.1 系统方案总括
现如今，教室里安装的视频监控除了对课堂教学情况进行监控与记录以外，并不能对其进行有效地分析，在反馈整合上没有实现智能化。本文设计的智能课堂监控与分析系统是一个结构严谨，时效性强的系统[6]，其方案流程为：教室摄像头定时截取课堂学生行为照片并传入系统后台，系统按照以时间命名的文件夹将其提取、存档，通过样本训练的方式得到符合的构造方式，智能地对图像进行自动识别分析，从而对数据进行整合，得出一张课堂反馈表，减少人力长时间监控疲劳的弊端，有助于数字化校园的建设与发展，能有效的提高学校对课堂教学质量的管控，推动“智慧课堂”的发展。设计了如图1所示的结构图。
3.2 软件结构设计及功能简介
系统软件采用数据库作为管理系统的后台，采用Java开发工具软件作为数据操作的前台，是用户和计算机交流的人-机接口管理软件[7]。按照智能课堂监控与分析系统的架构，设计了如图2所示的功能模块。
由图可知，智能课堂监控与分析系统是依托监控系统对学生在课堂上课行为表现（如睡觉、玩手机、认真听课等）的海量数据的采集，通过课堂行为动作识别模块中的机器学习的方法对采集的图像进行智能的识别与分类，并在此基础上对数据进行智能的评估，实时数字化反馈学生课堂行为，不受时间空间的限制，提高信息整合能力。
（1）课堂行为监控模块
实时监控是对学生课堂行为的一个提醒，能够起到一个督促的作用。教学检查中教务处、系部检查人员可以不受地点限制地完成对课堂的检查，完成对课堂状况的判断，可以更加如实掌握学生的课堂表现，对学生和学校都能有促进作用。
（2）课堂行为动作识别模块
作为系统的核心模块，该模块显得尤为重要。通常所说的图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。但是在实际行为图像处理过程中，经常会出现奇怪现象，如端正坐姿的睡觉、遮挡性的玩手机等行为都对系统识别有很大的影响，图像与现实所出现的差异也在所难免，通过海量原型的比对，从而得出较为正确可靠的信息资源。
实现课堂行为识别的方法多样，我们选择的是基于人工智能行为识别的条件下利用Python进行深度学习设计、开发，封装图像数据库，对其进行检测分析，判断学生课堂的行为举动，通过机器学习的方法能有效地做出反馈，改进学校管理学生的模式，提升学校的教学质量。借助计算机强大的数据处理功能，反馈出各个班级学生的上课状态、上课风貌，快速分析识别更准确地得出数据结论，使得图像信息数字化，从而可以更方便地理解判断。
（3）智能评价模块
将一节课45分钟分为三段（每15分钟一段），每一段进行单独评分。设定各个时段听课效率占比大于75%为优秀，占比大于50%小于75%的为良好，占比小于50%的为听课效率较差的状况（听课效率=认真听课的人数/班级总人数）。最后依据分段评分情况，按照一时段前15分钟占比三成，二时段中间15分钟占比四成，三时段末15分钟占比三成的评分标准累加完成对各班该节课最后得分的评估（设一时段、二时段、三时段听课率分别为X1、X2、X3，则最后评
分=X3*30%+X2*40%+X3*30%）。
学校可以基于分析结果在后期的探讨中给予各个班教学更中肯的评价，也可以以此作为评优的考核标准。
本文重点是将人工智能技术应用于智能课堂监控与分析系统中，该系统源于计算机视觉，融合了图像处理技术，模式识别等技术，这些技术已经越来越受到外界的关注。同时，利用已有的教室监控资源，降低成本，发挥团队和师资的强大力量去努力实现教育教学的可视化管理。
4 实现效果（Achieved results）
4.1 系统主界面
当用户启动软件后，进入智能课堂监控与分析系统主界面，主界面设置了四个窗口（实时监控、信息管理、数据查询、设置），可以根据不同的需求开启不同的窗口，如图3所示。
4.2 实时监控
软件对摄像头所监控的数据进行同步传输，直接成像进入系统，可以随时了解各班学生课堂表现，从而可以及时的做出提醒和改进，如图4所示。
4.3 自动截图与分类
软件对该摄像头下产生的数据进行分类并自动截图保存至本地，系统可以根据图片显示进行管理，也可方便有据查看课堂行为，如图5所示。
4.4 数据查询
用户可以选择性地对各个年级、各个专业、各个班级进行课堂行为表现查询，依据自由选择导出各班的课堂结果分析，如图7所示。
5 结论（Conclusion）
课堂教学是素质教育的主要阵地，是教师和学生教与学活动相互的直接表现。课堂行为动作监控可以全方位跟踪学生学习，本文智能课堂监控与分析系统充分结合了智能识别技术、计算机技术和网络技术，为教学质量提供真实有效的依据。本文所涉及的人工智能机器识别中的行为识别作为当下最热门的技术之一，应用层面广博。本文的研究和设计成果可以为各个高校课堂学生行为管理提供有益的借鉴和参考。但是行为识别程序在实际应用时，识别准确率还有待提高，需要进一步研究完善。
参考文献（References）
[1] 樊凌，戴雯惠，唐寅.基于智能跟踪的课堂教学监控系统的探索与研究[C].International Conference on Education Technology & Training，2010.
[2] 黄健荣.梧州学院课堂教学质量监控系统的设计与实现[D].电子科技大学，2013.
[3] 徐金凤，张路遥.高职院校教学质量监控信息化平台的设计——以无锡职业技術学院为例[J].无锡职业技术学院学报，2017，16（3）：41-44.
[4] 李霞.校园视频监控系统的研究与实现[D].山东大学，2015.
[5] 袁国武.智能视频监控中的运动目标检测和跟踪算法研究[D].云南大学，2012.
[6] 荆洲，权伟，唐杰，等.基于人脸识别的智能课堂点名系统[J].软件工程，2017，20（5）：43-46.
[7] 王云良，汤慧芹，顾卫杰.高职院校智能化课堂教学质量监控系统研究[J].软件工程，2015（3）：28-29.
作者简介：
戴振泽（1998-），男，本科生.研究领域：物联网工程.
施 艳（1998-），女，本科生.研究领域：物联网工程.
郑少伟（1998-），男，本科生.研究领域：软件工程.
郭梓文（1999-），男，本科生.研究领域：图像处理.
丁王斌（1990-），男，硕士，助教.研究领域：软件工程.本文通讯作者.
