《大数据专业Hadoop开发技术课程实践教学探索》-工学论文，计算机论文-论文范文参考-科学狗论文网

网站首页词典首页

标题

大数据专业Hadoop开发技术课程实践教学探索

范文

罗利

摘要：针对Hadoop开发技术课程的实践教学，文中给出了具体课程教学内容和方法，提出实践教学平台的建设思路，为大数据其他专业的实践教学提供参考，促进教学改革。

关键词：大数据;Hadoop课程;实践教学

中图分类号：TP311? ? ? ? 文献标识码：A

文章编号：1009-3044（2021）12-0110-02

21世纪，以人工智能为标志的技术革命将信息技术推到新时代：智能时代，人工智能、大数据、云计算、物联网是当今人工智能应用时代的基本组成要素。近年来，越来越多高职院校开设大数据技术与应用专业，发展趋势向好，但也充满了机遇和挑战，如专业开设时间短、前期投入资金少、师资力量薄弱。同时专业的特殊性，核心课程的实践教学对实验设备依赖性大，实践项目实施对学生综合能力要求高、应用性广，学生在实践过程中困难较大。

1 实践教学内容

Hadoop开发技术课程是大数据技术与应用专业的核心课程，前置课程有Linux操作系统基础、Java编程基础，主要培养学生在大数据应用系统开发的能力，并掌握数据采集、分析、处理、可视化等方面的核心技能。教学目标有：了解大数据行业及就业岗位;了解Hadoop应用系统发展历史和架构;了解大数据生态圈及各大组件;掌握符合需求的Hadoop集群平台搭建;掌握Hadoop分布式文件系统HDFS的原理和编程操作方法;掌握MapReduce编程方法;掌握MapReduce解决常见的数据处理问题，如数据导入、清洗等问题。

Hadoop开發技术课程在大数据技术与应用专业中起承上启下作用，要求学生会熟练使用Linux操作系统，并有一定编程能力。另外，由于国内大数据教材建设尚不成熟，Hadoop课程在教材选用上，教学内容受限，单独一本教材很难体现实践教学的全部内容。所以，本文整理了实际教学中的实践教学内容，详细内容见表1。

表1中列出了40个课时的实践内容，在实践教学过程中可以根据学生的接受能力、基础水平、实验环境等因素对学时做略微调整，如可以将某些实验作为课后作业。

从表中可以看出，MapReduce编程是整个实践教学的重点和难点。从学生上课的学习情况看出，在学习这一部分时，必须有Java语言和编程逻辑。针对这一部分教学，可采用PPT讲授、实践练习、课外视频学习多种方法。

2 教学平台建设

由于大数据技术专业的专业特殊性，开设的课程对设备依赖性较高，高职学校在教学平台建设方面都处于起步状态，既要保证良好的教学效率又要考虑实际实施环境、资金投入的要求，也是一个难以平衡的挑战。

2.1 已存在的实践教学平台

实践教学平台建设使用方面，国内外高校有一些成功的经验供高职院校参考。比如文献[1]中将亚马逊的EC2商业大数据环境作为教学平台，直接购买服务方便教学，但是每次实验如果超出时长，就要额外的费用开销。文献[2]中提出了一种混合使用物理服务器和私有云云主机的大数据平台，可同时兼顾性能和可扩展性。文献[3]从高校办学的现实条件出发，以科学、节约为原则，提出利用Docker和OpenStack的混合架构建立大数据云实验室，在投入资金较少的情况下，快速部署大数据实验环境。

2.2 构建实践教学平台

大数据专业在高职院校的开设时间起步较晚，各种教学资源尚不完善，教学平台单一，大部分院校在进行实践课程教学时，通常会采用以下方法进行教学。

（1）普通PC机构建环境

在物理PC机上通过VMware Workstation软件安装多个Linux虚拟机，然后在虚拟机上部署Hadoop伪分布式环境搭建、完全分布式搭建。目前，很多教材中的案例都是采用这种方式。在单台PC机上直接构建实验环境对硬件环境要求低，普通PC机即可搭建成功，也可以锻炼学生动手实践能力。但是单机的配置、性能有限，学生无法体验分布式环境的优势，其次，课程实践教学时间有限，一节课通常是40-45分钟，以MapReduce编程模块为例，这个实验的前提条件是必须搭建启动hadoop集群环境后，连接好集群，才可以继续MapReduce编程。学生在实践时，高职学生基础相对薄弱，环境搭建部分需要耗费时间较多，导致后面MapReduce编程时间少。这种情况下，无法保证良好的学习效果。

（2）自建实验室

学校通过和互联网公司校企合作共建大数据实验室，实验室利用Linux服务器集群和Docker容器技术构建。这种方式是目前大多数职业学校会采用的教学平台。优点是本身实验室系统内就提供了大量的课程资源，一次投入可获得多门课程的教学。从老师方面看，教师可以根据自身教学情况、弹性灵活定制实验环境，满足Hadoop完全分布式、MapReduce编程各种实验，贴近企业的实际环境。对学生来说，课后可更有针对性练习实践，教学效果更好。缺点是自建实验室花费成本高，学校层面支持度有限。同时分配到每个学生的虚拟化资源有限，当资源的并发度较高时，就容易出现卡顿情况，所以在安排课程时，尽量错开高峰。

本专业在进行Hadoop开发技术课程教学时，与普开公司校企合作，建立了云实验平台大数据实验室。系统中内置的《大数据Hadoop基础》课程设置了Hadoop安装部署、HDFS：文件创建与写入、HDFS：获取文件元数据、MapReduce编程：单词计数、MapReduce编程：检索特定偏好用户等17个实验，囊括了Hadoop基础知识。系统包括教学、实验、评价、监控、分析一整套流程，功能丰富，能够提高教学效果。

3多种实践教学平台融合

高职院校要达到更好的教学效果，在教学平台的选用上要结合上述两种实践教学平台的特点，综合设计一套实践环境和丰富的教学方法，并确保不同的实验任务能够灵活使用不同的实验环境。

（1）简单的实验，如Hadoop环境安装、HDFS基本命令使用、HDFS API编程这些上手简单的实验都可以在机房普通PC机上搭建伪分布式环境完成。

（2）课后作业，学生可以在自己的PC机上完成，也可以登录校园网使用大数据实验室系统完成实验。

（3）步骤复杂、耗时较长的实验，学生可以在自己电脑上搭建伪分布环境，完成编码，测试程序。如果数据量比较小，可直接在伪分布集群环境提交任务。如果数据量大，可以将代码导出jar包放到大数据云实验系统中完成。

教师在设计实验环节时充分考虑多种实验平台灵活搭配，形式多样，不使用單一的实验环境，使实践教学更加贴近企业的真实项目。

4结束语

实践教学中，大数据技术与应用专业开设的Hadoop开发技术课程使用了本文提到的方法开展实践教学。经过2个学期的教学实践，学生基础相对薄弱，Hadoop集群环境搭建的理论知识有待加强。学生积极性高，愿意主动、独立完成任务;提交的实验报告正确详细，取得了较好的教学效果。对于此类对硬件设备要求高的课程，教师应该尽快提高自己的实践能力，化抽象知识生动具体。利用信息化资源、教学平台，提高实践类课程的教学效果，更贴切满足企业的用人要求。

参考文献：

[1] Rabkin A S，Reiss C，Katz R，et al.Experiences teaching MapReduce in the cloud[C]//Proceedings of the 43rd ACM technical symposium on Computer Science Education - SIGCSE '12.February 29-March 3，2012.Raleigh，North Carolina，USA.New York：ACM Press，2012：601-606.

[2] 王永坤，罗萱，金耀辉.基于私有云和物理机的混合型大数据平台设计及实现[J].计算机工程与科学，2018，40（2）：191-199.

[3] 王焱，吴青林.基于Docker和OpenStack的高校大数据云实验室构建[J].实验技术与管理，2019，36（9）：254-258.

【通联编辑：李雅琪】

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。