《面向党建平台学习资源智能推荐系统的设计与应用》-工学论文，通信论文-论文范文参考-科学狗论文网

标题

面向党建平台学习资源智能推荐系统的设计与应用

范文

周萌徐庆李丹李崇齐鹏

【摘要】? ? 随着互联网的迅速发展，网络学习社区己经深入到了广大互联网用户的生活中，其正在以惊人的速度不断地影响着互联网用户的学习。随着平台使用时间的积累，许多的平台都拥有庞大的阅读资源，学习资源和用户后台数据。从而出现了资源过载、学习迷航等新的阅读和学习问题。本文通过ALS矩阵分解算法，实现了大数据平台的基于用户的协同过滤推荐算法，从而提升网络资源需求的个性化和细致化，最终为党建平台的用户提供个性化的阅读和学习资源推荐服务，并在一定程度上对平台中的课程教学起到现实的指导意义。

【关键词】? ? 大数据? ? 学习资源? ? 机器学习? ? 智能推荐系统

绪论

学习习近平关于大数据战略的要求背景下，深入研究“大数据是信息化发展的新阶段”、“要运用大数据提升国家治理现代化水平”的指导思想，将党的建设工作和经济社会的发展进行深度融合，不仅可以提升党的建设工作效果还可以帮助社会经济的可持续发展。因此，在党建工作的中提出基于大数据的推荐系统的设计，正是在大数据战略背景下，将科学技术应用到党的建设工作中来的典型课题。本文以基于ALS模型的协同过滤算法来实现石油党建APP学习资料推荐系统，正是基于此课题的研究成果，该系统的实现可以为党建工作提升精准性和实效性，具有重要的实践意义。

一、推荐算法及推荐系统研究现状

推荐算法是当前大数据背景下的重要工具，是针对性解决用户需求提升数据准确性和效率的重要手段。目前常用的推荐算法有基于人口统计学、内容协同过滤以及混合等的推荐机制，被广泛应用于各个领域。其中SPARK是专用为了处理大数据而开发的计算机引擎，是基于分布式的計算平台，与Map Reduce它的优势是可以将运算的结果保存在内存中从而更好的适用于数据挖掘和矩阵分解等算法。而在推荐系统中应用最为广泛的为个性化推荐算法，该算法的概念是上世纪90年代提出的，是一种可以针对不同行业进行个性化计算而迭代出更加适用的结果，主要应用于电影行业、新闻推送、音乐推荐以及媒体广告等的商业领域，如Movie Lens、Ad Wards等。

二、基于大数据的推荐系统设计

2.1大数据的基本概念

当前对于数据的定义虽然还没有统一，但是其涵盖的内容基本一致，通常是指那些包含了有价值信息的，但无法通过常规的计算机工具来提取、存储、搜索等处理的庞大信息。其中IDC对大数据的特征进行了总结，具备巨大的信息规模、迅速的数据流转性、多样化的数据类型以及准确性。

2.2大数据平台架构介绍

本文针对SPARK平台来进行展开讨论，该生态系统下包含了流计算、结构化数据的处理、图计算以及机器学习等子项目，是用以管理大数据的重要工具和手段，在此基础上SPARK还可以提供如Flume、Kafka、HDFS等具有分布式数据特性的集成方式，来实现大数据的管理工作，以及各种算法的应用与实现。

2.3智能推荐算法

1.协同过滤算法介绍

基于邻域和近邻的内存推荐和基于模型的推荐是协同过滤推荐算法的两种基本类型。其中以基于内存的推荐算法为例，是通过相似偏好或者特征的方式来对用户的需求进行推荐，因此进行实施推荐前需要先读取用户的内存信息从而实现比对与识别。而基于模型的算法则是通过建立的各类用户的喜好模型来进行推荐。相比而言基于内存的算法要更加有效，但是由于运算时需要读取大量数据，因此会造成一定的局限性，冷启动和数据稀疏都会对其造成一定地影响。

2.基于ALS模型的推荐方法

在模型推荐算法较为流行的是ALS模式算法，该推荐方法是基于评价数据集而建立的用户与项目的评分矩阵，一般表示为N*M，公式中N表示为用户数量，M表示为项目数量。在实际推荐算法的运算过程中，由于用户并不会对每一个项目进行评分，因此会造成项目数据集的稀疏性，也就是说所形成的矩阵集是非常稀疏的。因此，为了使算法更加趋于准确，会在已有数据规律的基础上进行数据模拟填充，从而得到任意用户对任意项目的评分，最后获得预测得分，以此来实现推荐。

三、基于大数据的智能推荐实现与效果——以石油党建App为例

3.1石油党建App的大数据架构和推荐系统架构

本文基于Spark构建的石油党建APP学习资料推荐系统主要分为两个部分进行（如图1所示）：离线计算部分和实时在线计算部分，该系统是一个可以结合离线计算与在线计算的架构，能够解决一些推荐系统的实时性需求，还能利用批量的离线数据进行推荐。

从架构的纵向组织结构分析，整个系统包括两个子系统组成：离线推荐与在线推荐。从数据流可以看出，两个子系统都按照数据输入、中间处理、结果数据输出等步骤进行，为增加系统实时性，从这三个层面均使用了高性能的设计。

3.2石油党建平台学习资源的用户行为现状

石油党建平台是获取用户数据的关键来源，而用户行为数据的收集与整理，从而建立起用户与项目之间的评分，可以为其它用户实现有效的推荐，并随着使用用户的数量增加而推荐趋于准确。利用ALS算法来对学习者的隐性信息进行收集，包括用户的课程互动天数、次数以及在论坛中的活跃程度等行为数据。通过SPARK平台中Ndayact数据项来对用户的相关数据进行收集，从数据库统计结果来看共记录了21234条用户行为数据。其中课程互动天数和人数的分布数据，在分析后发现存在持续下降的趋势。其中互动天数最少的仅为1天，而用户人数最多时达到了3232人，占到了总用户人数的43%左右。互动天数保持时间最长的有1人，共持续了167天，平均互动天数为4.2天。通过模型的创建发现，第36天和第55天存在显著差异，也就是说36天以内保持互动的用户最多且较为频繁，而大于55天的数据显示，用户活跃度存在非常明显的下降。所以石油党建APP针对用户在36天和55天时，采取鼓励和监督机制，以促进学习的持续性和效果的保证。

3.3大数据智能推荐对石油党建App学习资源的指导

1.充分运用大数据分析提升党建学习的精准性

在大数据时代，可以通过推荐算法将各组织部门对于石油党建学习的重点内容进行快速识别，从而起到快速定位的作用。对于各地区学习的进度和效果进行实时的采集并分析，从而便于高效的指导，促进党建学习工作的有效开展。同時，通过对个人数据的采集与大数据的比对，可以为个人学习提供差异性分析，从而为个体的学习计划提出建议，并实现学习资料和课程的个性化推荐，实现党建学习工作的精准性。

2.充分运用大数据分析提升党的制度建设的实效性

通过石油党建学习工作的内容以及学习行为分析，可以对党建工作的规划以及相关制度建设进行监督，并利用大数据分析的方式来识别当前党建学习相关制度的建设情况，以及实施有效性，从而起到发现问题解决问题的目的。并依据当前地区党建学习现状进行基于党建资料和课程的推荐，从制度建设和资源精准推荐的角度来使问题得以快速的解决，从而针对性的通过石油党建APP来帮助石油党建学习制度的建设和制度实施有效性，解决石油党建最后一公里的问题。

四、总结与展望

本文是基于大数据平台相关技术以及当前主流推荐算法和系统的研究为基础，来对石油党建APP学习资料的推荐系统进行设计，采用基于ALS模型的协同过滤算法优化方案，来实现石油党建APP的系统。基于ASPARK大数据平台的石油党建APP资料推荐的功能的实现，可以提升党建学习工作的精准性以及制度建设的实效性。但是本系统目前还无法有效的对在线推荐的信息进行准确的更新，在系统延迟方面还有待改进。此外在数据仓库管理方面，由于对于大量用户行为数据的分析工作比较粗浅，因此还需要进一步引入数据挖掘技术来进行提升，从而建立起高效数据仓库的推荐引擎，为更好的提供学习资料的推荐提供支持。

参? 考? 文? 献

[1]姚敦红.基于教育大数据的课程授课教师推荐系统设计[J].电脑知识与技术，2020，16（26）：8-9+22.

[2]胡赫薇.基于大数据下的智能推荐系统设计[J].电脑编程技巧与维护，2020（07）：126-128.

[3]薛琳兰. 基于大数据技术的电商推荐系统的设计与实现[D].青岛大学，2020.

[4]吴荣，段宏涛.基于Hadoop平台的Spark快数据推荐算法解析——以其在图书推荐系统中的应用为例[J].数字技术与应用，2020，38（06）：115-117.

[5]朱丽，付海涛，冯宇轩，裴欣彤，孙宇.基于大数据平台的课程教学资源推荐系统应用探究[J].计算机产品与流通，2020（06）：209.

[6]谢路伦. 基于Spark的电商用户行为分析与研究[D].北方民族大学，2019.

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。