《基于hadoop技术的电商大数据分析》-工学论文，计算机论文-论文范文参考-科学狗论文网

标题

基于hadoop技术的电商大数据分析

范文

王曦

摘要：为解决传统数据分析方法存在分析准确率较低的不足，提出了基于hadoop技术的电商大数据分析，基于hadoop电商大数据分析模型的搭建，依托关联规则分析、分类与聚类分析、变化与偏差分析，实现了基于hadoop技术的电商大数据分析，试验数据表明，提出的数据分析方法较传统数据分析方法，分析准确率提高29.55%，适合电商大数据的分析。

关键词：hadoop技术;分析模型;大数据;电子商务

中图分类号：TP311 ? ? ?文献标识码：A

文章编号：1009-3044（2019）15-0297-02

近年来，众多企业都开始认识到数据资产规模化会给企业带来无限的可能性与潜在的价值，但这些不断在增长的数据资产大概可以分为两种类型即非结构化与半结构化。如何去利用最低成本并使用最快的效率来对这些大量的数据去进行处理和应用，成为人们目前需要解决的很大的难题[1]。Google公司第一个提出了Mapreduce的编程框架（Hadoop框架的基本构成单元），而GFS的文件系统与BigTable的存储系统同时开始成为大数据处理技术的核心领导者，并且这三种技术也成了此项目的实施标准，用最快的速度普及到各个互联网企业当中。大数据处理模式是一种新兴起的新技术模式，并依托于信息技术和互联网技术的不断发展而不断进步，不但能够有效地处理大批量的数据信息，还能保证信息的安全性与可靠性[2]。基于hadoop技术的大数据分析，以大数据处理模式，突破了以往的信息搜索和信息存储形式，无论是从决策力还是洞察力都有了很大提升，从而效率越来越高，信息变得更加多样化。

1搭建hadoop的电商大数据分析模型

Hadoop属于开源框架，其本质为一种能够应用于缩写于运行的分布式处理的大规模数据。Hadoop与其他框架进行对比，自身具有便捷、扩展性强、操作方便等特点，特别是Hadoop的便捷性使其在编写程序过程中占有绝大部分的优势。从而使更多的用户借助Hadoop能够在分布式计算法则中带来最大程度的优势[3]。其利用分布式存储与迁移代码等技术、在数据处理过程中能够更好地解决耗费时间数据的传输问题[4]。为了对电商大数据进行分析，搭建基于hadoop技术的电商大数据分析模型。

基于hadoop技术的电商大数据分析模型主要分为四个部分，即数据的收集部分、数据的预处理部分、数据的分析（数据挖掘分析）、应用部分，你设计的基于hadoop技术电商大数据分析模型整体框架如图1所示：

数据的收集是依托电商数据平台、移动端数据平台、社交网络数据平台获取的大数据信息，基于此的大数据信息，对数据进行预预处理，分析模型数据的预处理共分为三个阶段，即数据的准备、数据的转化、数据的抽取。基于电商数据平台获得交易數据，同理，基于移动数据平台获取观测数据（浏览该电商网页、商品等信息），基于社交数据平台获取互动数据（电商商品评价、潜在购买欲望等）。利用准备的数据，进行数据转化，利用hadoop框架，将数据转化为结构化数据和半/非结构化数据，通过数据结构化的转变，利用数据关联融合机制，根据数据的过滤和映射对数据进行提取，将提取的数据进行挖掘分析，最后显示分析结果。

2实现电商大数据分析

Hadoop框架的构成涵盖了分布式文件HDFS以及Mapreduce。Hadoop的主要作用是进行对文件系统的名字的管理，并负责文件的访问。并同时处理客户端发来的文件读写请求，并能够在数据模块下进行创建和复制。此外，Hadoop还能够同时完成分布式计算，将总任务划分为众多子任务，并且每个子任务都能够在集群节点进行处理的完成，从而确保各个子任务的节点计算的准确性。由于选择性的分布式文件以及Mapreduce的模型，可以让Hadoop具有更高的容错率和读写吞吐率，从而对失败的节点进行处理[5]。

针对电商大数据的分析，主要包括关联规则分析、分类与聚类分析、变化与偏差分析三部分。关联规则分析是指根据电商数据平台、移动端数据平台、社交网络数据平台获取的数据，求出参数变化对消费者与电商平台的影响，电商可将此数据作为经营的有效参考，其电商关联规则分析函数可用公式（1）表示：

式中，I代表消费者消费意愿;P代表消费者浏览该电商平台的时长;U代表消费者浏览所有电商平台的时长。

分类与聚类分析是指，对电商的主要消费人群进行分类和聚类分析，其分析过程是根据数据的提取再拟合实现的，针对用户的分类信息，电商可有针对地进行广告的推送、消费习惯的分析以及消费的预判，锁定消费人群进行电子商务营销。

与分类与聚类分析相类似，变化和偏差分析是根据电子商务主要消费对象，最近的浏览记录、历史记录、消费行为进行客户的变化分析，以及偏差分析，其变化和偏差分析函数可用公式（2）表示：

式中，PD代表消费者的行为能力;R代表消费者的浏览记录;I代表环境变化，如季节交替等;a代表消费者消费冲动系数;

基于hadoop电商大数据分析模型的构建，以及关联规则分析、分类与聚类分析、变化与偏差分析，实现了基于hadoop技术的电商大数据分析。

3实例分析

为了验证提出的基于Hadoop技术的电商大数据分析的准确性，进行了相关的仿真实验。在相同环境条件下实验，将对提出的基于Hadoop技术的电商大数据分析和传统电商数据分析的准确性进行比较。

实验过程中使用三台已安装win操作系统和Hadoop分布式文件系统的计算机，其中一台计算机作为记录数据节点使用，第二台计算机作为记录影子节点使用，最后一台则作为记录电子商务物流大数据储存节点使用。

采取大型网络网站的电子商务物流相关数据进行辅助仿真实验，所有采取的仿真实验数据时间范围控制在2019年2月1日到2019年4月1日。在该仿真实验过程中进行了五次的子实验对比，对基于Hadoop技术的电商大数据分析方法和传统电商数据分析方法进行比较，两者的数据对比结果如表1所示。

从仿真实验结果表明，基于Hadoop技术的电商大数据分析在所有数据整合分析过程中要比传统电商数据分析更为准确。经统计计算得出提出的数据分析方法，较传统的数据分析方法，分析准确率提高29.55%，适合电商大数据的分析。

4总结

本文提出了基于hadoop技术的电商大数据分析，利用基于hadoop电商大数据分析模型的构建，基于关联规则分析、分类与聚类分析、变化与偏差分析，实现了本文的研究，为保证大数据分析的有效性，进行仿真试验，试验数据表明，提出的数据分析方法能够满足电商大数据的分析。实现了本文的研究，希望本文的研究能够为电商大数据的分析提供理论数据。

参考文献：

[1] 吴润泽，包正睿，王文韬，等. Hadoop架构下基于模式匹配的短期电力负荷预测方法[J]. 电工技术学报， 2018， 33（7）： 1542-1551.

[2] 曾志强，何小东，王颖，等. 基于Hadoop和Spark的森林火灾混合大数据分析系统研究[J]. 世界林业研究， 2018， 31（2）： 55-59.

[3] 马跃，余骋远，于碧辉. 基于资源签名与遗传算法的Hadoop参数自动调优系统[J]. 计算机应用研究， 2017（11）：24-27+33.

[4] 王雪蓉，万年红. 基于跨境电商可控关联性大数据的出口产品销量动态预测模型[J]. 计算机应用， 2017（04）：130-135+142.

[5] 谢彦祥，刘天琪，苏学能. Hadoop架构下基于分布式粒子群算法的暂态稳定评估特征量选择[J]. 电网技术， 2018， 12（12）.

【通联编辑：光文玲】

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。