基于数据挖掘的网络营销系统研究

    孟彩霞

    

    

    摘要：现在，很多营销站点建设了他们自己的数据仓库系统，但是他们之间彼此是独立的，不相关的，为了解决信息孤岛问题，需要整合每一个不相关的数据仓库系统来建立一个统一的网络营销信息平台。该文将根据各个网络数据仓库的特点将其进行无缝整合，建立基于数据仓库的网络营销系统。该系统能够满足各级电子商务网络的应用需求，在一定程度上提高了网络营销企业的运营效率。

    关键词：数据仓库；网络营销；信息孤岛；数据挖掘；数据整合；OLAP

    中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2016）13-0268-02

    1 概述

    目前，随着电子商务的不断深入，网络营销企业需要从电子商务积累的数据中快速准确地提取出用于指导网络营销决策的信息。参考文献[1]为制造企业提出了市场营销决策支持系统的解决方案，此方案是在数据库基础上产生的，包括数据库，OLAP，数据挖掘。其中，数据库用于集成、存储、决策主体的数据管理；OLAP用于多维数据分析；数据挖掘用于预测、聚类和统计分析，以达到发现知识和潜力模型的目的。但是，这种方法只适用于单一的网络营销企业，而目前的电子商务网络则是由全国各地甚至海外的广阔的营销网站组成的。因此，有必要建立一个统一的网络营销信息平台，有效地消除信息孤岛问题。由于各个网络营销节点的数据库建立在各个地方，为了充分利用数据仓库和网络[2]中的原始数据，网络数据仓库的建设成为一个重要的研究课题。

    目前，研究人员已经在一定程度上对网络数据仓库技术进行了研究。文献[3]～[5]介绍了将网络数据（HTML，XML，等等）综合到网络数据库的方法。文献[6][7]介绍了基于原始数据库的网络数据库解决方案。文献[8]研究了代理技术在网络服务器中的应用，提出了构建网络数据仓库系统的关键技术。文献[9]提出并实现了从网络中提取数据的包装算法。但这些文件不能生成完整的框架，用于网络数据仓库系统设计。综合对各文献进行深入分析和研究之后，提出了完整的网络数据仓库解决方案，并对网络数据库营销系统的构建方法进行了深入的探讨。

    2网络数据库整体解决方案

    一个完整的网络数据库应该有2个特点：现有的数据库和网络数据库。本文提出的网络数据仓库的解决方案具有两个方面的优势，即网络信息的综合利用问题和分布式环境下的数据查询问题[11]。

    2.1将现有的数据库导入网络

    数据库是一个发布企业数据资源的地方。但是传统的数据库是无法满足电子商务规模不断扩大的需要，它受限于C/S结构及复杂、昂贵、且集中化的设计。随着网络技术的引入，大型分布式数据库逐渐实现。

    将现有的数据库导到网页，需要下面的三个步骤，如图1所示。

    1）数据集成：将源数据整合到数据库中。

    2）服务器处理：DM（数据挖掘）、EIS（管理信息系统）和应用服务器提供OLAP（联机分析处理）应用，这些应用程序被称为数据处理，其结果可以通过Web服务器发布。

    3）结果显示：客户端浏览器显示数据处理结果。

    2.2将网络导入数据库

    这一阶段主要包括以下几个部分：

    1）基于Web的数据主要是半结构化数据，如HTML，XML等，可通过搜索引擎查询。但为了使其能够适合结构化查询的数据库查询，必须将这些数据整合到网络数据库中，满足结构化查询的要求。

    2）网络技术的进步促进了电子商务的发展，互联网技术中通常用点击流的概念来记录网站的浏览行为，最终以Web日志文件的形式进行保存。点击流可以作为数据库的数据源，用于构建相应的数据库。使用点击流可以捕获和分析用户的行为，以支持决策。

    3基于数据库的网络营销系统

    3.1数据整合

    从电子商务企业信息系统建设的现状来看，各企业迫切需要一个工具来执行总部公布的标准和政策，以确保迅速下达到所属子公司，并得到快速响应，同时更新和纠正。随着信息化的不断发展，一定程度上能够解决数据整合问题，由于目前的信息化只是一种分布式的模式[11]，数据的整合和集中非常低效。在这种情况下，可以考虑将上层总部数据从“总部”转移到“集体化”。数据整合是指将多个分散的数据源进行整合，最终实现企业数据的集中存储和处理。电子商务企业通常有以下三种模式的数据集成[10]。

    1）县级数据整合模式。电子商务企业只需建立一个数据中心，企业总部和下属公司的业务数据都存储在这个中心。

    2）区域级数据集成模式。电子商务企业区域网络节点作为中心收集其领域内商业数据，通过整合总部的数据交换中心来组成二次数据存储结构

    3）全省数据整合模式。以省级数据为中心，由总部、区域数据处理中心以及二者数据交换中心的数据，形成三级数据存储结构[11]。

    在这种情况下，网络营销系统还需要整合他们的数据。但不同层次的电子商务网络节点的需求也不同。国家级的网络需要详细的业务数据，处理所有用户信息。省、地区网络往往更关心一些汇总数据，如下属县市的网络营销绩效。电子商务是一种金字塔式结构，总部属于高层管理者，为了更全面更可靠的给高层决策支持提供有效数据，其所涉及的数据强度也是最大的，数据具有广泛的分布特征，因此采用数据库作为网络营销系统的数据基础。因此，我们如何对数据仓库的进行设计，可以充分考虑不同层次的电子商务网站，并通过网络发布方式形成大型分布式网络数据库。

    3.2通用数据库的设计

    网络营销系统的核心包括网络购物、商业交易、现金管理、库存管理和网络推广等，此外，还提供了各种业务的服务模块和分析模块。服务模块包括电话服务、互联网服务和客户服务中心。综合业务分析模块包括基于历史数据统计的查询、分析和决策支持，重点研究为企业提供及时、准确的决策依据[11]。

    此数据库不同于二维结构的关系数据库，它是多维数据集的载体。针对网络营销系统的特点和用户需求，采用建模方法构建数据库，包括：销售、供应、销售利润、市场需求等。例如，销售主题包括以下2个事实表和六维表：实际销售事实表、计划销售事实表、日期维度表、客户维度表、产品类别维度表、产品级维度表、客户分类维度表和客户区域维度表。实际销售事实表的各项指标包括：销售增长量、销售增长率、销售份额增长量、销售份额增长率。预期的销售事实表的指标包括预期销售增长量，预期销售增长率，以及预期销售量市场份额增长量，预期的销售份额增长率。

    3.3网络库的设计

    与一般的数据仓库相比，该系统具有数据整合的要求，因此我们采用了分层结构的设计模式。这一战略的含义包括两个方面：层次数据仓库（县、市、省、国家）、网络出版分层（数据层、应用层和表示层）。系统框架图如图2所示。

    1） 国家级数据库

    要建立国家级数据仓库首先要确定数据源。所有的基础数据源来源于电子商务企业的管理信息系统和外部环境，通过录入、提取，过滤，合并后存储在数据库中。

    2） 省、市县级信息库

    建立省级或市、县级的数据库也需要确定数据来源。该数据库通常是根据实际需要，在较低的数据库中进行数据提取、转换和加载的数据组成的。例如，该省、地区数据库是由一个下属县和市数据仓库衍生的。所以，数据仓库无论是在不同的层次上还是在同一层次上必须能够互相通信，而且任何级别数据库都可以通过网络服务器与外部环境进行连接。

    3） 应用服务器

    网络营销系统一般包括两大模块：服务模块和分析模块。一般而言，不同层次的系统需要建立在数据库的基础上，以满足业务、服务和分析模块的需求。低层次的系统一般只需要业务模块，随着系统水平的增加分析模块的需求也会随之有所增加[11]。在网络营销系统，功能模块部署在不同的应用服务器，用户可以通过网络使用由企业提供的应用服务器，如基于EIS应用技术上的OLAP和DM。

    3.4决策支持

    构建基于数据库的网络营销体系可以分析并组合各级电子商务网络节点的营销数据，满足各级电子商务网络节点的数据需求。省级、区域性网络节点和总部的关注点是基于基础业务的信息汇总，这可以指导企业的业务调整和政策制定。数据分析技术简单而言是一种数学分析方法，该方法主要是基于数据库的商业应用分析，包括联机分析处理（OLAP）、数据挖掘等。

    OLAP的可以在用户界面的前端进行显示。更加直观清晰，同时OLAP的具有两项主要功能：不仅能够满足决策支持，同时还可以支持多维环境的特定查询需求。OLAP的应用功能也包含两项内容：分析用户的当前数据和历史数据，方便提供决策支持。通过关键多维度数据操作，如查询、相关延伸、深度延伸、切片等，相应的报告就可产生并被分析。OLAP可以根据从用户那里提取出的相关问题或假设的详细信息，将多个问题或假设进行合并，从而生成可视化的结果提供给用户。

    数据挖掘可以为企业管理者、营销总监等相关人员提供多总分析数据，如供应分析、销售分析、客户识别分析、成本分析、需求分析等。让企业管理者、营销总监把握客户的特点，特别是客户价值、经营风险和成本等信息，促使管理人员从事务型转变为思维型，通过后处理来预测。

    4结论

    针对目前网络营销企业存在的问题，本文提出了一种基于数据库的网络营销系统。在电子商务环境下，对有效的信息交换和知识管理的需求日益迫切[12]，数据库可以为网络营销企业提供一个良好的数据环境。在实践中，各级营销网络节点的数据库缺乏统一的规划，容易形成数据孤岛。在本质上，基于数据库的大型分布式网络营销系统可以有效地解决这一问题。通过合理的规划构建金字塔式的网络营销体系，能够满足不同层次的电子商务网络节点的不同应用需求，并在一定程度上提高其运作效率。

    参考文献：

    [1] Zhigang Yang， Zhiqiang Yue， Guishi Deng. The research of sales KPI query analysis system for manufacturing enterprise based on data warehouse[J]. Machinery， 2005（8）：61-64.

    [2] Yun Liu， Dongsu Liu. Data warehouse and data mining technology based on Web[J].Information Studies：Theory & Application， 2001（4）：289-290.

    [3] Jiangjiao Duan， Zhenhua Huang， Xin Chen， Xiaogang Liu. Research on Web-based integrated environment for data warehouse[J]. Computer Science， 2004（10）：114-117.

    [4] Lili Xu. Research on approach about heterogeneous data integration based on Web[D]. Hubei， Wuhan， master thesis of Wuhan University of technology， 2008.

    [5] Bin Xu， Weiwei Yu， Zhitao Yu. Research on the integration of heterogeneous database based on Web service[J]. Chinese science and technology resources review， 2008（5）：19-24.

    [6] Lang Liu， Liya Wang， Hailiang Huang. Web-enabled Data Warehouse Resolvent[J]. Computer Engineering， 2005，31（1）：92-94.

    [7] Yu Feng. Data warehouse and data mining based on Web technology[J]. China Water Transport：Theory Edition， 2006，4（8）：94-95.

    [8] Qian Zhang， Jihui Yu. Study on application of Agent technology in the Web-based data warehouse system[J]. Computer Science， 2005，32（6）：79-82.

    [9] Xuemei He， Changjie Tang， Liqiang Wang， Tianqing Zhang. Research on Web-based data warehouse[J]. Computer Application， 1998，18（10）：5-8.

    [10] Liukai Wang. The data integration middleware oriented to collaborative e-business[D]. Jiangsu， Nanjing， master thesis of Southeast University， 2009.

    [11] 孙逸群.基于Web数据仓库的电力营销系统研究[J].中央民族大学学报：自然科学版，2012（8）.

    [12] 叶彬，曾伟民.数据仓库在电力系统中的应用[J].电力系统及其自动化学报，2005（6）.