| 标题 | 大数据及其处理系统研究综述 |
| 范文 | 朱敏 摘要：当今时代，人们的生活对互联网的使用涉及方方面面，社交网络、物联网、传感器的广泛应用会产生海量的非结构化数据，即大数据。大数据不能使用传统的数据库软件进行管理，需要大规模并行处理数据库、分布式数据库系统、云存储等特殊的技术进行处理。该文阐述了大数据的概念、特点、处理技术及应用实例。最后总结了大数据的发展趋势。 关键词：大数据；数据处理 中图分类号：TP311文献标识码：A 文章编号：1009-3044（2016）23-0251-02 1引言 当今时代，互联网的应用范围不断扩展，互联网中的数据发生了爆炸性的增长。社交网络中用户之间的交流、物联网中的各种设备（比如智能手机等）都会产生和传送海量的数据。传感器则把全世界的电器设备及生物体产生的数据传动到互联网。大数据中蕴藏着丰富的价值，社交网络中的大数据体现了人类复杂的行为模式，企业从大数据中挖掘出客户对商品的喜好和需求，从而改进产品。 2大数据定义 本文认为大数据的定义需要从规模和分析两个方面描述。首先，大数据是有非结构化和半结构化的数据组成的，其规模是海量的，无法用单台计算机进行存储、分析和处理。其次，大数据无法使用传统的数据库工具进行分析处理，必须使用互联网、数据挖掘电网、分布式数据库、云平台等技术进行大数据的挖掘分析和处理。 3 大数据特点 数据规模庞大、数据处理速度快、数据结构多样化、数据蕴藏丰富价值、数据来源真实可靠是大数据的具有的几大特点。 1）数据规模庞大：大数据的数据规模是海量的，可以是数百TB或者数百PB，甚至达到ZB的规模。信息大爆炸带来了海量的数据，目前互联网一天的数据流量达到1EB。 2）数据处理速度快：商务网站中的电子商务数据、社交平台的社交信息、传感器获取的数据都具有实时性，这些数据产生速度很快，所以对这些数据进行处理的速度也要求快速。 3）数据结构多样化：大数据的来源多种多样，例如互联网的点击、社交网络的信息交流、GPS定位信息等等，这些渠道产生的数据不再是传统的数据库中的结构化数据，可以是E-MAIL数据、音频数据、图片数据、视频数据、微博数据、传感器数据等等，这些数据都是非结构化或者半结构化的数据。 4）数据蕴藏丰富价值：大数据中蕴藏着丰富的价值，社交网络中的大数据体现了人类复杂的行为模式，企业从大数据中挖掘出客户对商品的喜好和需求，从而改进产品。企业从大数据中挖掘出客户对产品的需求，从而对产品进行优化。大数据中的数据是最原始的全面的数据，所以数据的价值密度低。例如社交网络中发出的一条信息，会在网络中不断转发，从而引出更多的相关信息，这些相关信息中蕴藏着丰富的价值。 5） 数据来源真实可靠：大数据的来源包括商务网站、社交平台、网络点击、传感器等等渠道，这些数据都是最原始的数据，中间没有对数据的采样和处理，保证了数据的真是可靠。 4 大数据处理系统 因为大数据的以上特性，不能使用传统的数据库工具进行大数据的分析处理。为了从大数据中挖掘出有价值的信息，需要有针对大数据的数据处理系统。目前，一些大型的互联网企业，例如谷歌、Facebook等企业都研发了针对大数据的数据处理系统。 1）批量数据处理系统：这种系统是对互联网中产生的海量的静态的数据进行处理。例如对客户在网站中的点击量和网页的浏览量等数据进行处理，从而或者客户对哪些商品比较偏爱。谷歌公司研发的GFS（Google File System，即大规模分散文件系统）和MapReduce（大规模分散FrameWork）系统就是典型的批量数据处理系统。 5结束语 本文阐述了大数据的概念、特点以及几种大数据处理技术。目前，随着社交网络的发展、传感器的广泛应用、物联网的不断扩展，大数据已经深入我们生活的方方面面，针对大数据的处理也越来越深入，如何更高效的挖掘大数据中蕴藏的价值需要不断地研究和改进。 参考文献： [1]涂新莉，刘波，林伟伟.大数据研究综述[ J]. 计算机应用研究， 2014（31）： 1612- 1616. [2]程学旗，靳小龙，王元卓，等. 大数据系统和分析技术综述[J]. 软件学报， 2014（25）：1889-1908. [3]马建光，姜巍.大数据的概念、特征及其应用[ J]. 国防科技，2013（34） ：10-17. |
| 随便看 |
|
科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。