浅析大数据时代的机遇与挑战

    周丹妮 唐鸿霞

    摘 要 随着时代的不断发展和科学技术的不断进步，计算机的应用愈来愈广泛，互联网也悄然进入千万家，让我们接触到越来越多的信息，并且这些信息的更新速度也在不断加快，全球数据量呈指数式增长，“大数据”这一词应运而生，大数据时代也随之到来。它不仅促进了企业的发展和社会的进步，而且给社会带来了极其显著的变化。当大数据技术在全球范围内的影响逐步扩大时，我们更需要明白：虽然大数据仍在起步阶段，存在着诸多挑战，但未来的发展依然非常乐观。本文从大数据时代产生的背景着手，引入大数据的相关概念及基本特点，从而引出了大数据时代带来的影响、机遇与挑战，并提出了面对挑战的解决方案以及人们应有的态度。

    关键词 大数据 海量资料 信息安全

    中图分类号：TP311 文献标识码：A 文章编号：1007-0745（2020）03-0062-03

    1 前言

    时代和科技的发展使人类进入了信息时代，各种信息数据和更新速度以成倍增长的形式出现，信息时代催生了一个新时代，即大数据时代。诚然，大数据时代已经到来，各方面的动态数据围繞着人们的生活。通过新技术将生活中的数据捕捉并汇聚起来，为未来的发展提供可靠、有效的数据，也为大数据时代打下坚实的基础。大数据时代给人们生活带来便利的同时，也存在着诸多挑战。任一事物都具有两面性，我们应择其善者而从之，其不善者而改之[1-3]。

    2 什么是大数据

    大数据，又称海量资料，指的是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产[4-6]。事实上，“大数据”是从越来越多的数据中衍生出来的一种现象，因而在行业中没有统一的定义。每个供应商或者用户，站在不同的角度，都会有自己不同的理解。对投资者和创业家而言，大数据是一个热门的融资标签;对于大多数互联网公司或者工程师而言，大数据只不过是把一堆乱七八糟的数据扔到HDFS上面，然后进行计算;可是对消费者或所谓的互联网用户来说，大数据是尽量搜集跟终端消费者相关的隐私，然后进行营销。

    2.1 大数据时代的四大特性

    第一， 海量性，即数据量巨大。截止到2012年，数据量级已经从TB（240字节）级别跃迁到PB（250字节）、EB（260字节）乃至ZB（270字节）级别，可称巨量甚至超量。据国际数据公司（IDC）的报告预测称，2020年全世界所产生的数据规模将扩大50倍。

    第二， 多样性，即多种数据类型。数据不仅包括了网络日志、互联网搜索记录、图片信息、手机通话记录，还包括了音频、视频、位置等信息[7]。

    第三， 高速性，即创建和移动数据的速度快。由于数据和信息更新的空前快速发展，信息的价值存在时间非常短，为搜集具有价值且能够利用的信息，必须在很短的时间内摒弃大量数据中的无用信息，所以数据往往为高速实时数据流。

    第四， 易变性。大数据拥有多层结构，这就意味着大数据会出现多变的形式。相较于传统数据，大数据有模糊不清和不规则的特点，因此使用传统的应用软件进行分析非常困难。

    2.2 大数据时代的三大特征

    第一， 多样化。相较于以文本为主的结构化数据，网页、图片、视频、音频及位置信息等半结构化和非结构化数据愈来愈多。

    第二， 速度快时效高。和传统数据相比，大数据的效率更高，在数据处理方面有一个著名的“一秒定律”，即要在秒级时间内分析出结果，若超出这个时间，数据就失去价值了。其次，“快”有两个层面：数据产生快和处理快，因而对数据时效性的要求也提高了。

    第三， 价值密度相对较低，即有价值的数据比例小，犹如大海里的一根针。以视频为例，在连续不间断的监控中，有重大价值的数据流可能只有几分钟，甚至仅仅只在那一两秒中。

    3 大数据时代对生活的影响

    继云计算、物联网之后，大数据在人们毫不察觉的情况下已经悄悄渗透进了人们的日常生活中，它带来的是前所未有的信息大爆炸，它不仅改变了互联网的数据应用模式，还深深地影响着人们生活的方方面面。

    3.1 营销购物更便利

    目前，大数据广泛应用于电子商务领域，且应用模式已经成熟。例如我们所熟知的淘宝网，正是通过建立大数据平台，监测用户的行为，对数据进行记录并分析，精确把控用户的喜好，从而提升用户的购物体验感。例如，针对不同用户的喜好和浏览记录，网站将在其首页为该用户推荐适合的商品，这就能提高用户的购物效率和忠诚度。这就是为什么当我们在网上购物时，页面总是会显示我们最想购买的商品类型，而淘宝网也正因为在这基础上进行营销，所以取得了较好的业绩。

    3.2 出行更便捷

    大数据已应用于公共汽车、出租车出行等交通领域。现阶段的交通出行令很多人头疼，对天气、人流量、路况等情况的考虑往往顾此失彼。大数据则可根据天气、人流量及路况等进行综合性分析，推测交通规律，合理设计公交路线，及时解决交通拥堵的问题，并减轻城市交通负担。如滴滴打车可利用用户的打车记录和司机行车轨迹等数据分析结果，精准地为乘客匹配合适的司机，提升出行效率。

    3.3 医疗体系更精密

    保障人民生命和健康的医疗行业也与大数据进行了跨界融合。大数据能更科学地划分医疗卫生体系，缓解看病难的现状，还能通过大数据分析某些疾病的高发时期，如流感、麻疹等，提前采取有效措施，减少患病率。例如，谷歌公司通过分析“咳嗽”、“发烧”等特定词条来预测美国冬季流感传播趋势，且预测结果与官方数据的相关性高达97%[8]。对于个人而言，医生以前只能对患者的当前身体状况做出判断，而现在则可对患者的历史数据进行分析，并综合国内外治疗经验、遗传变异等，为患者提供针对性地治疗。

    3.4 社会安全更有保障

    随着智能手机的发展，在社会安全管理领域内，通过对手机数据的挖掘，可以搜集热点事件，挖掘舆论，还可追踪造谣信息的源头。同时通过数据信息分析，可发现案件属性和犯罪人员属性的关联规则，进而找到犯罪的规律、特点，预防和打击犯罪，保障城市公共安全。

    3.5 信息的传递和获取更便捷

    在古代，传递信息时往往会借助某种工具或面对面进行，而如今，人们传递信息不必局限于时间和空间，甚至打破国界，通过网络技术可以实现多种多样的资料传递，以及查询各种所需的资料，还可以通过电子邮件等获取国外最新消息，促进国际交流。

    4 大数据时代面临的挑战

    4.1 信息安全受到威胁

    手机和计算机的使用已经渗透到人们生活的各个方面，大数据使得消息的传递和获取更便捷，但同时也使国家及个人的信息安全受到威胁。人们每时每刻都能产生数据，而这些数据不再具有神秘性和私有性，与之相关的数据也会在毫不知情的情况下被一些大数据公司搜集，且网络中还存在着很多风险，如木马病毒、黑客攻击等，他们像无形的杀手，会悄无声息地“绑架”你的系统，且需要付费才能“解放”你的系统，若你不从，他们则会“撕票”。他们一旦破坏了你的系统，会对系统数据进行恶意篡改或删除，且会造成网络瘫痪、甚至系统崩溃，而很多账号密码、个人隐私、文件将会被泄露，一旦被不法分子利用，将可能会造成个人财产损失，甚至会威胁到个人的人身安全。例如杭州某民企财务给假“老板”汇款数十万的案件，此案件就是不法分子利用大数据技术获取个人信息，并根据相关数据分析模仿其行为习惯，进行造假并行骗。更严重的是，一些国家可能会利用黑客等攻击来盗取别国机密，这很可能会危及国家安全或者给国家带来不必要的损失，2013年的斯诺塔事件为我们敲响了警钟，我们更要加强维护国家的信息安全。

    4.2 信息存储问题

    在网络还未兴起的时代，信息大部分都以纸质存储为主，浪费资源较多，占地空间大，整理较为麻烦。随着大数据的兴起，人们将纸质存储改为计算机存储，节约了大量空间和资源，整理也容易了许多。但随着大数据时代数据信息的增长速度日益加快，大数据除了数据量巨大之外，还意味着拥有庞大的文件数量，如系统日志、访问控制列表等，必须需要多台机器同时提供服务，又由于是文件式读写，对元数据（描述数据属性的信息）的访问可能会比较困难。其次，对于非结构化数据，存储、检索都会存在一定问题，占用空间也较大;对于半结构化数据，存储、分析都需要转化为结构化数据，难度较大，不利于实时处理。最后，传统的技术和数据库容量有限，不能处理TB级别的数据，时效性低，对大数据的查询效率极低，这样会降低大数据的存储效率及访问效率。若想使信息技术继续发展下去，就需要更大的存储空间，尽管存储技术在不断进步，但是在数据存储过程中面临的问题也更多。

    4.3 数据处理问题

    大数据是一种数量庞大、种类繁多的信息资产，数据的海量性和多样性使得传统的工具无法在一定时间范围内捕捉和管理，这就是想要深入探索其财富十分困难的原因。通常企业所收集的数据来自于物联网、社交网络等渠道的非结构化数据，但目前企业现有数据处理方式仅适用于结构化数据处理，而企业中85%的数据属于非结构化数据，且每一秒数据都呈指数式增长，使得数据处理效率降低，数据的价值难以彰显，整合、分析速度成为数据应用的瓶颈，更是企业发展的“拦路虎”，不利于企业未来的发展。

    4.4 大数据的人才缺乏

    近年来，大数据行业越来越热门，而人才短缺的问题日益突出，特别是数据分析人员的紧缺，數据分析作为大数据产业的核心，是大数据转为商业利益以及发展其特殊社会意义的关键，行业发展也因此到了瓶颈期。由于国内的人才严重稀缺，大多企业还选择从海外发掘人才，但仍存在岗位空缺的现象。为应对大数据落地人才紧缺的发展瓶颈，企业和高校需要共同培养打造一批掌握大数据技术，并有相关经验的专业人才。

    5 大数据时代的机遇

    虽然未来的大数据发展仍存在诸多挑战，但前景依然非常乐观，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。

    5.1 数据分析方式增多

    通过对大量数据信息的整理和分析，相关技术人员能及时发现安全威胁以及网络异常行为，再针对其风险问题制定计划并及时处理，将其扼杀在摇篮里。当处理的信息出现问题时，传统的查询方法就非常耗时伤神，即使找到问题根源也需要消耗大量的资源进行补救。而大数据技术能及时地发现问题所在，并自发性地制定针对性的计划进行补救，进而能将安全风险降到最低。另外，大数据技术可以把各种数据有机结合起来，在对这些数据分析时可以进行风险预测，对网络进行实时不间断地监控，能有效识别钓鱼网站、预防黑客入侵。若网络被非法攻击就一定会留下数据信息，相关人员利用大数据技术对这些蛛丝马迹进行整合和分析，便可找到最佳解决方案和防范措施，还可找到非法攻击的源头。

    5.2 资源配置灵活化

    大数据与物联网、云计算等新技术联合应用，对全球资源配置进一步地整合和创新，并有效运用资源，使其不再受文化差异、地理位置等因素的限制，实现全球资源共享，从而为各行各业的发展提供了诸多保障，提高人们的生活水平。在此背景下，我相信随着大数据技术的不断创新与完善，不仅会为信息安全创造一个良好的发展环境，还能推动全球经济的发展和社会的重大变革。

    5.3 营销方式创新

    一是保护用户隐私的前提下，利用大数据分析，运营商可为政府、银行等提供信用查询服务、目标客户群消费分析等信息，挖掘出更多有价值的信息，实现互惠互利。二是针对性地投放广告，通过对客户位置信息、消费情况的分析，运营商可以帮助广告商分析目标客户群聚集区域、消费习惯、关注事物等，并根据其分析的数据更有效地投放相关广告，从而提升相关业绩。

    5.4 将成为一种科学的科研方法

    在教育、医疗等各个领域，已经证明大数据技术是科学的，如果有足够的数据来支持其相关性，就不需要分析原因。例如，当有大量数据证明某种药物对医治某种疾病有效时，则这种药物就是对该疾病的科学治疗。毋庸置疑，在公众关注的大环境下，大数据思维的应用在我们的日常生活中随处可见，程序员将繁冗乏味的数据转化为一份份真实可靠的分析报告，从而构建一个为公众提供优质服务的应用平台。

    6 如何应对大数据时代的挑战

    6.1 提高网络安全防范意识

    目前，建立一套完整的安全防范网络至关重要，不仅要从技术上加强网络系统的防范能力，还要提高用户网络安全防范意识[9]。用户在使用计算机和手机前，需要认真阅读操作指南及注意事项，对于不确定信息不要随意乱点，更不要轻易相信，因为操作不当很有可能会为自己埋下安全隐患。因此，为给网络安全提供必要的保障，需要用户对计算机或手机进行定期地维护，检测系统的安全性;下载相应软件对网络漏洞进行及时修复，建议安装正版软件并及时更新;规范自己的使用习惯，加强对网络安全的学习。上述手段可有效防范病毒攻击系统和黑客入侵系统，还可有效避免隐私被非法分子利用的问题发生。

    6.2 完善信息保护体系

    一是利用加密技术对个人信息进行加密处理，降低网络风险问题。二是通过法律来保护个人信息，国家应将个人信息保护条款添加到相关的法律法规中。三是国家应统一拟定信息安全等级技术标准和管理制度，并且通过相关组织采取分等级的形式对信息进行安全保护、管理和监督。

    6.3 锤炼数据处理能力

    大数据意味着大商机，可以用于强化客户对企业品牌的认知度[10]。纽约大学教授罗伯特先生曾指出：大数据是一个超越了人们想象力的事物，是一个对企业进行全方面观察的重要方法。因此，企业必须要弄懂业务的整体概况，并摸清楚产业链的整个布局，对行业的上游和下游的经营状况有大抵地了解，更新自身的信息技术，引进新技术，提高其数据处理能力。

    6.4 培养大数据人才

    从某些发达国家的经验来看，先进的企业与优秀的高校合作会带来意想不到的效果，高校拥有大量有潜力的学生，而企业拥有行业发展前沿的课题和处理这些课题的物质条件，两者相结合则推动了人才的培养和技术的发展。互联网企业拿出自己业务上的数据，提出分析目标，在高校中广泛征集分析方案，举行大数据分析竞赛，这不仅为在校学生提供接触行业前沿的机会，还可让学生通过实践成长，更是一种培养高级人才的方法。

    7 结语

    大数据时代是科技进步的必然趋势，有机遇亦有挑戰，且机遇多于挑战，企业需抓紧大数据时代的机遇，积极应对挑战，才能在这大数据时代中立于不败之地。我们所领会的大数据只是一小部分，大数据中还有良多宝藏等待着我们去探索和挖掘。

    参考文献：

    [1] 耿秋，孟剑.大数据时代机遇？挑战？[J].中国新时代，2012 （06）：60-61.

    [2] 泽正. 浅谈大数据时代信息安全面临的机遇和挑战[J].中国管理信息化，2018（02）：146-147.

    [3] 林国勇.大数据时代面临的信息安全机遇与挑战[J].信息化建设，2016（01）：19-20.

    [4] 郭绍征，马晓铮，赵灿，陈勇智，贾秀娟.大数据对人们生活带来的影响[J].中外企业家，2016（23）：232.

    [5] 陆瑜亮. 大数据 对生活带来的影响[J].通讯世界，2015（20）：292-293.

    [6] 姜树正.大数据时代的机遇和挑战[J].中小企业管理与科技（中旬刊），2017（12）：195-196.

    [7] 陈如明. 大数据时代的挑战、价值与应对策略[J].移动通信，2010（17）：14-15.

    [8] 冯伟.大数据时代面临的信息安全机遇和挑战[J].中国科技投资，2012（34）：49-53.

    [9] 田书岢.浅谈大数据时代计算机网络安全防范[J].信息与电脑（理论版），2015（12）：159-164.

    [10] 郝霞.大数据时代企业经营管理的挑战与对策[J].重庆与世界（学术版），2013，30（06）：34-44.

    1.西华大学 西华学院，四川 成都

    2.西华大学 计算机与软件工程学院，四川 成都