网站首页  词典首页

标题	大数据的孤岛危机与开放之道
范文	黄罡 “互联网+”时代最重要的是大数据，大数据面临的主要问题是数据孤岛，直面这个问题需要一套颠覆式技术。理解这些首先要从信息化3.0的角度来看“互联网+”，互联网使得我们的整个信息化，从以前单机时代到了网络时代再到了现在的“互联网+”时代。 从学术的角度讲，第一，我们的互联网通过移动互联网和物联网得到了更广泛的延伸，使得网络无处不在。第二，我们在互联网上形成了云计算为核心的新一代计算存储引擎。有了这样的技术，我们就会发现越来越多的应用可以使用，同时会产生各种各样数据。所谓大数据，一定是各个来源的数据的融合，以及基于此的智能化分析。那么真正的大数据是什么呢？举一个日常的例子，今天我在淘宝上买了一双鞋，然后我打开网易新闻头条会发现居然新闻会有推荐鞋的广告。由于你在淘宝刚才花几百块钱还是几十块钱买了一双鞋，这个信息淘宝平台会知道，这个信息如果恰好今日头条或者网易新闻了解到了，那么他们会从广告库里面给你及时推荐。 今天的大数据真的是跟大家想象的所谓数据挖掘不一样了，主要是在于3.0的特征升级。第一主要是数据是多元的，如果说这个数据是一个企业就全能拿到的，这叫海量数据，不叫大数据。第二，数据是实时的，我们以历史数据为主，而不能拿到实时的数据，这也是不符合特征的。第三，强调的是分析结果的实时化，这个实时化一定要立即产生结果或者说价值的快速体现。 我们从这几个角度可以看到，今天的大数据给整个IT带来了完全不一样的改变。但是遗憾的是，我们仔细一看就会发现，如现在数据显示，大数据在中国市场的规模才几十个亿，很多人质疑原因是什么，这就是存在的问题。如果从大数据的几点特征来看，从严格意义上能够真正成为大数据公司或者大数据产品和服务来看，我们探讨的大数据一定是基于多元的数据、实时的采集，以及实时的分析，只有这样的大数据才会进入到大数据产业。 另外我们发现，我们的数据很早以前就有，当时大家在做的抓取互联网中网页里面的数据，这些数据都是“爬虫”能够爬到的，因为遵循的是互联网开放协议，所以所有的数据大家都可以用 “爬虫”的方式获取下来。另外可以看到在10年前，我们的互联网“爬虫”爬到的数据只有0.3个G，而“爬虫”爬不到的数据是7.9个G，这些数据又是什么呢？不遵循开放协议“爬虫”爬不了，比如说“12306”系统里面的数据，各种APP里面的信息，这些都是过去的“爬虫”爬不到的。因此，我们可以看到真正的大数据并不是取自于互联网上公开的数据，而是要深挖藏在互联网深层的数据和信息。从调研的数据可以发现，现在大数据企业，90%的时间花在数据采集清洗，10%的时间用于真正的大数据关于业务价值的分析。美国硅谷的风投中52%还是投向大数据的采集和相关组织。 今天的IT或者我们说互联网上的应用，基本上是遵循三级结构，数据存在数据库里面，只是数据的值和基本的描述，数据库的三级模式是数据库在三个级别 （层次）上的抽象，使用户能够逻辑地、抽象地处理数据而不必关心数据在计算机中的物理表示和存储。但是如果我想把这样的系统的数据拿出来是很难的。 你直接打开数据库没有用，即便有数据库表也看不懂，这个时候我们必须要去看前面的数据表现层和业务层，但是那些代码如果在还好，如果不在就很难，更关键的是我们很多系统都是第三方商业支持。我是直接拿的数据库，我把这个权限给你，到时候被篡改怎么办？各种各样风险要全面评估，按照这个思路来判断：数据的生产者和拥有者的权利反而没有了。 我和我的团队是从2000年开始做应用服务器的，所有的网站都跑在应用服务器上，针对之前的问题，我们做了很大的技术突破和颠覆：我们提供很简单的方式，你只需要填空，但是所有代码我们是清楚的。只要你的数据藏在软件中，我不需要看你的源码，你的数据库能够通过一个客户端或者浏览器看到，你只需要告诉我们你需要什么样的数据，这样我会把所有的数据全部都生成API接口共享，这时候以API方式存在和使用。而通过这种技术，实际上我在后台是会用“小机器人”帮助你把数据拿出来、自动更新。这时候你也不用给我源码，也不用给我开放数据库，不用开发后台，你的系统开发商是谁我也不知道，我也可以把你的数据安全的按照你的要求提取出来，我们也不会碰到前面所说的各种安全风险问题。 目前这个技术做了十年，最近一年半开始产品化，产品推出六个月后，我们为100多个业务系统生成了1000多个API，我们积累了越来越多的实际应用，使得我们的技术能力得到了证明。 （根据演讲内容整理，未经本人审核）
随便看	基于单片机的电梯控制系统的设计 基于STM32F103C8T6单片机的LCD显示系统设计 初中数学教学中学生逆向思维能力的培养策略研究 中职学生思想政治工作的创新策略探讨 民商法学中的连带责任思考 中国传统民居中的美与自然 定制家居产业的现状及对策思考 即时通讯对人的主体性影响 关于卫生统计与医院现代化管理的探讨 全面从严治党视域下人民政协民主监督研究 高原机场与复杂地形机场飞行员培训的改进与提高 全媒体时代下普通话在高职院校中的推广研究 事业单位图书管理问题与管理方式更新分析 我国民航技术的创新性分析 河南省农村中小学生源流失原因及对策研究 新时期农业科研院所做好科技人员思想政治工作的探讨 基于情境认知理论的研究生职业核心素养培养策略 信息技术学院学生发展质量自我诊断报告探究 基于特殊情况的铁路旅客运输组织工作 新建地方高校电子信息类本科生就业质量提升路径研究 完善职业院校教学管理，提高职业院校学生质量 项目教学在衍生产品设计课程中的应用研究 高职学生在线学习资源个性化推送模型建构 现代职业教育体系下中高职课程衔接研究 浅析仿真软件在《数控车削编程与加工》教学中的应用与创新 fullsize full stomach full stop full stops full-strength full time fulltime full-time full-timer fulltimer fully fully booked fullyear full-year fully-fledged fully grown fully recovered full² full³ full¹ fumble fumble around/about fumbled fumbler fumblers 意智 意曲 意望 意格 意概 意欲 意欲词 意气 意气傲岸 意气奔放 意气平和 意气或见解相合 意气扬扬 意气昂扬，富有朝气 意气昂昂 意气极相投合 意气横逸 意气洋洋 意气洋溢，器量阔大 意气激扬 意气激昂 意气用事 意气相争 意气相倾 意气相合

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。