| 标题 | 大数据时代下企业大数据应用管理体系的探讨 |
| 范文 | 王超+郭振+蔡云飞 摘要：随着大数据时代的蓬勃发展，数据成为了企业发展的重要战略资源，企业越来越发的认识到基于大数据的数据分析对企业的可持续发展具有战略性作用。目前国内外各大企业大数据应用研发蓬勃发展，但存在缺乏统筹、分析方法各异、分析成果缺乏统一管理和共享等不足，制约了数据价值的有效发挥。因此，需亟待开展企业级大数据应用管理体系研究，规范大数据分析应用建设，发挥企业数据价值，支撑企业业务创新。 关键词：大数据；数据应用；管理体系 中图分类号：TP181 文献标识码：B 文章编号：1009-3044（2017）27-0246-03 1 大数据应用背景和概念 1.1 大数据应用背景 国家将大数据视为经济转型发展、重塑竞争优势和提升政府治理能力的重要机遇。大数据已上升为国家战略，各级政府大力推进，发布多项政策，扶持和引导相关产业发展。 （1） 宏观政策 国家将大数据视为经济转型发展、重塑竞争优势和提升政府治理能力的重要机遇。大数据已上升为国家战略，各级政府大力推进，发布多项政策，扶持和引导相关产业发展。 （2） 技术环境 云计算、物联网、移动互联网等技术的逐渐成熟和集中应用，催生了数据时代，为大数据应用分析提供了数据基础。大数据应用分析技术不断发展，形成了以Hadoop等开源技术框架为主，多种技术融合发展的技术体系，为大数据的存储、分析、展示等提供有力支持。 （3） 应用形势 当前，大数据技术发展日新月异，大数据应用需求旺盛，政府连续出台扶持政策，大数据应用规模已呈现爆发趋势，应用价值日益突显； 大数据已被广泛应用到金融、电商、交通、医疗、工业制造等领域； 权威机构预计到2020年，我国大数据直接应用市场规模将达8000亿元； 美国麻省理工学院的研究发现，使用数据驱动决策的公司生产率比不使用数据决策的公司高5%-6%。 1.2 大数据应用概念及特征 （1） 大数据应用相关概念 针对大数据应用和大数据应用管理体系，业界并无标准定义，本课题基于调研情况并结合其内涵对其进行了定义。 大数据应用：是基于大数据，以组织业务问题和业务发展为导向，发掘隐含在数据中的信息、规律和知识，服务于业务分析、管理决策和发展预测，提升组织运营效率和管理水平的一组业务活动，是数据管理的重要组成部分。 大数据应用管理体系：用于保障包括需求统筹、建设、成果应用在内的大数据应用全过程工作有序、高效开展，以实现组织目标的管理框架，包括组织、制度、资金及支撑技术等。 （2） 大数据应用特征 大数据赋予了传统数据分析新的内涵和意义。基于海量数据，利用大数据方法可分析获取数据中更多深入的、有价值的信息。 大数据应用具有跨专业融合应用需求多、数据来源广、持续迭代优化要求高、建设过程多样、成果共享价值高等特点。 针对大数据应用，需集约化需求管理，标准化建设管控，迭代式优化提升，规模化共享应用，最大程度挖掘数据价值。 2 大数据应用理论及行业实践调研 2.1 理论调研 经调研，大数据应用发展总体上处于起步阶段，缺乏针对性理论指导，但是数据仓库和商务智能方面已有成熟的理论，可为本课题研究提供参考。本课题调研的相关理论包括DAMA数据管理体系、 Gartner商务智能能力中心管理体系和TDWI大数据应用管理成熟度模型。 （1） DAMA数据管理体系 DAMA数据管理体系提出了包括七个步骤的数据仓库和商务智能管理行动路线，该路线在商务智能信息需求、处理商务智能所需数据及整体流程方面，可为本课题研究提供借鉴。 （2） Gartner商务智能管理框架 为应对数据量快速增加、系统分散、多部门协同等日益突出的数据应用困难，Gartner提出了包含治理结构、人员和流程的商务智能管理框架（BICC 框架），旨在指导组织开展商务智能活动，提升商务智能应用水平。 （3） TDWI大数据应用管理成熟度模型 TDWI大數据应用成熟度模型（TDWI BIG DATA MATURITY MODEL）是TDWI于2013年提出的，是对组织的大数据应用管理成熟度进行量化评估的方法。其按照组织、基础设施、数据管理、数据分析和数据治理五个维度发展情况设置评估指标，将组织大数据应用成熟度分为新生（NASCENT）、预采纳（PRE-ADOPTION）、早期采纳（early adoption）、公司采纳corporate adoption）和成熟/有远（mature/visionary）五个等级。 2.2 行业形势 据统计，目前我国有32%的规模以上公司正在探索大数据应用，处于验证阶段；29%的公司已经在生产环境实践大数据，并有成功的案例和产品；25%的公司已经做了足够的了解，准备开始应用；基本不了解的只占14% 。 先行企业在大数据应用领域已开展多年研究和应用，有效提升企业效率、降低企业成本，例如： 京东：将大数据应用到物流系统，实现中小件仓库捡货单品耗时从22秒降至16秒。 芝麻信用：基于大数据提供征信服务，近一年帮助客户为超过1千万人次发放280亿信用贷款，违约率不到1%。 台湾高铁：通过大数据技术对高铁设备及运行情况进行实时监测，将6秒内到站和出站的准确率控制在99.15%。 2.3 行业实践 （1） 某国有集团 某某国有集团数据管控工作的总体目标是通过数据管控体系的建立和运行持续提升集团的数据质量水平和数据安全水平，为信息化应用打造准确、完整、一致、安全的良好数据环境，以数据资产支撑集团的生产操作、经营管理和战略决策，创造业务价值。具体的管理模式如下： 管理组织 公司各业务部门下设业务数据主管领导（处室），统一管理整个部门数据相关工作，包括数据应用管理。 需求管理 由业务部门内业务数据主管领导（处室）统筹部门内数据应用需求，涉及跨部门数据也由本部门业务数据主管领导协调获取。 建设管理 信息化系统是数据的载体，数据管控工作的各项标准和要求最终落实到信息化项目建设过程和信息系统中，数据管理的各项制度和标准需要在信息化项目建设的各个阶段进行落实。 成果管理 数据应用成果使用后在部门内归档。 （2） 某国有银行 在国家金融市场日益开放、竞争日趋激烈的今天，中国银行业在业务运作上普遍面临着巨大的挑战。为了达到“在未来三到五年内建设成为具有一流经营管理水平的、有较强国际竞争力的现代化金融企业”的战略目标，某国有银行面临着提高管理效率、提高风险控制能力和提高市场竞争力的艰巨任务。 根据该银行数据管控的现状，结合国内外领先银行的实践和专家经验，该银行的数据管控体系框架主要由围绕着数据规划、数据质量管理、数据标准管理以及数据安全分级和授权机制这四大核心管理工作建立的数据管控策略、数据管控方法和数据管控内部组织结构三个维度构成。 管理组织 设置了与技术部门平级的数据管理部，开展数据标准和质量管理，集中管理数据应用需求，统一负责数据对外报送。 需求管理 该银行制定了详细的需求管理办法，界定了各类数据需求的管理办法，统一了数据需求的管理部门。 建设管理 该银行建立了统一的大数据分析中心，统一采集和管理公司的各类数据，支持公司各类数据分析应用的开发。 成果管理 将数据需求、解决方案、实施过程文件等纳入知识库统一管理；知识库由数据管理部负责统一管理。 （3） 某工业公司 为实现对经营决策支撑、满足精細化管理需要，某工业公司构建完善公司全面数据管控体系，彻底解决数据分散、数据质量缺陷等问题，保障信息化建设成果，开展数据管控工作势在必行，通过数据管控保障数据质量，为发掘数据资产的业务价值打好坚实基础。具体的管理模式如下： 管理组织 将数据应用的建设权赋予信息资源部，统一开展数据应用建设工作。 需求管理 信息技术部拥有公司企业级数据的管理权限，统一开展数据应用建设工作。 建设管理 信息资源部负责开展数据应用项目建设，建设过程着重对方案设计、实施、上线等关键环节的进度和质量进行把控，并将数据准备及建模等工作融入到方案设计和实施环节中开展。 3 大数据应用管理体系架构 3.1 大数据应用管理模式及内容 通过调研，数据应用管理可归纳为分散管理型、职能复用型、集中管理型三种模式，数据应用管理模式中重点关注组织管理、需求管理、建设管理、成果管理四大领域。 （1） 管理模式 分散管理型：各部门分散开展数据应用，无集中管理，例如某某国有集团，公司各业务部门均设有业务数据部门，开展本部门数据应用相关工作。 职能复用型：赋予现有部门数据应用管理职责，集中开展数据应用部分过程的管理工作，例如某工业公司，依托公司信息技术部负责开展公司所有数据应用项目建设。 集中管理型：成立独立于技术和业务部门的实体或虚拟管理组织，集中开展数据应用全过程管理工作，例如某国有银行，设立设置与技术部门平级的数据管理部统筹开展全行数据管理和应用。 （2） 管理内容 组织管理：指的是数据应用管理的组织形式，可归纳为如下几类： 实体组织型：成立独立于技术和业务部门的数据应用实体管理组织，集中开展数据应用管理工作。 虚拟组织型：由技术、业务部门共同组成数据应用管理虚拟组织， 集中开展数据应用管理工作。 职能复用型：赋予现有部门数据应用管理职责，负责集中开展数据应用部分过程的管理工作。 需求管理：指的是数据应用的需求管理形式，可归纳为如下几类： 基于项目型：通过控制企业级数据管理权，集中开展大数据应用需求管理。 基于数据型： 通过控制大数据应用分析项目，集中开展大数据应用需求管理。 建设管理：指的是数据应用建设的管理模式，可归纳为如下几类： 系统建设项目管理方式：系统建设驱动，沿用常规信息化项目建设管理模式，对方案设计、研发、上线运行等环节进行管理。 大数据项目管理方式：数据分析驱动，根据大数据应用特点，重点对数据需求统筹、模型持续迭代等内容进行管理。 成果管理：指的是数据应用成果的管理模式，可归纳为如下几类： 建设方法共享：指共享大数据应用建设方法，共享内容包括建设方案、分析模型、程序等过程文件及经提炼后的经验和知识等。 分析结果共享：指数据应用分析结果的共享。 3.2 各管理模式的优劣势对比 分散管理、职能复用、集中管理三种管理模式各有优缺点，适用于不同业务类型、不同规模的企业。 （1） 分散管理 企业级数据管控能力弱：企业很难全局掌握控制数据应用行为； 数据应用成本高：虽然数据应用管理成本低，但由于重复建设及成果不能共享导致企业整体数据应用成本偏高； 数据应用创新能力强：对数据应用建设及使用的约束较少，有利于促进数据应用的创新。 （2） 职能复用 企业级数据管控能力一般：由于现有部门职能的单一性，无法在企业级对数据应用的全过程管控； 数据应用成本高：无法从全过程统筹管理数据应用建设，仍会导致重复建设及成果不能共享的情况； 数据应用创新能力一般：对数据应用建设及使用进行部分规范和约束，一定程度上影响了数据应用的创新。 （3） 集中管理 企业级数据管控能力强：企业可对数据应用全局、全过程的掌握和控制； 数据应用成本低：虽数据应用管理成本相对较高，但由于实现企业级需求统筹、成果共享，数据应用成本整体不高； 数据应用创新能力强：实现了需求统筹、成果共享，形成了企业级数据应用创新机制，促进了数据应用创新能力的提升。 4 总结 参考国外理论环境及先行企业的优秀案例，结合国内企业大数据应用现状，综合考虑数据管控力、数据应用创新能力、数据应用成本，推荐企业采用集中管理模式开展大数据应用管理，组织方式采用“虚拟组织型”，并遵循以下管理原则： （1） 专业化管理 从组织、制度方面引导和规范公司大数据应用。在组织方面，大数据应用应作为独立业务，成立专职、专业应用分析团队；在制度方面，制定覆盖立项管理、建设管理、成果管理和评估管理，包括业务流程和管控流程在内的大数据应用管理制度，引导大数据应用，规范大数据应用过程。 （2） 企业级统筹 大数据应用重要性和价值日渐凸显，应在需求、建设和成果等方面实行公司级统筹管理。在需求管理方面，以项目、数据资源、应用分析能力等为抓手实现大数据应用需求统筹管理，避免重复、无序建设；在建设过程方面，通过设计建设管理和数据分析相关流程，规范建设过程，保障大数据应用建设高效、成果高质量；在成果管理方面，依托管理办法和支撑平台，集中管理和共享项目建设过程文档和经深度提炼的知识，以及分析成果。 （3） 融合性应用 开展融合性应用，提升大数据应用水平，促进公司管理模式业务模式创新。在大数据应用方面，通过跨专业大数据应用，实现公司大数据融合性应用，提升公司大数据应用水平；在大数据应用流程方面，将大数据应用需求管理、建设管理和成果管理等流程有机衔接，实现流程融合。 （4） 多元化技术支撑 提供多种大数据应用技术支撑环境，满足多元化大数据应用创新需要。以自建大数据应用平台为主，以多样化的数据挖掘分析工具为辅，开展大数据应用。同时，主要发展以Hadoop开源框架为主的技术路线，并关注其他开源技術发展动态。 |
| 随便看 |
|
科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。