| 标题 | 油田勘探开发数据集成研究 |
| 范文 | 贾世宇+郭根旺+张晓燕 [摘 要]数据集成是勘探开发数据整合的重要环节，如何根据实际情况设计适用的数据集成模式，是数据集成工作顺利开展的前提。本文介绍了油田勘探開发数据的发展和数据集成的必要性，重点论述了油田勘探开发数据集成的建设思路，阐述了当前流行的集成模式，描述了适用华北油田的勘探开发数据集成模式、集成步骤、集成规则与需要使用的集成工具。 [关键词]数据集成；油田；集成模式 doi：10.3969/j.issn.1673 - 0194.2017.08.033 [中图分类号]TP391 [文献标识码]A [文章编号]1673-0194（2017）08-00-02 0 引 言 随着油田的数据建设，越来越多的系统应运而生，但随之也带来了越来越突出的“数据孤岛”问题。随着各油田信息化应用的不断深入和“数字油田”“智能油田”的建设，数据交互的需求日益强烈，急切需要对已有的数据进行整合，解决“数据孤岛”问题，共享数据。 因此，通过数据集成技术实现油田勘探开发数据的整合，达到勘探开发数据的相互关联，对油田开发过程数据资产的利用具有重要意义。 1 油田勘探开发数据的发展 伴随着信息技术的日新月异，华北油田勘探开发数据的发展也经历了从无到有、从纸质资料到电子化资料、从数据表到数据库、再从数据库到“资源池”的过程。 1.1 数据标准及模型的发展 华北油田信息建设初期，勘探开发数据没有统一的标准及模型，各油田科研、生产单位按照自己的工作与使用习惯设计表格或数据库存储所需数据，导致油田数据标准不一致与不规范、数据模型差异大；中石油1991版勘探开发数据标准及模型的发布，在勘探开发专业范围内规范了数据标准，初步根据业务对数据进行了分类，初步认识到数据之间存在一定的逻辑关系，为油田各单位提供了权威的、可操作的数据标准及模型；随着应用的深入，之后又发布中石油1997版及2002版勘探开发数据标准及模型，数据模型在业务流程分析的基础上进行设计，且注重源头数据，实现了勘探开发一体化，数据之间的逻辑关系更加准确完善，使油田各单位的数据标准及模型逐渐统一；但随着石油技术的迅猛发展，新数据类型的出现、旧数据类型的变更，导致各单位不得不在标准上进行扩充和修改，数据标准及模型又呈现出多样化；随着中石油A1系统、A2系统的推广实施，华北油田通过对业务流程的分析，参照POSC业务流程进行设计，发布了EPDM 1.0数据模型标准，数据的完整性得到了加强，更加准确地描述了油气勘探开发的实体和相互关系，更加易于扩展和维护。 目前，华北油田数据库使用的标准及模型主要有中石油1997版勘探开发数据标准及模型、EPDM标准及模型。 1.2 数据库的升级及其历史数据的迁移 华北油田存储勘探开发数据的一系列数据库从最初建设的DBF数据库，发展到目前使用的Oracle数据库。 华北油田勘探开发历史数据的主要迁移过程是专业库数据、电子文档等迁移至A1数据库，各厂开发数据库数据迁移至A2数据库。 1.3 成果数据的产生与存储 科研人员通过对勘探开发数据的使用与分析，会产生个人或集体的研究成果数据。这些数据往往存储在个人的硬盘中，无法分享。成果数据的分享可有效降低研究中的重复工作量，科研人员继承前人成果，可提高研究效率。因此，成果数据的集成也是勘探开发数据集成的重要组成部分。 2 数据集成的建设思路 2.1 数据集成的范围 在数据集成的过程中，需要根据需求和数据管理现状，采取最合适的办法。 华北油田勘探开发数据主要是为了满足各种应用系统的需要，目前针对勘探开发数据的主要应用系统有中国石油天然气集团公司统建的油气水井生产数据管理系统（A2）、勘探与生产技术数据管理系统（A1）等以及华北油田自建的相关应用系统，涉及的专业包括物化探、钻井、录井、测井、试油测试、分析化验以及油气生产数据等，相关的数据标准及模型主要有中石油1997版勘探开发数据标准及模型、EPDM标准及模型以及少量特殊应用自建的数据标准，结构化数据存储主要是以Oracle数据库为主，非结构化数据主要以文件形式保存，其格式多种多样，如Word、Excel、txt等。 2.2 数据集成的模式及选取 2.2.1 数据集成的模式 在企业数据集成领域，已经有了很多成熟的框架可以利用。目前，华北油田通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统，这些技术在不同的侧重点和应用上解决数据共享和为企业提供决策支持。 2.2.2 数据集成模式的选取 数据集成模式的选取，需要根据数据应用的需求和现有的管理情况而确定。目前，华北油田勘探开发数据绝大部分数据是集中存放的，数据标准主要是中石油1997版勘探开发数据标准、EPDM标准，同时考虑本油田的特色应用需求，暂不采取全部数据整合到一套标准中，又考虑到勘探开发数据的特殊性，因此采用联邦数据库系统和中间件的混合模式。基于模式的选择，确定实现集成的步骤。 （1）核心库的建立：建立基本实体（井、井筒、地质单元等）数据库，作为所有数据库基本实体的唯一来源，保证数据库体系数据中基本实体的一致。 （2）数据模型管理：对华北油田97模型、EPDM模型及自建系统特殊模型的管理。 （3）数据同步：实现基本实体数据和专业数据在不同数据库之间的及时更新和一致。 （4）数据迁移：把应用可移植或可被替代的数据库数据，迁移到相同标准的、数据范围更大的数据库中。 2.3 制定数据集成规则 设计数据集成逻辑就是为了确定数据是怎样实现集成的，这是实现数据集成的核心工作，需要从以下几个方面进行。 2.3.1 进行数据模型比对 对于标准化的数据项，进行比较。这种比较需要依据数据表设计的原则和专业划分的不同，可能存在一对一数据表进行对比，也可能会是多对一、一对多或者多对多的对比。 2.3.2 基本实体的统一 对不同标准、不同数据库中的基本实体数据进行统一的规范，包括井号简写字的规范，如：【莫】修改为【鄚】，【坝】修改为【霸】等；名称统一，地名、单位名称，有时是简称；井号标志的统一，如：【新】【老】【原】【加深】等标志；数据项单位的统一等。 2.3.3 进行数据转换 在将业务数据抽取到数据中心时，基本的数据转换包括以下几种类型。 （1）数据清洗。例如专业数据中字符型数据取值中包含有空格，需要将空格去掉；如果专业数据中含有无意义的数据，例如测试数据或者空行数据，也需要将这样的记录删除。 （2）数据格式转换。例如专业数据中有关时间的数据项为字符型，需要根据数据字典要求将其转换为日期型。 （3）代码转换。专业数据中的代码可能并不满足信息标准要求，在与其他数据库进行数据交换时在与其他数据库进行数据交换时，需要将专业数据中的代码转换为满足其信息标准的代码。 （4）数据项匹对。要在不同数据库的专业数据中的数据项间建立起对应关系，有时两者并非一一对应，需要进行拼接与拆分。 （5）其他转换。根据实际的数据状态和要求，制定更多的细节转换规则，例如大小写转换、字符转换、取值域转换等。 2.4 数据集成工具的使用 数据集成中工具主要用到模型管理工具和ETL工具。 2.4.1 模型管理工具 模型管理工具通过模型表，直观的描述某个项目的数据库结构。它通过管理多组不同性质的软件模型，可以实现对公司内部软件模型的集中管理，也可以将各个模型快速创建成数据库相应的结构。 2.4.2 ETL工具 ETL是BI/BW（商务智能/数据仓库）的核心和灵魂。ETL工具可按照统一的规则集成并提高数据的价值，是实现数据集成的重要工具。 随着中石油勘探与生产技术数据管理系统（A1）2.0版的推广实施，中油瑞飞的ETL工具DSB逐渐被各油田使用。DSB（Data Service Bus，数据服务总线）是一款灵活易用的数据集成产品，具有高效的数据处理引擎和灵活的可扩展性；在数据集成领域提供了良好的技术支持，支持多种数据处理的应用场景。其包括的功能有数据采集、数据处理、数据交换、数据迁移、数据对比Oracle日志同步、數据仓库建设、石油专业文件适配、数据即时访问以及EPDM建模等功能。 3 结 语 数据资源是油田的基础资源，合理利用数据资源能够为油田建设带来多方面的效益。数据集成是数据资源建设的重要步骤，只有从实际出发，灵活运用多种手段，才能达到较好的效果，从而推动油田勘探开发应用的发展，为“智慧油田”的建设保驾护航。 主要参考文献 [1]韩明.油田开发数据综合集成的研究[J].数字石油和化工，2009 （7）. [2]杨宏英，林长松.异构数据集成系统的应用模式与技术实现[J].微电子学与计算，2006（8）. [3]刘丹阳.高校数据中心数据集成方案设计的方法研究[J].实验技术与管理，2011（4）. [4]刘芳，卢国强，刘宾娜，等.大数据时代的数字图书馆异构数据集成分析[J].电子技术与软件工程，2015（22）. |
| 随便看 |
|
科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。