数据仓库在档案信息管理中的应用
钱 毅
档案作为一种重要的信息资源,为人们提供鉴往知来?获取历史经验教训的重要信息功能?但是由于档案信息资源具有时空分散性?数量庞大?记录形式多样等特点,使得档案信息的利用一直处于较低层次?如何真正盘活档案信息,从大量历史数据中获得有价值的信息为现实服务,传统的数据处理技术并没有给出令人满意的答案?采用数据仓库技术,可以实现有效的海量数据管理,提供数据管道实现多种数据源的综合,并提供联机分析和数据挖掘等手段对档案信息进行活化,为决策者提供参考服务,这将是日后包括档案信息在内的信息资源管理手段的努力方向?
数据仓库技术简介
数据仓库的标准定义是支持管理决策过程的?面向主题的?集成的?随时间变化的?信息相对稳定的数据集合?主题是数据仓库用来组织数据的维度,像对档案信息用户的分析就可以从用户年龄?职业?查询内容?使用偏好等主题进行组织?集成是指这些数据是经过清理加工?并按照某种预定的规则进行整理的具有一致性的数据?“随时间变化”的特征主要用于进行时间趋势分析,因此需要拥有大量的历史数据?所谓“相对稳定性”是指数据仓库一旦装入数据,一般情况下就不能更改,但可以加入新数据?由此可见,相比传统数据库,数据仓库是一个复杂的数据存储体系,它从外部系统数据源中提取数据到数据仓库中,通过集成管理器对多种数据源(有可能是异构的)进行抽取?整理和转换,得到基础数据库,并与各种外部分析工具相结合对数据进行分析整理,根据需要输出综合信息?数据仓库在信息抽取?决策支持?知识管理等领域都具有广泛的应用?
档案数据仓库的建设
(一)数据仓库是档案信息服务方式的发展方向
目前,绝大多数档案馆都拥有自己的信息管理系统,建立了规模不等的档案数据库?有不少数据库的容量已经达到相当规模,且还在不断进行纸质档案文件的电子著录和数字化工作,如何对这些数据进行科学有效的分析并从中提取有价值的信息,变被动服务为主动服务,是档案信息服务在新的技术条件下面临的重大挑战?
随着信息化的不断深入,机构内部可能存在运行于不同平台上的不同结构标准的数据集合,当要跨越一定的时间长度来查询历史信息时,或者需要汇总多个系统的文件信息时,数据处理和查询的难度便增大不少?而且随着历史数据的积累,这种情况便越发突出?数据仓库为解决这些问题提供了技术保证,它能够处理大量的数据资源,通过它的集成管理器能够将发展过程中离散的数据有效集中,此举不但能够提高业务效率,保证机构历史的完整性,而且能够集中处理历史数据,获得对某一问题历史的完整认识?
(二)档案信息数据仓库建立流程
档案信息数据仓库的建立过程是一个系统工程,需要参与各方协同工作,其中包括仓库系统选型?模型设计?数据转换等技术工作,需要协调沟通档案数据源的提供方,需要熟悉档案业务流程和应用需求的领域专家,此处仅就档案数据仓库建立的核心环节进行讨论,参与各方的角色和功能从略?
1?档案应用需求分析
如果档案利用者难以由现有的系统获得所需信息,或者决策者的要求比较复杂,需要对大量数据进行综合处理才能获得,那就有必要采用数据仓库技术来辅助决策?比如对于档案用户的分析,决策者需要知道用户的利用偏好,包括利用时间?查阅档案的类别与用户年龄层次的关系?利用效果等信息,这些结论都需要参考大量数据,包括历年的用户记录和调查报表?惟有如此,才能反映正确的用户信息,为调整档案开放时间?确定档案编研产品等决策提供信息保证?
2?档案数据采集
经过多年的档案信息化进程,在档案领域中普遍存在着多种档案信息源,包括关系数据库?文件系统和INTERNET数据形式,这些档案数据源在数据结构上有不同的构造?可以通过数据采集技术将其汇总,经过数据清理转换后集成到统一的档案数据仓库中,共同构成原始信息来源?
虽然本环节具有一定的技术含量,但真正实现的难点在于破除档案信息孤岛的藩篱,沟通各数据单位,实现档案数据共享,同时需要由良好的档案质量保证体系来维护数据质量?
3?档案数据转换
采集之后就需要将现有的档案数据转换到数据仓库中,这有可能是一项庞大的工作,取决于档案数据源的质量和规范程度?仍以档案用户分析为例,用户籍贯的记录方式就有可能五花八门,有些用中文表示,有的用代号或者拼音来表示,这时数据转换工作就要根据用户需求将它们转换为相同的格式?这种情况在建立文件中心和地区性档案目录中心时就表现出来了,而且普遍存在于文件和档案信息源中,这对档案数据源的整合是一个很大的障碍?
在进行档案数据源特别是档案数据库建设的同时,应建立健全档案数据质量控制体系?该体系主要从微观的角度,以具体的可操作的形式提供对数据库进行全面质量管理的方案,包括制定数据质量考核指标?校对制度?备份制度等,定期检查,责任到人,尽量将质量管理的要求嵌入软件功能之中,以期最大限度地保障档案数据的质量?
对于档案数据的逻辑结构,则应当加强依赖于著录标准的元数据库的建设?由于我国的《档案著录规则》在著录项目设置上并没有提供完全适用于计算机管理的结构,各档案数据库在建设时都根据自己的理解自行增删著录项目,自由选择字段类型?字段长度,这样的数据库进行互联互通的难度就可想而知了?因此笔者建议以著录标准为基础,建立一定范围内的元数据标准,并以此构成元数据字典?该字典提供数据项目的结构化信息,包括数据字段的名称?数据类型?长度?默认格式等规范,并说明字段之间的联系?需要指出的是,这样一个具有内在联系的有机的元数据字典,实质上是为档案数据库提供通信格式,并不要求完全遵循,如果有特殊要求,只需要在此基础上提供转换功能即可?在目前阶段,元数据字典的建设以二次文献信息项目为主,同时加强档案全文和电子文件元数据规范研究,为档案数据仓库的整合和档案管理系统的深入设计提供规范标准?
数据仓库分析技术在档案信息管理中的应用
数据仓库只是存放和管理历史性数据的特殊数据结构,如果希望利用档案数据仓库服务于决策支持,获取高价值的信息,还需要诸如联机分析处理技术和数据挖掘等分析工具?
(一)运用联机分析处理技术(OLAP)分析档案数据仓库
联机分析处理技术是针对特定问题的联机数据访问和分析,通过对数据进行多层次?多阶段的分析处理,获得高度归纳的分析结果?OLAP是一种自上而下的分析工具,在用户提出问题之后,可以从宏观至微观的各个角度来查看分析数据,以比较直观的方式呈现给用户?通过OLAP服务器可以将数据仓库模拟成多维数据库,采用EXCEL等前端分析工具获得信息?例如利用数据仓库分析档案利用情况,决策者可以获得某类档案在2005年的利用次数数据,就时间维度而言,他可以再深入到该年各季度?各月份的利用次数,还可从用户类别维度获知哪些类别的用户查阅档案的次数较多?
(二)运用数据挖掘分析档案数据仓库
在传统数据库应用中,人们通过查询获取数据,数据经过人的理解或解释,成为有用的信息?数据库管理系统(DBMS)提供的查询手段一般只限于一些基本的数据库操作,因此通过DBMS只能对数据进行粗加工,获得一些初级的综合信息,但对于蕴藏在大量原始数据中的规则?规律?信息模式等高层次信息,仅仅通过查询是难以获得的,需要在数据仓库的基础上进行分析?推理,我们形象地称之为“数据挖掘”?主要的挖掘方法包括以下几类:
联系分析?在数据挖掘中通过关联算法,寻找数据属性之间的相关性?比如挖掘档案用户类型与查询档案类别之间是否存在相关性,如果存在高相关性,就可以为不同类别的用户提供具有针对性的服务?
聚类分析?这是一种对具有共同趋势和模式的数据进行分组的方法，依据类内相似性最大、类间相似性最小的原则对数据集合进行分组。档案信息服务提供者可以根据信息用户群中是否存在某种相似性，进而划分不同的用户群体，掌握其各自的特点，更好地提供服务产品。比如我们一般是按照职业、年龄等属性来划分档案客户的，但通过聚类分析也许会发现，查询目的属性可以更有效地区分用户行为，为公查询和为私查询的用户在查询时间、查询档案类型等方面表现差异很大，因此可根据该属性将用户分类以便采取不同的服务措施。
总之，随着档案信息化的不断深入，如何存储管理呈爆炸性增长的数据，提供深层次的信息服务成为档案信息管理进一步发展的巨大障碍。采用数据仓库技术是档案信息管理领域中一个全新的课题，利用该技术来整合数据、管理数据，并使用其各种分析工具来分析、挖掘档案信息，是档案信息服务方式的发展方向。
参考文献：
1、万里云：《数据仓库技术以及在证券业应用展望》，《现代图书情报技术》2002年第4期。
2、钱毅：《政务数据库系统》，中国人民大学出版社 2004年出版。
3、浙江省档案数据库建设调查组：《档案信息化建设数据质量是关键 》，《档案学研究 》2002年第3期。
4、（美）W·H·Inmon著， 王志海等译：《数据仓库》，机械工业出版社。
作者单位：中国人民大学信息资源管理学院
