智能电网大数据技术的发展研究
黄伟 曹健
摘要：大数据指的是智能电网运行、检修和管理过程中会产生海量异构、多态的状态数据，文章阐述了在商业、互联网等领域的大数据处理技术，从大数据传输、存储、处理等方面对智能电网大数据面临的机遇和挑战做出了具体的分析。
关键词：大数据；智能电网；技术；挑战；展望
0 引言
近年来，电力工业以智能电网为发展方向，智能电网吸纳了计算机等现代科学技术，提高了电网运行市场的功能协调与系统运行效率，同时有效的降低成本，减弱了对外界环境的影响，为电力工业电网的系统发展的可靠与稳定性奠定了基础。
智能电网属于全面的电力系统网络，涵盖着发电、输电、变电、配电、用电等环环节，属于实时的全景控制系统网络。实现智能电网的安全、可靠的目标必须以实时数据采集、分析以及处理的技术为依托，提高多源数据的分析效率。
广义上讲，大数据不仅是对各种复杂数据的捕捉、处理，还包括其处理数据的技术体系、理论与方法技术。随着科技的发展，智能电网逐渐普及并利用于交通、医疗等行业，作为一项高科技技术依托的应用。起初，智能电表与传感技术的应用为智能电网的兴起奠定了市场基础，大数据利用其本身的管理与技术价值为工业带来了优质的服务，为电力公司拓宽了业务范围，使工业界与服务界产生了根本性的变革。
1 智能电网大数据处理技术
1.1 大数据处理的价值和复杂性
近年来，大数据已经成为全世界科技界和产业界关注的趋势，美国倡导加强大数据的研究，认为大数据会对科技与经济发展带来重大的影响，对大数据控制也将成为国家间和企业间重要的竞争点。然而目前全球对数据的存储和处理能力已不能满足数据增长的趋势，大数据在智能电网建设中的技术仍需要大力的研究，云计算平台可靠性与可扩展性较高，并且成本低，有利于技术的普及，可以用于智能电网的数据管理与设备监测，为大数据处理提供了新的平台，有效的减少了数据处理软件开发的数量。但是，云计算平台不具备较高的实用性，对于大数据挖掘功能还有一定的挑战，面临着大数据的多样化发展，对公共数据处理平台的数据挖掘与处理要求也越来越高，处理大数据包含着在线、离线、流数据和图数据等等类型，需要利用复杂混合计算方式进行大数据的处理，要突破智能电网大数据技术局限性，探讨出可行性高的解决方案。
1.2 云计算在智能电网中的应用
云计算技术的核心是海量数据存储和数据并行处理技术，是大数据处理技术的重要组成部分。传统的数据技术对于大数据的类型与分布不相适应，但云计算技术基于其本质特征很好的替代了传统技术的智能电网数据储存与处理。
电力设备状态的监测数据是智能电网中数据量最大的数据类型，包含着设备基本信息、实验数据等各方面的数据信息，并且对信息的实时性要求非常高。对于智能电网状态数据监测，云计算技术结合了Hadoop等虚拟化技术，利用列存储的管理模式实现了数据有效的存储，提高了状态数据的实时性与可靠性。
在国内电力行业中由于电力系统资源利用效率不高，相关人士对云计算资源管理平台做出了框架与模式的改善，对于仿真云计算的进行层次设计，利用数据业务流程进行ERP数据的备份，结果还在探索之中。未来云计算与互联网结合是智能电网系统运作的新方向，完善电力设备状态监测存储系统，提高云计算平台对数据处理的可靠性是我国正在探索的目标。
在国外，云计算在智能电网中的应用相对成熟一些，很多的云计算平台已具备较为完善运行系统，能够满足用户对数据的实时查询与海量浏览，实现了云计算平台对实时数据监测与管理。
应用目前已用于海量数据的存储和简单处理，已有实现并的实际。分析了电力系统中不同用户的需求，设计了用于实时数据流管理的智能电网数据云模型，特别适合处理智能电网中产生的流式数据，同时基于该模型实现了一个的智能测量与管理。日本Kyushu电力公司对智能电网的软件数据处理运行做出了研究与分析，利用云计算平台实现了对海量数据的处理与管理，有效的提高了数据监控以及运行的可靠性和可扩展性，为智能电网大数据的云计算发展提供了很大的机遇。
2 智能电网大数据技术的机遇与挑战
2.1 大数据传输及存储技术
随着智能电网的不断发展，电力系统在运作过程中产生的监测数据越来越庞大，海量数据的传输记录造成了监控设备的巨大负担，为智能电网的进一步智能化发展产生了一定的制约。然而，数据压缩技术的提出大大的减少数据传输量，快速的提高了数据传输效率，被人们密切的重视与广泛的关注。
相关研究人员对电力系统的数据做出了具体的探究与分析，提出了参数化压缩计算法，即在电线监测中采用无线的数据压缩，摆脱了宽带网络的束缚，实现了电流采样频率数据的传输优化，完成了海量电路状态数据的输送与管理。数据压缩有效的为系统减少了存储空间，但不合理的数据计算方式会造成压缩和解压过程的资源耗费，导致不但没有实现资源效率的提高，还造成了资源的不合理配置与浪费。
在数据存储方面，智能电网中的数据的储存可以利用分布式文件系统，这种系统具有存储海量数据的特点，但在数据实时性上不能有效的保证。因此，要根据大数据的性能进行存储分类，对核心业务数据使用并行数据仓库系统；对实时性要求高的数据采用实时数据库系统；对非结构化数据采用分布式文件系统。
智能电网中的数据格式与传统数据差异很明显，智能电网中的数据生成周期快，波形数据占较大的比重。要加快传统商业数据向智能电网数据的转变，对电网大数据的存储格式与形式进行深入的研究与分析，有助于今后对大数据分析与管理。
利用计算机算法对数据异构处理的模式虽然不能保证较高的效率，但是在同质数据的处理上具有很大的优越性，将智能电网中的大数据转换成同质结构是实现科学、快速储存的关键性技术。智能电网中存在海量非结构化和半结构化的数据，我们要科学分析并探究出结构转化的有效方法，这是实现智能电网大数据储存的一项关键的挑战。
2.2 实时数据处理技术
对大数据而言，数据处理速度十分重要。一般情况下，数据规模越大，分析处理的时间就会越长。传统的数据存储方案是为一定大小的数据量而设计的，在其设计范围内处理速度可能非常快，但不能适应大数据的要求。未来智能电网环境下，从发电、输变电环节，到用电环节，都需要实时数据处理。目前的云计算系统可以提供快速的服务，但有可能会受到短暂的网络拥塞，甚至是单台服务器故障的影响，而不能保证响应时间。
内存数据库指的是放在内存中可以进行直接操作的数据的集合，近年来受到相关研究人员的关注。利用内存储存数据能有效的提高数据读写的速度，相对于磁盘上数据的读取具有很大的优势。内存数据库目前在智能电网中数据处理的应用效率高，还很大程度上提高了数据的实时性，对与我国用电过剩地区的用电问题提供了新的解决思路，利用大用户的数据集成进行智能电表的制作，为实现对各地电能消费情况的宏观分析与预防提供了解决方案。在大数据的检索方面，也是一个巨大的挑战。一般索引结构只支持简单数据，而制定具有复杂结构的大数据索引系统仍是现阶段我们需要解决的问题。
发电企业要求实现自动化与实时监控，实现信息的集成与共享，正常的大数据处理系统在TCP/IP协议时容易出现故障，云计算系统有利于维护数据的稳定性与可靠性，但不能满足实时数据管理的需要。输电环节对处理数据的平台性能要求较高，提升云平台对监测数据的性能有助于增强智能电网的自愈功能，比如大规模停电事故就是由于监控信息的缺失，因此建立全面监测数据系统，实现实时数据跟踪是现阶段急需解决的问题。未来智能电网环境下实现低成本是主要趋势，例如家庭设备会采用电量低谷时段运行，可见实时监控数据的管理已变得越来越重要。
近年来，国内外对于智能电网大数据技术的研究仍处于探索阶段，大数据信息系统存在一些操作问题，不能实现较为便捷的数据获取与实时监控的功效，相关技术还正在完善与成熟中，对智能电网大数据技术的发展研究还需要一个漫长而复杂的过程。
