| 标题 | 智慧城市建设模式影像地理信息处理技术及集群应用系统架构研究 |
| 范文 | 陶祥亚 仲兆满 智慧城市建设中应用了大量的传感器，空间维度的地理信息数据采集数量十分庞大，对这些数据快速处理成为智慧城市系统建设中的重要工作。本文在介绍影像地理信息处理技术方法的基础上，对集群处理系统软硬件架构进行了设计，并结合像素工厂（PF）分析了集群处理系统的数据生产流程。 一、前言 智慧城市建设中物联网、互联网、移动互联网的推广和应用必将产生大量的过程数据，而传统的关系数据库已经不能完全适应对海量地理影像数据的存储、管理、处理、挖掘等计算要求，解决的技术将主要依靠集群计算、分布式计算与存储、云计算与存储等技术。对智慧城市建设中大数据采用何种影像地理信息处理技术，设计何种集群计算系统架构，是智慧城市地理影像海量数据使用、管理和挖掘亟需解决的问题。 二、我国智慧城市的建设模式及其选择 （一）智慧城市的模式研究 我国智慧城市的建设受到很多因素的制约。每个城市都有其自身发展的优势也有其自身的先天不足，影响智慧城市建设的主要因素有经济发展水平、城市管理水平、创新水平、环境制约因素、地理区域、人口规模、基础设施状况等等的制约，这些因素直接决定着我国智慧城市建设个体应当选择不同的模式。 1.经济发展水平的差异决定建设模式的不同。 经济发展水平较高的城市在推进智慧城市的建设进程中步子可以迈得更大一些，比如可采取“全面推进的模式”；经济发展中等水平的城市在推进智慧城市的建设进程中应根据自身财力的实际量力而为，步子不宜迈得过大，比如可采取“层层递进的模式”；经济发展水平较差的城市则不应勉为其难，而应“延缓”智慧城市的建设步伐。 智慧城市建设的步调和节奏将会直接影响付出的代价和投入。全面推进智慧城市建设的代价是高昂的。由于建设智慧城市点多面广，不仅规模大，而且人力、物力、财力以及管理成本耗费巨大。而“层层递进的模式”则可以由点及面，首先重点攻克关键领域，进行试点，以点带面。这种模式遵循“先行先试”的原则，可以在建设中不断总结经验，指导后期建设，如此可以少走弯路，进而合理使用资金，降低投入风险。 2.从建设动力上可分为“创新驱动型”和“投资拉动型”。 “创新驱动型”的智慧城市建设要求技术含量高、持续性强，但是投入较大，收效缓慢；“投资拉动型”的智慧城市建设具有速度快、带动性强，但是可持续性较差。 3.从建设主体的角度划分，可以称之为“政府主导”的智慧城市建设和“市场主导”的智慧城市建设。 我国智慧城市建设的模式主要是以政府为主导，也就是说政府搭台，企业辅助。而发达国家则多以企业、科研机构为主导，推动智慧城市的建设和管理。 （二）我国智慧城市建设的模式选择 我国城市个体特征千差万别，智慧城市建设的模式没有一个严格的标准，也很难制定出千篇一律的标准。智慧城市的建设模式各有特点，没有优劣之分，是否适合城市个体是唯一横向建设模式选择的唯一标准。因此要结合城市个体的资源、特色，选择适合自身发展需要的建设模式，突出城市的特色。 智慧城市建设是个循序渐进的过程，不同的建设阶段必然有其不同的个体特点，掌握自身特点及时调整建设模式是智慧城市建设的常态。比如，在政府主导的智慧城市建设过程中，如果企业或者科研机构能够提供技术和资金支持，完全可以转化为企业或科研机构主导的建设模式。 三、智慧城市影像地理信息处理的技术方法 并行计算技术、数据挖掘技術是智慧城市海量地理影像数据处理的两个关键技术，而集群计算技术则是上述两个技术在信息数据处理应用系统中的技术核心。 （一）集群计算技术 集群（clustering）系统对用户来说单一的、高可用的单元，其使用的计算技术主要依靠多个工作站、多个存储设备以及记忆冗余的互连线路来完成。集群系统其能够被用于实现数据计算资源的负载均衡，对于系统呈现层、应用层用户来说，集群就是一个唯一的应用系统。 1.集群计算技术分类 集群计算技术可分为高性能计算集群技术（High-performance clusters）、高可用性集群（High Availability Cluster）和高可扩展性集群技术。High-performance clusters是一种并行计算集群的实现方法，是以提高科学计算能力为目的计算集群技术；High Availability Cluster是指以尽量避免服务应用设备出现死机状态的服务器集群技术；高可扩展性集群技术就是带均衡算法或均衡策略定义域的服务器集群技术。 上述三种集群技术在实际应用中相互交融，如High Availability Cluster可以在其计算设备间均分负载，也可以通过程序语句执行并行应用系统关联设备，还可以在计算设备之间均分负载，集群类别的划分只是一个相对的概念。 2.集群计算系统特点 第一，由于芯片处理器技术和高冗余算法变化，集群计算系统应用的微处理器更多，速度更快。 第二，集群内计算单元通过专用网络交换机在客户端、存储设备、处理节点之间进行数据交换，通信实现高带宽、小延迟，集群单元具有更好的扩展性。 第三，集群系统的存储设备往往是独立的存储过程和结果数据；存储设备冗余互不关联，相对独立，进而使得集群系统可以实现高容错率和高安全性。 第四，集群系统内计算节点软硬件配置基本相同，使得集群计算处理系统的统一管理和维护的便利性更容易。 （二）影像地理信息数据处理中的集群运算 1.栅格地理信息数据的特点及并行处理要求 地理信息数据中的网格数据结构（比如卫星影像、航摄影像等栅格数据）通过把影像平面划分为等份的正方形小方格简单直观，通过自然实体所占据的栅格行列坐标定义其位置和形状。空间地物的分布呈现离散和不连续性，是通过规则的阵列表示，在阵列位图中均可以采用二进制位编辑任意像素点。 高速扫描的遥感影像在获得时通常需要经过转换方位角、转换天顶角，适配影像等技术环节。按照并行集群运算的思维，可以将转换方位角、转换天顶角，适配影像等技术环节独立划分，通过缩短软件语句算法，进而实现算法在软件运行过程中需要的时间。通常，单幅高分影像的扫描范围较大，存储影像的数据量也很大，影像扫描在计算处理时容易形成较大的假计算、运算资源浪费以及数据计算的内存溢出。这就要求处理算法也要可分解，支持算法的并发处理，影像切片技术就可以很好地满足这一要求。 2.封装算法设计 第一，计算节点算法封装：该封装算法集合了输入、输出环节所有的计算节点，从原始数据的输入、数据的运算处理，再到最后影像产品的输出路径都要设计齐全，并通过计算节点封装模块化程序达到处理输入数据的功能。 第二，工作流程算法封装：集群计算需要一种工作规范，工作流程封装算法能够描述和处理输入节点、输出节点、计算节点之间的逻辑关系。 第三，输入输出算法封装：该封装算法可以很方便地对流程的输入输出进行编辑，封装所有的有关输入输出的操作数据接口并进行数据生产。 四、设计集群运算处理平台的目标及原则 （一）集群运算平台的设计目标 1.利用并行机制各并行计算低耦合的特点，平台应设计为各模块相对独立、松耦合的模式并能集成于一个平台之上，实现算法和计算模块的双复用。 2.实现多级并行计算机制，构建快速处理集群系统，需要考虑各种并行机制的关系，保障并行计算低耦合和高内聚的特性。 3.高效利用计算机资源，充分挖掘计算集群中没有完全利用的性能，积极调配和组织并行计算节点。 （二）集群运算平台的设计原则 影像集群快速处理系统的设计关键是要能设计出适合处理遥感数据特点的并行集群计算系统框架。该框架应具有合理的并行算法，应具有运用并行逻辑思想构建并行处理流程，进而实现超大量数据调用和计算。设计基于遥感数据特点的快速处理系统，以下几点为设计依据： 1.轻：集群计算系统应按照简洁的原则，要尽可能通过最少的步骤实现丰富的功能，简单的操作并不代表功能的减少和在容错设计上打折扣。 2.灵：在不同层面应实现灵活性，计算节点应能够实现灵活的加入和退出；支持不同类型的数据源，通过多种途径获取的数据能够进行处理；数据计算方面能够支持内存计算、迭代批量处理和流处理等。 3.快：集群计算的目的就是要求快速處理数据，所以设计应按照计算速度快、通信速度快、存储速度快等原则，优化整个数据的处理过程。 五、集群处理系统架构设计 （一）集群处理系统硬件架构 1.存储设备：可选用等容量的磁盘阵列（如HDS AMS2300），可运用RAID5存储解决方案，这种方案兼顾了存储性能、数据安全和存储成本。RAID5把奇偶校验信息与其相对应的数据存储到RAID5的磁盘之上，而且这两类信息的存储必须是存到不同的磁盘上。当出现数据灾难时，可以利用剩下独立磁盘中安全、准确的数据及相应的奇偶校验信息，恢复被损坏的磁盘数据。RAID5磁盘阵列可以热插拔。当硬盘损坏后，可以用一个新硬盘通过冷插拔方式替换被损坏的硬盘，阵列会自动通过奇偶校验信息和相对应的数据恢复磁盘数据。 2.服务器：应与计算节点同处一个刀片服务器机架箱，应配置与计算节点相同，服务器操作系统应是一个基于多用户、多任务、支持多线程和多CPU的网络操作系统，应包含POSIX和UNIX以网络为核心的设计理念。 3.San Switch交换机：应多于2台存储区域网络SanSwitch交换机，终端是存储设备和服务器，通过光纤通道实现互联互通。SAN专注于企业级存储和存储量大的工作环境。其结构组成部分包括：管理软件、Switch、路由器、主机光卡模块等。SAN存储连接结构灵活，服务器可以访问管理软件权域下存储区内的任何一块磁盘阵列，同时管理软件权域下的存储设备与交换机、存储设备之间亦能进行无障碍通信，使用光纤进行连接，采用可靠性高、通信距离长、性能高、可扩展性良好的Fibre Channel协议，确保存储与服务器分开。 4.计算节点：集群处理系统应由多个虚拟服务器和物理服务器（或刀片服务器）构成，用于并行集群技术的CPU核数应尽可能多，要尽可能确保计算资源，满足智慧城市影像采集大数据量的基本要求，比如可采用HP的16核刀片、Linux 操作系统、CPU核数可达256核的计算节点单元。 5.操作终端：集群系统操作终端由多个工作站（Workstation）组成，可满足Windows、Linux及混合操作系统共同操作、分发，管理集群计算任务主要依托工作站上的操作系统实现。系统用Firefox、IE、360等浏览器即可对集群系统进行远程管理，在浏览器环境页面可看到集群处理系统硬件运行、软件组织情况等信息，可十分方便地实现对集群处理系统的远程操作（图1）。 （二）集群处理系统软件架构 集群处理系统由用户应用层、系统应用层、服务层等组成（图1） 集群处理系统软件架构一般由“Main Window，Administrator Console，Information Console，Activity Window”四个用户界面组成，所有的软件功能模块均内嵌在这四个界面的菜单中。影像集群处理系统在国内市场尚处于研究起步阶段，而在西方国家则有许多成功的项目案例可资借鉴，比如“像素工厂系统”就是一款较为成熟的影像集群处理系统。 以集群处理系统工作流程——PF（Pixel Factory System）为例。集群处理系统工作流程是基于数据驱动，包括基于数据建立规则触发任务执行；允许并发规则；可以自动设置任务参数和选择数据等。系统应内嵌式工作流，包括“系统数据库里嵌入工作流程定义，其工作流可以对系列任务和选择进行设置”。再以PF集群处理系统工作流程为例（图2）。 PF（Pixel Factory System）是一款由法国公司研发，具有多种影像兼容性、并行处理，集自动化、远程管理等特点于一身，用于大型数据生产的遥感影像自动化处理系统。PF系统非常适用于装有IMU/ GPS并能减少处理过程数据量数码传感器，比如Airborne Digi2tal Sensor40数码相机，这是因为IMU/GPS减少了空中三角测量所需的地面控制点的数量。按照上述集群处理系统工作流程，结合PF软件操作平台，在少量人工干预的条件下，经过一系列封装算法及其数字表面模型、数字高程模型、正射影像以及真正射影像等批量生产处理，即可制作输出高质量的GRID地理影像文件（具体软件操作过程略）。 六、结语 智慧城市建设其所涉及的技术很宽泛，本文首先对智慧城市建设中的并行计算、数据挖掘的核心技术——集群计算技术进行了简单的介绍。实践表明，高速存储能力、自动化处理能力和并行计算能力是集群处理技术的三大能力。集群处理技术具有兼容多传感器、支持多平台、能够革新传统算法的特点，从而使其在智慧城市高分影像大数据处理中具有强大的优势，对傳统数字化影像生产模式带来了创新与变革。可以预见，集群处理应用系统在智慧城市影像地理海量数据处理领域必将得到更加广泛的推广和应用。 参考文献 [1] 张彬，邓富亮.厦门“智慧城市”建设现状与对策研究[J].长沙理工大学学报（社会科学版），2016（5）：60-64. [2] 梁军，黄骞.从数字城市到智慧城市的技术发展机遇与挑战[J]. 地理信息世界，2013（2）：1672-1586. [3] 丁国胜，宋彦.智慧城市与“智慧规划”——智慧城市视野下城乡规划展开研究的概念框架与关键领域探讨[J].城市发展研究，2013（4）：34-39. [4] 谢昕.我国智慧城市发展现状及相关建议[J].上海信息化，2012（1）：12-15. [5] 庞文强，伍建林.CFD并行计算平台的搭建与性能分析[J].重庆科技学院学报（自然科学版），2009（06）：158-161. [6] 张志友.计算机集群技术概述[J].实验室研究与探索，2006 年（6）：607-609，656. [7] 归达伟.计算机集群技术[J].西安邮电学院学报，2004（04）：94-96，99. [8]朱定局.智慧数字城市的系统框架[J].高科技与产业化，2013（6）：56-61. [9]邬贺铨.智慧城市的数据管理[J].物联网技术，2012（11）：11-14. （责任编辑：李静敏） |
| 随便看 |
|
科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。