基于海量视频监控的中小地震烈度快速判断方法尝试

李东平++刘倩倩++龚俊
摘要:震后在海量监控资料的支持下,利用定性分析烈度经验矩阵建立监控视频与地震烈度的相对关系,在视频监控中提取震害和烈度信息。为进一步提高烈度判读的效率,建立基于视频图元变化的地面强震动定量分析方法,计算出监控点的地震动峰值加速度值,并将该方法封装成为软件,其分析结果可作为现场灾害调查和确定最终烈度分布的参考,提高地震灾情获取和快速评估的时效性。浙江省地震局开展了基于海量视频监控的中小地震烈度快速判断方法研究,并在2014年文成—泰顺42级地震应急中初步应用。
关键词:视频监控;烈度快速评估;大数据;中小地震
中圖分类号:P3159文献标识码:A文章编号:1000-0666(2017)02-0324-09
[BT1-*1]0前言
地震发生后如何准确了解地震灾害的程度和分布,及时有效组织抗震救灾工作,是当前防震减灾工作中亟待解决的问题。地震科技工作者一直努力进行相关技术研究,近年来在新技术支持下取得了一定的进展,如利用遥感进行震情快速获取,采用经验公式的地震烈度快速模拟等,但是在实际地震应急中效果不太理想,最直接快速获取灾情的手段仍然欠缺(郑向向,2012)。随着硬件成本的降低和视频分析技术的发展,视频监控网络发展迅速,视频监控可以真实还原地震发生时的状况,还可以直观反应灾害分布情况。公安部门建设了有专人维护的海量监控网络,网络密度大、分布相对均匀,在城镇和乡村都有广泛分布。目前国内相关地震部门也注意到监控视频对地震应急救援的重要性,开展了相关研究工作。视频监控系统不但可以获取震后的灾情分布,甚至可以通过技术挖掘完成地震预警工作,梳理震前宏观前兆的一些异常现象,实现对宏观前兆捕捉的工作。综上所述,对视频监控在地震应急中的应用研究是当前地震应急工作的一个突破口(帅向华等,2013)。
[BT1-*1]1公安监控系统共享与地震应急
近年来,各地公安系统都按照统一的标准规范建设了公安社会治安视频监控系统(张福忠,吴夫芳,2010),覆盖城乡道路、公共场所、要害部门、社区等,形成基本覆盖全社会的全天候监控网络(郑杰,2009)。
2007年,浙江省颁布了《跨区域视频监控联网共享技术规范》地方标准,在2008年初又下发了《关于加强社会治安动态视频监控系统共享平台建设的通知》,全面启动全省视频共享平台建设与联网工作(宋威,2013)。浙江省地震局于2013年实现了震区的公安视频共享联网工作,实现震区视频监控系统共享。浙江省公安厅目前提供共享的摄像头为省域内百万级,全部为室外摄像头,覆盖省内所有行政村和大部分自然村。公安监控摄像头数据量庞大、分布相对均匀,安装有相对统一的技术标准,一般在VIII度及以下烈度可以正常工作。震时,公安监控系统可以记录当时发生破坏情况和人员反应,并可以根据摄像头本身晃动情况,在模型算法的支持下模拟出地面强震动波形(胡素平,帅向华,2012)。
[BT(12+*1]2基于视频监控的地震烈度经验矩阵快速判断及应用
21视频监控资料的选取与分类[BT)]
[KG(0.15mm]浙江省地震[HJ]局在“十二五”期间开展了基于视频分析的地震烈度快速获取工作,并开始收集整理地震发生的相关视频。其中地震监控资料是在2013年与公安部门协调后才开始获取,其他的监控资料大多由网络获取,由于行政区域的因素,我们采用的规范的摄像头资料都取自浙江省境内。[KG)][JP]
分析工作中总共选取了191组监控探头视频,其中取自监控网共享平台的完整视频有121组,网络收集视频有70组(表1)。
我们主要以中小地震为研究目标,其中也选择了一些强震,但主要是研究强震对中低烈度区的摄像头影响情况,如南投65级地震对浙江省内的影响。获取的监控资料包括地震前后的完整时间段、监控的精确经纬度、监控探头安装依附建筑和所处的场地条件等几个必要条件。
22视频监控的经验矩阵判断
在对公安监控探头的震后反应进行梳理的过程中,发现相近地点的监控探头震后反应差别很大,有些画面剧烈抖动,有些画面基本没有变化,在III~IV度烈度区有些探头也有明显的晃动。这些现象与监控探头安装条件有很大的相关性,我们经过对照分类,将监控探头的安装按场地条件和安装依附建筑总结了震害现象的对照矩阵(表2~7),对在不同烈度下的探头晃动和人员反应做了初步分类,并在几次中小地震应急中进行了验证,对辅助地震烈度判断有较大帮助。
23在文成—泰顺42级地震经验矩阵应用
2014年10月25日18时42分在浙江省文成县、泰顺县交界处(2771°N,11996°E)发生42级地震,震中区烈度评估为Ⅵ度。地震发生后指挥中心获取了发震时刻多组有效摄像头数据,通过对比摄像数据中人员反应、镜头晃动等情况,对烈度做了初步的判断。在震后4 h就绘制了第一张烈度分布模拟图,第二天又通过各类渠道补充了多组摄像头数据,绘制了第二张烈度模拟图。在整个震区半径25 km范围内有近千组摄像头可以选择,由于工作量太大,当时没有进行进一步扩大摄像头资料选取分析工作。
[JP3]图1是泰顺县某村路口的一个监控头拍摄的画面,近摄像头的电线由于强烈地震引起的震动开始抖动,在1 s后电线抖动更加剧烈,近摄像头的电线已经成为一条光带,根据视频经验矩阵判断为Ⅵ度(监控校时有一定偏差)。[JP]
图2是泰顺县某村委会前的一个监控头拍摄的画面,地震发生时正值晚饭期间,室内人员惊慌逃出,远处路上拿电筒的行人也开始跑动躲避,在发震后3 s,室内人员已经都已经逃出,聚居在房屋门口(标注2),远处路上的行人在跑动(标注1)。此前已经发生过数次3级以上地震,当地人已经习以为常,可以让当地人惊慌逃出,烈度可以认定较高,最后根据视频经验矩阵判断为Ⅵ度。
3基于视频图元变化的地面强震动定量分析及应用
31长尺度视频震动时刻的快速定位[BT)]
在几次地震应急中,应用视频经验矩阵分析对地震烈度进行模拟,取得了一定的效果,但是仍有一些问题需要解决。首先在基层单位提供的视频中,没有统一的校时服务,在对发震时刻进行视频定位时,会有较大的时间误差,在数次地震应急中我们进行视频的定性分析(矩阵分析法),在查看视频中定位发震时刻是耗时较长。针对以上问题,我们利用图元分析方法对视频进行编码分析,快速定位到图像开始抖动的时间段,可以大大提高视频分析效率。
在长尺度视频震动时刻的视频快速定位分析中,第一步要解决的是人机交互分析,这在定性分析中也需要用到。我们采用H264视频编码中的运动估计技术,在视频编码和视频处理中广泛应用。运动估计技术的基本思想是将图像序列的每一帧分成许多不重叠的宏块,并认为宏块内所有像素的位移量相同,然后在每个宏块到参考帧某一给定搜索范围内根据一定的匹配准则找出与当前最相似的块,即匹配块,匹配块与当前块的相对位移即为运动矢量(谭琳,2007)。我们采用了16×16的宏块模式,块匹配准则是判断相似程度的依据,这里的块匹配准则是:
平均绝对误差函数(Mean of Absolute Error,MAE):[KH*1]
[JP2]MAD(x,y)=[SX(]1MN[SX)]∑[DD(]Mm=1[DD)][KG-*3]∑[DD(]Nn=1[DD)][KG-*2][JB<1*|] fk(m,n)-fk-1(m+x,n+y)[KG-*2][JB>1*|][JY](1)[KH*1D][JP]
式中:M,N为16(宏块数量);fk为某一宏块内像素值和。上述准则公式实现简单方便,较为实用。
第二步是运动搜索策略。菱形搜索法(Diamond search,DS)于2000年被首次提出,经过多次的修改,目前已成为快速匹配运动估计算法中性能最好的算法之一。该方法原理是选用大小2种形状的搜索模板LDSP(大菱形)和SDSP(小菱形),以搜索中心为中心进行大菱形的搜索(窦茂森,高文静,2006),计算9个点,如果最小的MAD点不在大菱形中心的话,将大菱形中心移到相应最小的MAD点上,重复大菱形搜索,共搜索5个点得到最终的搜索结果作为运动估计的最优匹配点(图3)。
在地震视频快速定位时,采用运动估计方法对视频进行逐帧分析,较为精确地估算出相邻帧之间的像素移动。分析完毕后,可以得出所有相邻帧之间的像素位移量、位移的峰值、平均值,最终能够快速并较为准确地定位出发生地震的时间段,并截取出该时段的视频。
32地震视频的加速度定量分析
震后应急中,相关监控视频源源不断汇集到指挥中心,浙江地震局指挥中心人力较为紧张,导致视频分析的效率较低。在地震中通过监控录像可以真實地记录地震发生时地面震动的情况,也可以反应摄像头和地面固定物体之间的相对运动。公安摄像头有相对规范的安装方式,我们可以用算法将摄像头拍摄下来的画面运动换算成强地面运动的数值,由于摄像头安装条件会有细微差距,所处的场地条件也各有差异,单个摄像头并不能精确给出强震动信息,但是公安摄像头密度很大,对同区域相邻的多个摄像头进行加权平均,可以给出一个小区域相对准确的加速度值。我们考虑用算法代替人工判读,提高视频分析效率,节约震后应急时间。其原理是利用图元分析的方法,通过图像抖动量的分析,提取视频所在地的强震动信息(杨宇翔等,2015)。
[JP2]首先采用地震视频中的整幅图像(或者图像的绝大部分)之间的移动情况来定量描述地震动的加速度和速度。如果只根据地震视频中的几个参照物很难准确定量描述地震的加速度和速度,我们利用视频图像间像素的全局移动,即整幅图像中像素发生位移的部分来分析地震动的速度和加速度。可以将整个地震图像移动区域作为分析参照物,因为在不同烈度的地震视频中可以明显区分图像帧之间物体的抖动范围和抖动速度的差别,这可以作为判断地震烈度的依据。这样可以由图像全局抖动入手,分析图像抖动区域像素的大小,再估算出图像中该区域像素的真实大小并进一步计算地震动速度和加速度(由于视频的帧率是固定的,所以只需要计算位移)。[JP]
图像的全局移动分析法是目前较为可行的一种估计方法,避免了由于几个固定参照物丢失或损坏带来的影响以及单一参照物的计算误差。在视频关键帧不丢失的情况下能较为准确地计算出每帧图像之间像素移动的值和移动的区域,由该移动区域作为参照物来分析得出地震动的速度和加速度,流程如图4所示。
首先采用与地震视频截取相同的运动估计方法,对地震视频逐帧分析,计算出相邻帧之间发生位移的宏块。然后对帧间图像发生位移的宏块进行连通分析,宏块的连通成分对应发生地震的部分。这样可以较为准确地计算出地震视频中每一帧图像发生震动的像素个数,例如:导入的分析视频大小为288×352,每一帧图像共有18×22个宏块,每一个宏块的像素个数为16×16。我们对地震视频某帧图像进行运动估计分析和宏块连通域计算求得该帧图像的地震宏块为300块,则说明该帧图像发生震动的像素为300×16×16个。
接下来将像素位移换算成实际场景的移动面积,我们采用了图像深度估计的方法计算地震视频每帧图像的深度图。深度图代表着场景中各个点与相机间的距离关系,有了深度图就可以计算每个像素对应与真实场景中的大小信息。将上面步骤中求得的图像震动宏块投影到深度图(即将震动图像和深度图重合)中,就得出了图像震动部分对应的深度图,图像震动区域的平均深度为:[KH*1]
X=[SX(]1N[SX)]∑[DD(]Nn=1[DD)][JB<1*|]f(n)[JB>1*|][JY](2)[KH*1D]
式中:X为平均深度信息;N为图像震动区域宏块数;f(n)为该宏块的深度信息。由此可以得出图像震动区域像素的平均深度,也可以将之前求得的震动像素投影到真实世界中。地震发生后,由于地面震动,监控视频中的内容也会发生较大的变化,但是利用深度信息分析并不会受到干扰。因为每帧图像都可以获得一个新的深度图和它所对应的震动宏块区域,这样也增加了每帧图像计算震动的准确性。
最后根据标准的速度和加速度计算的物理公式来分析计算。假设1个像素的位移等同于实际场景移动了25×10-5 cm,而该帧图像发生震动的像素为104,则该时刻(相邻帧之间的时间为025 s)地震震动速度为10 cm·s-1。
地震的加速度是由相邻帧之间速度计算求得:[KH*1]
a=[SX(]v1-v2t[SX)][JY](3)[KH*1D]
式中:v1为t1时刻地震震动速度;v2为t2时刻地震震动速度;t为025 s。由此可以计算出地震动加速度。
在视频分析过程中,将每一帧计算绘制形成一个波形文件,并在分析结束之后显示该视频总的加速度波形图。最后我们根据峰值加速度给出地震烈度(白仙富等,2010)。
[BT(2+1]33基于海量视频监控的地震烈度快速判断方法的软件实现[BT)]
系统基于C#平台开发,采用了EMGUCV(计算机视觉库)以及mysql数据库。运行环境为:服务器端Windows2003 Server、IIS6及以上版本,基于海量视频监控的地震烈度快速判断方法软件可以实现多视频自动截取震动视频,自动寻找全局抖动时刻和重新稳定时刻图像,对视频进行截取,视频截取成功后会在地震视频列表下显示,在截取成功后对视频文件进行逐帧对比,得出发震时刻、地面震动的加速度和速度,并用波形文件表示,给出最大加速度和地震烈度(图5~8)。
目前该软件仍在完善过程中,在高烈度区图像变化剧烈对视频烈度的判读效果较好,但低烈度区图像变化微小时判读仍有一定误差。
34烈度模拟结果的综合提取
在文成—泰顺42级地震后,浙江省地震局应急指挥中心依靠视频图像在工作时间4 h后绘制了初步烈度模拟图,并在24 h后补充资料绘制了相对客观的烈度图,烈度分布范围比现场工作队实际调查的结果略小,长轴方向基本一致。
地震后,后方应急指挥技术人员紧缺,第一时间无法抽出多余技术人员去判读视频,第一次烈度判定只是选取了震中附近典型的22个监控的影像。震后第二天,在时间和技术力量允许的条件下,又增加到61个点进行判读。由于仰山乡、珊溪镇、文成县探头密度大,较易选择,震区西北部是自然保护区,探头较少,指挥中心在较远的景宁县也选取点作为补充。震后4 h内摄像头投入较少,仅靠人为判断可以得出一个初略的烈度分布。虽然烈度范围比实际调查小,但烈度分布方向与现场工作结果基本一致。24 h后又增加了更多的摄像头资料,得出结果和仪器烈度分布图已经比较相似了,只是范围略微小一点,也显示观测的结果与强震台仪器观测的结果很接近。由于摄像头不仅可以通过自身抖动反应强地面震动,还可以真实地还原人员在震时的反应,对Ⅵ度以下的烈度分布的判定,通过观察人员反应较仪器烈度更客观,更接近于目前的烈度判断标准。增加了部分早期现场调查的数据后,虽然面积仍然略小,但与实际调查的结果已经非常接近。
本次地震视频监控点共取61组,震区可用的强震台有6个,虽然视频监控分析得出的烈度精度与仪器烈度值精度无法相比,但视频监控点数远大于强震观测台的数量,反映烈度总体分布情况和衰减趋势更具有优势,目前视频监控点主要以人工判读为主,如果经过定量分析,并全部采用震区上千组视频监控点数据,对单点视频监控图像抖动的速度和加速度进行提取和校正,结果更精细可信。本次震区在浙江省属经济较为落后地区,人口相对较少,监控探头密度低,但仍有近千组探头资料可以使用。如果是在经济、人口总量较多的地区,可用的监控探头会成倍增加,分析得出的烈度分布也会更加客观、更接近真实情况。
4结论与展望
本文通过分析震例视频,将监控探头的安装按场地条件、安装依附建筑进行分类对照,总结了在不同烈度下的探头晃动和人员反应表现形式,得出基于视频监控的地震烈度经验矩阵。该方法属于定性分析,需要经验丰富的专家进行人工干预,处理效率低、耗时长,但准确度高,专家在震后通过查看文成—泰顺地震监控视频事件,可以马上判定监控点的大致烈度,与实际调查结果对比基本一致。经验矩阵适合震后指挥中心技术力量充裕、视频量不大的情况。基于视频图元变化的地面强震动定量分析方法建立在严格数理技术的基础上,在模型的支持下,计算得出每个视频监控点的地面峰值加速度,并由软件完成计算,人为干预少,适合海量监控数据的批量处理。但是在目前模型支持下只对图像明显抖动的高烈度监控点判断较好,低烈度下得出的地面峰值加速度与实际仍有一定差距。实际工作中二者可以结合进行应用,先用软件进行海量摄像头的批量處理,再由专家进行经验判读。以往多次震例显示,在烈度超过VIII度的情况下,震区通讯和电力会受到干扰甚至中断,监控探头无法传回视频,故本方法仅适用于中小地震的烈度判读。
基于海量视频监控的地震烈度快速判断方法仍未成熟,笔者也只是做了一些初步的探索工作,在未来有足够地震视频样本的条件下,我们将引入机器学习和数据挖掘的技术。机器学习是当前比较流行的人工智能技术,被应用于仿真、拟合预测、数据挖掘等多个领域。它能通过数据或以往经验,优化计算结果。在有了多样化地震视频后,我们对不同烈度的地震视频根据真实的烈度进行分类和学习,对不同地震烈度的视频归纳出它们的特性和数据。震时对监控视频加速度计算时可以通过机器学习和数据挖掘给出更加精确的地震烈度。
政府资源共享将成为趋势,利用监控视频进行震后烈度判断也必将成为震后工作的重要手段,这对提高地震灾情获取和快速评估的时效性有着重大意义。
参考文献:
白仙富,李永强,陈建华,等2010地震应急现场信息分类初步研究[J].地震研究,33(1):111-118
窦茂森,高文静2006一种基于预测性运动向量的改进菱形搜索方法[C].全国十五届十三省光学学会学术大会论文集
胡素平,帅向华2012网络地震灾情信息智能处理模型与地震烈度判定方法研究[J].震灾防御技术,7(4):420-430
帅向华,胡素平,刘钦,等2013地震灾情网络媒体获取与处理模型[J].自然灾害学报,22(3):178-184
宋威2013基于主动对象识别的监控视频系统的研究[D].大连:大连海事大学
谭琳2007H264中运动估计算法优化[D].长沙:湖南大学
杨宇翔,高明煜,尹克,等2015结合同场景立体图对的高质量深度图像重建[J].中国图象图形学报,20(1):1-10
张福忠,吴夫芳2010浅谈ISO9001质量管理体系在现代测绘工作中的应用[J].中国科技博览,27(1):300-301
郑杰2009姚市城市公众视频监控系统的设计和实现[D].杭州:浙江工业大学
郑向向2012基于SMS和GIS的地震灾情信息获取与处理研究[D].北京:中国地震局地震预测研究所