基于社會視頻監(jiān)控信息源的地震影響范圍快速勾畫

李東平 陳海鵬 張凱 劉倩倩

摘要：廣泛分布于城鄉(xiāng)各地的社會視頻監(jiān)控是震后獲取地震災(zāi)情的重要數(shù)據(jù)源?；诘卣鹨曨l災(zāi)情判讀系統(tǒng)，對基于視頻運動估計方法的主要技術(shù)原理和分析處理過程進行改進，并將其應(yīng)用于2017年浙江臨安4.2級地震影響場快速評估中。結(jié)果表明：利用該改進方法在震后4 h內(nèi)得到了基于社會監(jiān)控的烈度分布，計算得到的最高烈度與現(xiàn)場實際調(diào)查相同，等震線優(yōu)勢方向與現(xiàn)場工作結(jié)果一致，V度面積和現(xiàn)場工作結(jié)果接近。

關(guān)鍵詞：地震影響場;視頻監(jiān)控;地震應(yīng)急;場景深度估算

中圖分類號：P315.941? ?文獻標(biāo)識碼：A? ?文章編號：1000-0666（2019）02-0187-09

0 引言

破壞性地震發(fā)生后如何快速準(zhǔn)確地了解災(zāi)情范圍，準(zhǔn)確繪制地震影響范圍分布圖，并在此基礎(chǔ)上做出快速災(zāi)情評估，從而及時組織震后救災(zāi)工作，是當(dāng)前防震減災(zāi)工作中一個亟待解決的科學(xué)問題。地震科技工作者一直努力研究地震烈度快速評估相關(guān)技術(shù)，當(dāng)前主要方法包括：基于強震動觀測臺網(wǎng)獲得儀器烈度分布圖，利用無人機、遙感技術(shù)進行烈度圖的快速勾畫或采用歷史經(jīng)驗公式生成地震影響場（周洋等，2017）。以上技術(shù)近年來取得了一定進展，但在實際地震應(yīng)急中效果不盡理想，最直接的災(zāi)情獲取手段仍有欠缺（李東平等，2017）。

近年來，隨著信息和大數(shù)據(jù)等各類高新技術(shù)的飛速發(fā)展，對信息采集傳感器的需求不斷增加，作為典型的信息采集終端，視頻監(jiān)控得以大量布設(shè)，遍及城鄉(xiāng)各處。海量的社會視頻源可以真實記錄地震發(fā)生時的狀況，通過技術(shù)處理還可以提取災(zāi)害空間分布情況。2015年9月，國家發(fā)布了《促進大數(shù)據(jù)發(fā)展行動綱要》，提出要“大力推動政府部門數(shù)據(jù)共享”;2016年12月，發(fā)布了《“十三五”國家信息化規(guī)劃》，將“推動信息跨部門跨層級共享共用”列入重點任務(wù)分工清單（劉艷，2017）。此后各級政府多次發(fā)文推進和落實部門間數(shù)據(jù)共享工作，這些都為數(shù)字政府的實施和推廣提供了強大推力，政府?dāng)?shù)據(jù)共享作為改革的重要內(nèi)容，備受關(guān)注。由政府專業(yè)部門掌握的公共安全視頻監(jiān)控聯(lián)網(wǎng)也是數(shù)據(jù)共享的重要內(nèi)容之一。省級地震部門作為公益性政府部門，也開始獲取包括公共安全視頻監(jiān)控聯(lián)網(wǎng)在內(nèi)的大量社會視頻源數(shù)據(jù)。

目前在青海、浙江、四川等省都有通過社會視頻監(jiān)控信息獲取震后災(zāi)情分布的案例，許多學(xué)者開展了基于視頻監(jiān)控的地震災(zāi)情獲取和損失評估研究，取得了一定的成果。夏旻等（2008）使用監(jiān)控錄像資料進行強地面運動參數(shù)估計，并在汶川地震中初步應(yīng)用;田國偉等（2015）采用視頻圖像處理技術(shù)進行振動臺試驗、動態(tài)位移測量;日本千葉商業(yè)大學(xué)通過研究震后人們在社交媒體上討論的各種話題，基于視頻共享網(wǎng)站中的用戶評論數(shù)據(jù)，分析地震造成的破壞情況（Takako，Tesuji，2013），為地震災(zāi)情獲取開拓了新思路。筆者在前人研究的基礎(chǔ)上，探索了基于規(guī)范建設(shè)的視頻監(jiān)控信息源，利用模型算法提取震時的監(jiān)控視頻運動估計值，以推斷地震影響范圍的方法。

1 基于場景深度估算地面強震動

1.1 前期的研究成果

筆者自2013年以來開展了基于社會視頻源的地震影響場勾畫方法研究，基于多次震例探索了震后在海量的社會視頻監(jiān)控信息源支持下，利用定性分析烈度經(jīng)驗矩陣，建立監(jiān)控視頻與地震烈度的相對關(guān)系，在視頻監(jiān)控中通過模型提取震害和烈度信息，建立了基于視頻運動估計的地面強震動定量分析方法，目前利用該方法可計算出監(jiān)控點的近似地震動峰值加速度值?；谠撛黹_發(fā)了地震視頻災(zāi)情判讀系統(tǒng)（圖1），并應(yīng)用于2014年浙江文成—泰順4.2級地震、2017年浙江磐安3.5級地震等應(yīng)急處置工作（李東平等，2017）。

ASP是微軟公司開發(fā)的代替CGI腳本程序的一種應(yīng)用，它可以與數(shù)據(jù)庫和其它程序進行交互，是一種簡單、方便的編程工具。ASP是一種服務(wù)器端腳本編寫環(huán)境，可以用來創(chuàng)建和運行動態(tài)網(wǎng)頁或web應(yīng)用程序，它包含HTML標(biāo)記、普通文本、腳本命令以及COM組件等（胡秀源，2011），ASP的以上特點比較適合應(yīng)急指揮中心的工作環(huán)境。地震視頻災(zāi)情判讀系統(tǒng)就是基于ASP開發(fā)的。

1.2 基于視頻運動估計方法的改進

在近年來的幾次地震應(yīng)急中，筆者及團隊不斷改進視頻分析方法，總結(jié)了在不同烈度下的探頭晃動和人員反應(yīng)表現(xiàn)形式，并推導(dǎo)出地震烈度經(jīng)驗矩陣，進一步進行以視頻運動估計的精確定量計算。但該方法只對高烈度區(qū)、圖像抖動明顯的監(jiān)控點識別較好，而低烈度區(qū)監(jiān)控點的計算值與實際差距較大。在對算法進行了部分優(yōu)化，引入場景深度估計方法后，圖像幀之間像素的運動距離和速度值計算準(zhǔn)確性均有明顯提高。

地震視頻分析的步驟如下：①對地震視頻逐幀進行分析，利用宏塊分析法計算出相鄰幀之間發(fā)生位移的宏塊。②對幀間圖像發(fā)生位移的宏塊進行統(tǒng)計，近而可以計算出地震視頻中每一幀圖像發(fā)生震動的像素個數(shù)。例如：導(dǎo)入的視頻分辨率為320×384像素，每一幀圖像共有20×24個16×16宏塊。通過對地震發(fā)生時振動視頻某幀圖像進行運動計算分析，得出該幀圖像的振動宏塊為M塊，該幀圖像發(fā)生震動的像素為M×16×16個

③計算地震視頻片段所有圖像幀中上述運動像素的運動矢量均值，并將其作為該視頻地震烈度的參考值（常安琪，2015）

由于不同的地震視頻具有不同的地震加速度和速度值，為此需要構(gòu)建地震視頻數(shù)據(jù)庫。在該數(shù)據(jù)庫中，每個地震視頻樣本均以預(yù)先通過地震設(shè)備得到的Ground Truth地震數(shù)據(jù)（烈度、速度和加速度等）作為人工標(biāo)注值。將具有相似烈度（比如某一范圍內(nèi)的烈度）的地震視頻歸為同一類，并通過支持向量機（Support Vector Machine，簡稱SVM）對不同烈度的地震視頻樣本進行學(xué)習(xí)，而輸入的特征值即為該視頻的運動矢量均值。利用訓(xùn)練好的SVM模型，對不同特征值輸入的地震視頻樣本輸出其烈度的預(yù)測。筆者及團隊自2013年開始至今，已完成了1 000余個地震視頻的建庫工作。

通過地震視頻計算地震的速度和加速度，需要知道地震視頻中不同像素點之間代表的真實距離值。由于不同監(jiān)控攝像機架設(shè)的高度和俯仰角都不同，因此像素之間的真實距離難以準(zhǔn)確獲取，主要是因為：不同監(jiān)控場景中任意2個像素點的距離所對應(yīng)的真實世界中的距離都是不同的，并且隨著距離監(jiān)控相機光心的距離變化而變化，無法通過參考圖像中的某些物體尺寸做等價距離推算。一種近似的解決方案是通過機器學(xué)習(xí)技術(shù)估計場景深度信息，而這可通過單幅圖像深度估計算法獲得。

場景深度估計算法步驟如圖2所示。首先，對地震視頻中的每幅圖像進行無監(jiān)督分割操作以生成超像素（Superpixel）區(qū)域。再以每個超像素為中心，尺寸為224×224像素的矩形圖像塊作為輸入，訓(xùn)練一個具有5個卷積層和4個全連接層（5conv+4fc）的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，簡稱CNN），如圖3所示。在5個卷積層中分別使用了11×11，5×5和3×3的卷積模板，并采用修正線性單元（Rectified LinearUnits，簡稱ReLU）作為激活函數(shù)以及2×2的池化操作;在前2個全連接層中使用ReLU作為激活函數(shù)，第3個全連接層使用f（x）-（1+e-z）-1作為激活函數(shù)，而最后一個全連接層則沒有使用。最終的網(wǎng)絡(luò)輸出為對應(yīng)每個超像素的一維深度值（楊宇翔等，2015）。

對該CNN模型進行訓(xùn)練時，樣本采用的是NYU v2 Kinect 數(shù)據(jù)集和Make3D數(shù)據(jù)集，上述數(shù)據(jù)集不僅具有不同場景類別的圖像樣本，而且每個圖像樣本均有對應(yīng)的采集自Kinect深度相機和激光雷達的真實距離數(shù)據(jù)。通過上述2個數(shù)據(jù)集訓(xùn)練得到的CNN模型，可輸出每個超像素所對應(yīng)的深度預(yù)測值ZP。

然而，僅通過CNN模型推理得到的深度圖通常存在相鄰超像素的深度跳躍的情況。為了獲取更為平滑而準(zhǔn)確的深度圖，筆者采用了條件隨機場（Conditional Random Field，簡稱CRF）模型，通過最大后驗概率（Maximum A Posteriori，簡稱MAP）估計最小化條件概率分布Pr（y|x）：

式中：z（x）是z以觀察序列x為條件的概率歸一化因子。將CNN模型輸出的每個超像素的深度預(yù)測值ZP作為數(shù)據(jù)項U（yp，x）（x為超像素特征，即超像素的深度值）的核心部分。在構(gòu)建平滑項U（yp，yq，x）時，則通過一個具有全連接層的單層神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練多種不同類型的超像素相似度Rpq，比如：相鄰超像素p和q顏色均值之差，顏色直方圖之差以及紋理特征值之差等。最后的能量函數(shù)E（y，x）定義為：

最終經(jīng)過CRF優(yōu)化得到的場景深度估計結(jié)果如圖4所示。在圖4a和4c所對應(yīng)的場景深度圖4b和4d中，像素對比度越弱的代表距離相機越近，像素對比度越強則代表距離越遠。

在得到場景深度圖之后，便可以估計所得到圖像中像素之間所代表的大致真實距離。地震視頻片段中每幅圖像的地震速度和加速度均可由其運動矢量對應(yīng)的真實運動距離分別計算得到。在地震視頻片段中，第N幀圖像中每個運動像素的速度VN可由其運動矢量MV所對應(yīng)的真實距離DN（即運動矢量起點像素和終點像素所對應(yīng)的深度值之差）除以時間T（即1/F，其中F為當(dāng)前圖像幀率）計算得到：

地震視頻的加速度aN則是由相鄰圖像幀N和N+1之間的速度差除以時間T計算求得：

由于該模塊需要逐幀計算場景深度，因而運算速度較為緩慢。針對基于運動矢量統(tǒng)計截取的地震視頻中可能存在一些誤檢，比如夜間車輛的燈光以及白天的車輛移動等場景時常會因為存在較大的像素運動而被誤檢為地震。為此，我們加入一些處理方法將上述可能的誤檢場景剔除。

2 地震實例2.1 地震概況? 2017年4月12日2時25分，浙江省杭州市臨安區(qū)發(fā)生4.2級地震，微觀震中位于臨安區(qū)河橋鎮(zhèn)與潛川鎮(zhèn)交界處的九龍坑（30.08°N，119.34°E），震源深度15 km。震中附近區(qū)域震感強烈，部分房屋出現(xiàn)墻體裂縫、掉瓦等震害現(xiàn)象。地震發(fā)生后，浙江省地震局立即啟動Ⅲ級應(yīng)急響應(yīng)?，F(xiàn)場震害評估與科學(xué)考察組通過對25個調(diào)查點資料的綜合整理分析，參考震源機制解和震中附近地震構(gòu)造等資料，確定了此次地震的最高烈度為Ⅴ度，等震線呈橢圓形，長軸方向呈NE向，為7.4 km，短軸為3.8 km，V度區(qū)總面積約22.6 km2，主要涉及到臨安市潛川鎮(zhèn)和於潛鎮(zhèn)。

2.2 視頻監(jiān)控資料的選取及分析流程

地震發(fā)生后，浙江省地震應(yīng)急指揮中心通過視頻監(jiān)控共享系統(tǒng)，在震后2 h內(nèi)獲取了震中附近發(fā)震時刻77個視頻點位圖像數(shù)據(jù)，通過對比攝像數(shù)據(jù)中人員反應(yīng)、鏡頭晃動等情況，對烈度做了初步判定，并利用地震視頻災(zāi)情判讀系統(tǒng)對視頻點的地面強震動進行了定量分析。震后4 h內(nèi)得到了基于社會視頻監(jiān)控的烈度分布，計算得到的最高烈度與現(xiàn)場實際調(diào)查相同，等震線優(yōu)勢方向與現(xiàn)場工作結(jié)果一致，V度區(qū)面積和現(xiàn)場工作結(jié)果接近。

工作流程如下：首先，浙江省地震應(yīng)急指揮中心啟動了快速評估系統(tǒng)，繪制了基于經(jīng)驗?zāi)Ｐ偷牡卣鹩绊憟龇植紙D（圖5），在模型計算得出的IV度區(qū)及其以上區(qū)域進一步選取了監(jiān)控探頭。浙江區(qū)域的烈度衰減模

型采用經(jīng)過修正的經(jīng)典模型（李東平，2011）：

通過初步篩選，剔除了部分非高清視頻和受干擾視頻，選取了49個點位進行數(shù)據(jù)分析。個別攝像頭處理結(jié)果和現(xiàn)場科考調(diào)查隊得出的數(shù)據(jù)有一定差距，這是因為對比2013年以來的視頻資源發(fā)現(xiàn)，每年的高清監(jiān)控比例在不斷增加，大量的高清探頭替代了非高清探頭（圖6），獲取的數(shù)據(jù)質(zhì)量也大幅度提高。從第一時間獲取的視頻監(jiān)控中，列出20個典型的攝像頭，獲取的資料包括標(biāo)準(zhǔn)的經(jīng)緯度信息和視頻分析得出的烈度加速度、現(xiàn)場調(diào)查烈度值（表1）。由于在Ⅴ度區(qū)范圍內(nèi)沒有強震臺，因此筆者采用的對比數(shù)據(jù)是現(xiàn)場調(diào)查數(shù)據(jù)。從表1可以看出視頻分析加速度與現(xiàn)場調(diào)查烈度值有一定差距，但已經(jīng)比較接近（圖7）。