基于圖像處理技術(shù)的建筑物沉降研究

張 銳，蔣慧瑩

(哈爾濱理工大學(xué)自動(dòng)化學(xué)院，黑龍江 哈爾濱 150080)

1 引言

由于我國(guó)城市以及郊區(qū)地區(qū)高層建筑物的增加，怎么監(jiān)測(cè)高層建筑物的使用安全，防止建筑物塌陷造成的生命財(cái)產(chǎn)損失，成為了值得思考并解決的問(wèn)題。因?yàn)楦邔咏ㄖ飼?huì)隨著時(shí)間推移對(duì)地基造成更大的壓力，很容易產(chǎn)生不均勻沉降問(wèn)題即豎直方向產(chǎn)生的變形，嚴(yán)重者將導(dǎo)致建筑物出現(xiàn)傾斜或者裂縫，從而會(huì)威脅到建筑物的使用安全性，所以這就要求要對(duì)高層建筑進(jìn)行沉降觀測(cè)，要充分掌握高層建筑物沉降觀測(cè)的方法，這樣才能更好地保證建筑物的安全性。常見(jiàn)的沉降觀測(cè)方式包括：大地測(cè)量法(水準(zhǔn)測(cè)量)、GPS測(cè)量法以及攝影測(cè)量法。

攝影測(cè)量法從20世紀(jì)80年代末期開(kāi)始，數(shù)碼相機(jī)逐漸取代光學(xué)相機(jī)，計(jì)算機(jī)更加強(qiáng)大，基于機(jī)器學(xué)習(xí)、模式識(shí)別等先進(jìn)技術(shù)，像點(diǎn)自動(dòng)量測(cè)和自動(dòng)測(cè)圖成為可能，由此開(kāi)啟數(shù)字?jǐn)z影測(cè)量時(shí)代。數(shù)字?jǐn)z影測(cè)量學(xué)是攝影測(cè)量學(xué)的分支學(xué)科，基于數(shù)字影像與攝影測(cè)量的基本原理，應(yīng)用計(jì)算機(jī)技術(shù)、數(shù)字影像處理、影像匹配和模式識(shí)別等多學(xué)科的理論與方法，可提取所攝對(duì)象的幾何與物理信息。近些年各類(lèi)新型傳感器，如便攜式傾斜相機(jī)、多光譜相機(jī)等，以及Agisoft Photoscan、Pix4D mapper、Sart3D Capture和PixelGrid等這些數(shù)字處理軟件的應(yīng)用，提高了數(shù)字?jǐn)z影測(cè)量的發(fā)展。

而相機(jī)標(biāo)定技術(shù)是攝影測(cè)量的基礎(chǔ)，即建立攝像機(jī)的幾何成像模型，描述圖像像素位置與空間坐標(biāo)系中場(chǎng)景點(diǎn)位置之間的相互關(guān)系，最終確定攝像機(jī)內(nèi)外參數(shù)等信息的過(guò)程隨著計(jì)算機(jī)視覺(jué)技術(shù)的應(yīng)用日益廣泛，攝像機(jī)標(biāo)定工作的重要性也逐步提升，新的標(biāo)定方法也越來(lái)越多，在眾多攝像機(jī)標(biāo)定方法中，最重要的是張正友平面標(biāo)定法。

在圖像獲取過(guò)程中，由于成像距離、成像設(shè)備分辨率等因素的限制，成像系統(tǒng)難以無(wú)失真地獲取原始場(chǎng)景中的信息。成像系統(tǒng)通常會(huì)受到變形、模糊、降采樣和噪聲等諸多因素的影響，從而導(dǎo)致獲取圖像質(zhì)量的下降。因此，如何提高圖像的空間分辨率，改善圖像質(zhì)量，一直以來(lái)都是成像技術(shù)領(lǐng)域亟待解決的問(wèn)題。而圖像超分辨率重建(Super-resolution Reconstruction，SR)是解決這一問(wèn)題的重要途徑，即采用圖像處理和機(jī)器學(xué)習(xí)技術(shù)，從同一場(chǎng)景中已有的一張或多張低分辨率(Low-Resolution，LR)圖像構(gòu)建高分辨率(High-Resolution，HR) 圖像的技術(shù)，圖像超分辨率重建(SR)在醫(yī)學(xué)影像分析、安全監(jiān)控、遙感成像等領(lǐng)域有廣泛應(yīng)用。

本文采用對(duì)建筑物進(jìn)行定點(diǎn)拍照的方式進(jìn)行建筑物沉降觀測(cè)，一共拍攝了四期監(jiān)測(cè)點(diǎn)圖像。首先進(jìn)行張正友相機(jī)標(biāo)定，得到相機(jī)的內(nèi)參和外參矩陣；然后對(duì)建筑物進(jìn)行定點(diǎn)拍攝，獲取建筑物局部特征影像；其次對(duì)獲取的監(jiān)測(cè)點(diǎn)圖像進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)超分辨率重建，由此獲得局部特征影像明顯的邊緣特征；最后通過(guò)對(duì)每一期圖像進(jìn)行建筑物監(jiān)測(cè)點(diǎn)的SIFT特征點(diǎn)提取與匹配，得到一一對(duì)應(yīng)特征點(diǎn)并計(jì)算沉降量。

2 建筑物沉降圖像數(shù)據(jù)處理方法

2.1 相機(jī)分辨率

確定相機(jī)分辨率，所用原理為：如圖1所示，在拍攝距離固定和角度相同的前提下，初次拍攝圖像，在建筑物所在平面固定的直尺作為標(biāo)尺，依據(jù)標(biāo)尺的刻度進(jìn)行劃分，其相對(duì)的實(shí)際寬度為△()、△()、△()……Δ()，用邊緣檢測(cè)算子計(jì)算出其圖像上對(duì)應(yīng)所占像素個(gè)數(shù)為()、()、()……()；通過(guò)兩者的比值得到相機(jī)分辨率為：

(1)

圖1 檢測(cè)系統(tǒng)確定分辨率原理圖

2.2 相機(jī)標(biāo)定

相機(jī)的成像模型中最常用且典型的是針孔成像模型，在針孔成像模型中，物體在世界坐標(biāo)系中的坐標(biāo)和投影到圖像坐標(biāo)系中的坐標(biāo)之間的關(guān)系可簡(jiǎn)化描述為線性的關(guān)系，如圖2所示，其中光心到像素平面的距離為焦距，設(shè)三維空間中任意一物點(diǎn)在世界坐標(biāo)系的坐標(biāo)為(，，)，和在相機(jī)坐標(biāo)系的坐標(biāo)為(，，)。

圖2 針孔成像模型

三維空間點(diǎn)的坐標(biāo)到像素坐標(biāo)系點(diǎn)坐標(biāo)的關(guān)系式如式(2)所示：

(2)

式(2)中為相機(jī)需要標(biāo)定的內(nèi)參數(shù)矩陣，，，，，為相機(jī)的內(nèi)參數(shù)。和分別表示單個(gè)像素點(diǎn)的物理尺寸的長(zhǎng)寬，一般情況下像素坐標(biāo)系的軸和軸不會(huì)出現(xiàn)偏差，=90，因此=，像素在軸和軸的傾斜度=0。

常用的相機(jī)標(biāo)定方法包括傳統(tǒng)相機(jī)標(biāo)定法、相機(jī)自標(biāo)定法、主動(dòng)視覺(jué)標(biāo)定法以及張正友標(biāo)定法等。本文采用張正友相機(jī)標(biāo)定法，其利用標(biāo)定板在三維空間中的不同姿態(tài)關(guān)系構(gòu)造相機(jī)參數(shù)方程，操作簡(jiǎn)單便捷，標(biāo)定準(zhǔn)確度也相對(duì)較高。主要流程如圖3 所示。

圖3 相機(jī)標(biāo)定流程圖

標(biāo)定后得到相機(jī)內(nèi)參矩陣和畸變系數(shù)如式(3)、式(4)

(3)

(4)

2.3 基于學(xué)習(xí)的超分辨率圖像重建

本文采用基于學(xué)習(xí)的超分辨率算法應(yīng)用在建筑物沉降檢測(cè)圖像數(shù)據(jù)處理中，主要是為了使建筑物檢測(cè)圖像的邊緣輪廓更明顯，有利于做建筑物檢測(cè)圖像特征點(diǎn)匹配。本文提出了采用FSRCNN算法對(duì)建筑物沉降檢測(cè)圖像進(jìn)行圖像重建，其優(yōu)點(diǎn)為直接將原始低分辨圖像(LR)作為模型輸入，在模型末端引入反卷積層代替雙線性插值(Bicubic)操作，從而保證網(wǎng)絡(luò)模型的計(jì)算復(fù)雜度僅與LR圖像大小成比例；在映射層的前后分別設(shè)置了壓縮層和擴(kuò)展層，在保證網(wǎng)絡(luò)模型精度的同時(shí)，減少了過(guò)多網(wǎng)絡(luò)模型參數(shù)對(duì)其運(yùn)行速度的影響；所以構(gòu)建了五步神經(jīng)網(wǎng)絡(luò)模型，分別為特征提取、特征壓縮、非線性映射、特征擴(kuò)展以及高分辨率重建。

1)特征提?。褐苯訉?duì)低分辨率圖像(LR)進(jìn)行卷積操作，選取的卷積核大小是5×5，卷積核的數(shù)量是d(特征維度)，通道數(shù)是1，可寫(xiě)作Conv(5，d，1)；

2)特征壓縮：通過(guò)使用一個(gè)卷積核大小為1×1且卷積核數(shù)目較小的卷積層s，由上一層的維數(shù)d映射為s，采用s<

3)非線性映射：用于實(shí)現(xiàn)從低分辨率圖像(LR)特征到高分辨率圖像(HR)特征之間的映射，是決定超分辨率圖像重建效果優(yōu)劣的最重要因素。為了降低網(wǎng)絡(luò)規(guī)模，使用較小的3×3卷積核達(dá)到相同乃至更大的感受野，可寫(xiě)作Conv(3，s，s)；

4)特征擴(kuò)展：這一步驟類(lèi)似于特征壓縮的逆過(guò)程。這一步驟使用一個(gè)卷積核大小為1×1但卷積數(shù)目較大的卷積層d，從而實(shí)現(xiàn)特征擴(kuò)展的功能，可寫(xiě)作Conv(1，d，s)；

5)高分辨率重建：使用反卷積層，實(shí)現(xiàn)從高分辨率特征到高分辨率圖像的重建工作。采用卷積核大小9×9，可寫(xiě)作DeConv(9，1，s)。

激活函數(shù)選擇了PReLU(the Parametric Rectified Linear Unit)，避免了零梯度造成的“dead features”，在實(shí)驗(yàn)中也證明了PReLU作為激活函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)更為穩(wěn)定。其中PReLU數(shù)學(xué)表達(dá)式如式(5)

(5)

2.3.1 超分辨率重建算法的評(píng)價(jià)指標(biāo)

超分辨率重建的圖像質(zhì)量可以通過(guò)圖像評(píng)價(jià)指標(biāo)進(jìn)行評(píng)價(jià)，本文采用峰值信噪比(PSNR)的客觀評(píng)價(jià)方法。峰值信噪比(PSNR)通過(guò)像素的誤差來(lái)估計(jì)圖像的質(zhì)量，該方法不僅對(duì)圖像的噪聲有很高的靈敏度，并且操作簡(jiǎn)單。其中峰值信噪比(PSNR)的數(shù)值越大圖像的質(zhì)量越好。

假設(shè)和的尺寸大小為×，兩者間的均方根誤差()定義為式(6)

(6)

而峰值信噪比()定義為式(7)

(7)

其中?表示圖像的最大可能值，針對(duì)unit8的圖像數(shù)據(jù)，?取值為255。

2.3.2 監(jiān)測(cè)圖像特征點(diǎn)提取與匹配

建筑物沉降監(jiān)測(cè)的目的是通過(guò)不同時(shí)期對(duì)同一監(jiān)測(cè)點(diǎn)的坐標(biāo)進(jìn)行測(cè)量，獲取建筑物在同一時(shí)期內(nèi)的沉降量。在圖像中，可以利用數(shù)字圖像處理中的特征點(diǎn)提取與匹配技術(shù)(SIFT)，對(duì)不同時(shí)期拍攝的影像中的監(jiān)測(cè)點(diǎn)進(jìn)行提取和匹配，獲取同名監(jiān)測(cè)點(diǎn)的一一對(duì)應(yīng)關(guān)系，從而計(jì)算沉降量。特征點(diǎn)提取與匹配技術(shù)算法(SIFT)是通過(guò)建立高斯金字塔，利用原圖像(，)與不同標(biāo)準(zhǔn)差的高斯函數(shù)(，，)進(jìn)行卷積得到高斯尺度空間(，，)，如式(8)，(9)所示

(，，)=(，，)?(，)

(8)

(9)

其中，(，)為像點(diǎn)坐標(biāo)，(，，)為高斯核，在二維空間中，和表示模板的規(guī)格，表示尺度空間因子。

3 實(shí)驗(yàn)結(jié)果與分析

沉降觀測(cè)點(diǎn)選在比較穩(wěn)定方便使用的位置，也要選在不受該建筑物地基影響的范圍內(nèi)，本實(shí)驗(yàn)選在距離建筑物20米處在建建筑物上選取監(jiān)測(cè)點(diǎn)，并將直尺或其它的直線型標(biāo)識(shí)物垂直于地表水平線布設(shè)在建筑物上，并在標(biāo)尺上豎直畫(huà)上多道2mm黑色粗線條，每道粗線條間距為2mm以便于監(jiān)測(cè)建筑物沉降。在采集到的數(shù)字圖像中建立直角坐標(biāo)系，識(shí)別特征點(diǎn)。建筑物沉降觀測(cè)方式采用攝影方法對(duì)建筑物上的沉降監(jiān)測(cè)點(diǎn)進(jìn)行拍照，在工作基點(diǎn)設(shè)立三腳架安裝望遠(yuǎn)鏡并在目鏡鏡頭安裝相機(jī)，用望遠(yuǎn)鏡把建筑物上的標(biāo)尺進(jìn)行局部放大，再采用相同拍攝角度和拍攝高度，每次拍攝十組圖片，保證拍攝精度，要求：

1)望遠(yuǎn)鏡和數(shù)碼相機(jī)垂直于建筑物，在觀測(cè)過(guò)程中應(yīng)保持穩(wěn)定；

2)使標(biāo)尺表面與望遠(yuǎn)鏡光路垂直；

3)望遠(yuǎn)鏡、攝像頭與穩(wěn)定的基準(zhǔn)點(diǎn)牢固連接，并保證其牢固性和穩(wěn)定性；

4)在陽(yáng)光充足的白天進(jìn)行沉降檢測(cè)；

5)采用相同拍攝角度和拍攝高度，每次拍攝十組圖片；

6)采用統(tǒng)一的基準(zhǔn)處理數(shù)據(jù)。

本文在拍攝建筑物監(jiān)測(cè)點(diǎn)前，對(duì)相機(jī)進(jìn)行了標(biāo)定，根據(jù)標(biāo)定后的內(nèi)參和外參矩陣糾正由相機(jī)造成的桶型畸變，對(duì)某居民樓定點(diǎn)拍攝了四期建筑屋沉降點(diǎn)圖像并根據(jù)相機(jī)標(biāo)定參數(shù)糾正圖像。然后進(jìn)行基于學(xué)習(xí)的超分辨率重建圖像，由于重建后的圖像好壞和參與訓(xùn)練的圖像有密切關(guān)系，所以本文的訓(xùn)練圖像在Image Net-91訓(xùn)練集的基礎(chǔ)上，加入了居民樓的局部圖像作為訓(xùn)練樣本，保證重建后的監(jiān)測(cè)點(diǎn)圖像的重建效果，測(cè)試集采用拍攝到的監(jiān)測(cè)點(diǎn)圖像4個(gè)測(cè)試集。本文的實(shí)驗(yàn)平臺(tái)采用Python3.6，深度學(xué)習(xí)框架采用Tensor Flow 1.8.0版本，圖像處理采用基于Python的OpenCV，可視化采用Matplotlib，以上的工具包都基于Python，操作系統(tǒng)windows 10系統(tǒng)，硬件配置CPU為Inter(R) Core(TM) i5-6200U，內(nèi)存為12 GB。本文進(jìn)行了2000次的訓(xùn)練，選取的學(xué)習(xí)率是0.95，設(shè)置d=56，s=12，重建效果圖如圖4所示。

圖4 重建效果圖(部分圖)

得到的重建圖像的峰值信噪比(PSNR)達(dá)到了33db+，建筑物輪廓邊緣信息平滑，有利于同一監(jiān)測(cè)點(diǎn)的特征點(diǎn)提取和匹配。

建筑物沉降監(jiān)測(cè)的目的是通過(guò)不同時(shí)期對(duì)同一監(jiān)測(cè)點(diǎn)的坐標(biāo)測(cè)量獲取建筑物在一段時(shí)間內(nèi)的相對(duì)沉降量。在重建后的圖像中，可以利用數(shù)字圖像處理中的SIFT算法，對(duì)不同時(shí)期拍攝的監(jiān)測(cè)點(diǎn)圖像進(jìn)行特征點(diǎn)的提取和匹配，獲取相同監(jiān)測(cè)點(diǎn)的一一對(duì)應(yīng)關(guān)系，從而計(jì)算沉降量。針對(duì)兩期圖像對(duì)其進(jìn)行SIFT算法，本文選取了30個(gè)特征點(diǎn)，紅色直線表示30條匹配較高的匹配直線，如圖5所示。

圖5 特征點(diǎn)匹配

由此得到相鄰兩張監(jiān)測(cè)圖像相同監(jiān)測(cè)點(diǎn)的特征點(diǎn)坐標(biāo)，計(jì)算同一個(gè)特征點(diǎn)像素差值。則第1次測(cè)量得到沉降量，如式(10)所示

(10)

式中，為初次檢測(cè)標(biāo)尺的建筑物沉降位移()；，，…，0是同一特征點(diǎn)像素差值。

第2次測(cè)量得到沉降量，如式(11)所示

(11)

式中，為第2次檢測(cè)標(biāo)尺的建筑物沉降位移()；，，…，1是同一特征點(diǎn)像素差值。以此類(lèi)推計(jì)算各期建筑物沉降量，見(jiàn)表1所示。

表1 建筑物沉降量(mm)

4 結(jié)論

本文敘述了建筑物沉降監(jiān)測(cè)的必要性，提出了基于數(shù)字圖像處理技術(shù)在建筑物沉降監(jiān)測(cè)方面的應(yīng)用。首先確定相機(jī)分辨率，利用相機(jī)標(biāo)定技術(shù)對(duì)拍攝建筑物監(jiān)測(cè)點(diǎn)圖像的糾正，然后定點(diǎn)拍攝建筑物監(jiān)測(cè)點(diǎn)圖像，采用基于學(xué)習(xí)的超分辨率圖像重建方法，最后進(jìn)行監(jiān)測(cè)點(diǎn)一一對(duì)應(yīng)的特征點(diǎn)的提取與匹配，并計(jì)算出建筑物各期沉降量，證明了圖形處理技術(shù)在建筑物沉降方向的可實(shí)用性。