機(jī)器視覺技術(shù)在塔機(jī)監(jiān)控上的應(yīng)用

鄭 旭，王 輝，馬圣良

（1.廊坊凱博建設(shè)機(jī)械科技有限公司，河北 廊坊 065000；2.凱博信息科技有限公司，河北 廊坊 065000；3.中鐵二十二局集團(tuán)第四工程有限公司，河北 保定 071000）

塔機(jī)是建筑施工現(xiàn)場物料垂直運(yùn)輸?shù)闹饕O(shè)備，目前，塔機(jī)的安全裝置主要是塔機(jī)自身的機(jī)械限位以及監(jiān)控系統(tǒng)為主的電子輔助設(shè)備。監(jiān)控系統(tǒng)主要基于信息與通信技術(shù)包括ARM 單片機(jī)或PLC 實(shí)現(xiàn)控制，結(jié)合數(shù)據(jù)傳輸技術(shù)與工業(yè)互聯(lián)網(wǎng)，通過傳感器采集數(shù)據(jù)并傳輸?shù)斤@示儀器上，來實(shí)現(xiàn)對塔機(jī)運(yùn)行數(shù)據(jù)的捕捉與監(jiān)控?；跈C(jī)器視覺學(xué)習(xí)技術(shù)的監(jiān)控在塔機(jī)上的應(yīng)用起步較晚，仍處于探索階段。

1 機(jī)器視覺技術(shù)

機(jī)器視覺技術(shù)模擬人類接受視覺信號，通過傳感器接受外界光電信號，轉(zhuǎn)化為數(shù)字信號，利用視覺仿真技術(shù)，對感知場景進(jìn)行學(xué)習(xí)與推演，識別特征物，依靠人工智能形成判斷指令。通過視覺環(huán)境仿真技術(shù)結(jié)合實(shí)際場景建模，采用仿真軟件（Ecotect Analysis）進(jìn)行模擬分析，將仿真照度值與規(guī)范標(biāo)準(zhǔn)值對比，驗(yàn)證起重作業(yè)視覺優(yōu)化模型的正確性，為視覺環(huán)境優(yōu)化方案的制訂提供依據(jù)。涉及人工智能、計(jì)算機(jī)科學(xué)、圖像處理、神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等多個(gè)知識領(lǐng)域。實(shí)現(xiàn)過程如圖1。

圖1 機(jī)器視覺技術(shù)實(shí)現(xiàn)過程

其中，雙目視覺也稱作立體視覺，是機(jī)器視覺的一種重要形式，類似利用人眼雙眼的視覺差判斷出物體遠(yuǎn)近距離，從而感知目標(biāo)物體三維信息。雙目定位是通過不同位置觀測目標(biāo)物體的多個(gè)二維圖像，計(jì)算圖像對應(yīng)點(diǎn)位置偏差，計(jì)算出被觀測物體的實(shí)際距離的方式。

2 施工場景攝像頭技術(shù)的應(yīng)用與發(fā)展

攝像頭作為視覺技術(shù)的主要傳感器，在最初施工現(xiàn)場使用中，主要應(yīng)用于環(huán)境監(jiān)控與人員監(jiān)控。隨著智慧工地項(xiàng)目推進(jìn)，越來越多的視頻技術(shù)進(jìn)入了施工現(xiàn)場。例如，通過在攝像頭中嵌套算法，對施工現(xiàn)場臨邊防護(hù)進(jìn)行識別，人員進(jìn)入臨邊會發(fā)出報(bào)警；識別勞務(wù)人員的抽煙、玩手機(jī)，扎堆等違規(guī)行為，并提供上報(bào)；機(jī)器視覺技術(shù)在大型起重機(jī)械上的應(yīng)用同樣廣泛，施工升降機(jī)中人臉識別，人數(shù)識別；通過攝像頭捕捉識別標(biāo)準(zhǔn)節(jié)螺栓的在位與松動(dòng)檢測等功能。

3 視覺技術(shù)在吊鉤可視化中的應(yīng)用

3.1 基于單片機(jī)控制系統(tǒng)的吊鉤可視化系統(tǒng)

吊鉤可視化系統(tǒng)輔助塔司作業(yè)，可避免塔司無法清晰觀測到吊鉤或吊載物周邊環(huán)境盲目起吊導(dǎo)致的事故?；贏RM 單片機(jī)的吊鉤可視化系統(tǒng)由電控部分與攝像部分組成，電控部分通過LAN 網(wǎng)橋組網(wǎng)、控制電路板、以及基于232、485通訊模組，串口觸摸屏和開關(guān)電源等組成；攝像頭部分由網(wǎng)絡(luò)攝像頭、鋰電池組等。

該系統(tǒng)的控制原理是通過終端各個(gè)傳感器的數(shù)據(jù)采集，將AD 數(shù)值（485 通訊協(xié)議）轉(zhuǎn)化為數(shù)字信號，分別對于高度、幅度進(jìn)行標(biāo)定學(xué)習(xí)，計(jì)算攝像頭的俯仰角與吊鉤距離，從而控制攝像頭進(jìn)行分級變焦。該系統(tǒng)雖然滿足了吊鉤可視化的基本要求，但主要算法基于ARM 單片機(jī)通過電子信號實(shí)現(xiàn)對攝像頭的間接控制，并非通過攝像頭自身的機(jī)器視覺技術(shù)實(shí)現(xiàn)。

基于電子控制的吊鉤可視化系統(tǒng)依靠塔機(jī)監(jiān)控系統(tǒng)傳感器數(shù)據(jù)保障變焦數(shù)據(jù)的準(zhǔn)確，在實(shí)際使用中傳感器數(shù)據(jù)難以維持穩(wěn)定性，導(dǎo)致攝像頭需要經(jīng)常重新學(xué)習(xí)標(biāo)定。此外，塔機(jī)頂升、斷電等因素都會影響可視化設(shè)備的可靠性。機(jī)器視覺技術(shù)的應(yīng)用，則可以規(guī)避電子控制中的諸多問題。

3.2 基于機(jī)器視覺技術(shù)的吊鉤可視化系統(tǒng)

機(jī)器視覺識別技術(shù)在吊鉤可視化中的應(yīng)用已經(jīng)具備一定基礎(chǔ)，?？低?、大華等廠家均開發(fā)了基于機(jī)器視覺學(xué)習(xí)的自動(dòng)追蹤攝像機(jī)，通過手動(dòng)或自動(dòng)選擇追蹤物，完成云臺操作及攝像頭變焦的操作。該技術(shù)已經(jīng)在塔機(jī)吊鉤可視化應(yīng)用場景中得到了驗(yàn)證。

基于機(jī)器視覺技術(shù)的吊鉤可視化系統(tǒng)需要解決吊鉤定位問題，目前攝像頭有單目攝像頭、雙目攝像頭以及多目攝像頭。單目攝像頭一般是通過檢測攝像頭端到吊鉤距負(fù)載平面的距離，實(shí)現(xiàn)攝像頭變焦。然而由于吊載物形狀不同，容易對攝像頭定位引起誤判，在實(shí)際應(yīng)用中會出現(xiàn)吊載物丟失、對焦失敗等問題?；陔p目的攝像頭能更好地解決目標(biāo)物的測距問題，將機(jī)器視覺技術(shù)融入吊鉤可視化中，通過定位技術(shù)計(jì)算目標(biāo)物體的相對位置、相機(jī)畸變的校正，該技術(shù)已經(jīng)廣泛應(yīng)用于攝像頭自動(dòng)追蹤領(lǐng)域。

利用雙目攝像頭定位過程如圖2 所示，雙目攝像頭可以視為兩個(gè)單目攝像頭，左側(cè)攝像頭光心L，右側(cè)攝像頭光心R，B是基線（攝像頭距離），P1、P2是在觀測物平面上的同一觀測點(diǎn)，P1-P2為視差D，F(xiàn)為焦距。根據(jù)近似三角形Z=（BF）/D，可以求出觀測面中各點(diǎn)的相對坐標(biāo)，從而得到觀測物的三維位置坐標(biāo)。

圖2 雙目測距示意圖

測距后需要對視覺系統(tǒng)進(jìn)行標(biāo)定，基于攝像機(jī)的成像原理，利用圖像像素與空間坐標(biāo)時(shí)間的約束關(guān)系，求解攝像機(jī)參數(shù)的處理過程。標(biāo)定過程中應(yīng)用Matlab 工具箱在攝像機(jī)標(biāo)定方面有多種實(shí)現(xiàn)函數(shù)。OpenCV 視覺類庫中包換C++函數(shù)以及API 函數(shù)封裝與接口。Halcon 軟件則是軟件數(shù)學(xué)計(jì)算與圖像處理主要應(yīng)用軟件，可以通過軟件內(nèi)嵌控件，便捷的完成攝像頭標(biāo)定。

在標(biāo)定過程中，通過OpenCV 中的CamShift算法，對吊鉤顏色的追蹤，實(shí)現(xiàn)了對吊鉤的自動(dòng)鎖定。但這種方式無法有效避免當(dāng)環(huán)境中存在同類顏色時(shí)對吊鉤的影響。而運(yùn)用SIFT 算法，實(shí)現(xiàn)了對于吊鉤（目標(biāo)物）的定位捕捉，實(shí)現(xiàn)過程如圖3。

圖3 SIFT算法的實(shí)現(xiàn)過程

此外，近年來REMON 提出通過YOLO 算法識別塔機(jī)特征場景，從而實(shí)現(xiàn)對于環(huán)境認(rèn)知的學(xué)習(xí)。對基于視覺跟蹤技術(shù)的TLD 算法建立的塔機(jī)監(jiān)控系統(tǒng)進(jìn)行實(shí)驗(yàn)測試，視頻傳輸效率、檢測正確率均達(dá)到了預(yù)設(shè)要求，跟蹤效率與正確率均達(dá)到95%以上，完全可以滿足現(xiàn)有塔機(jī)工作需求。主要廠家的核心技術(shù)路線略有差異，形成的產(chǎn)品也基本滿足了對于吊鉤的捕捉以及定位，達(dá)到了市場的一般需求，但穩(wěn)定性仍有待提高。

4 基于機(jī)器視覺技術(shù)的群塔防碰撞系統(tǒng)

群塔防碰撞技術(shù)能為塔群作業(yè)提供安全預(yù)警服務(wù)，目前，應(yīng)用較多的主要是基于ARM 嵌入式塔機(jī)監(jiān)控系統(tǒng)，一般建立在單機(jī)塔機(jī)監(jiān)控系統(tǒng)之上，用于對有碰撞風(fēng)險(xiǎn)的塔機(jī)提供預(yù)警報(bào)警。實(shí)現(xiàn)過程是通過人工錄入塔機(jī)的基礎(chǔ)信息（位置信息、塔機(jī)型號、臂長、高度等），再利用各個(gè)機(jī)構(gòu)傳感器采集的實(shí)時(shí)數(shù)據(jù)進(jìn)行建模，通過無線傳輸技術(shù)組網(wǎng)，根據(jù)判斷高位塔吊鉤與低位塔大臂的位置，實(shí)現(xiàn)防碰撞預(yù)警。這需要保障各個(gè)塔機(jī)上監(jiān)控系統(tǒng)的準(zhǔn)確性，同時(shí)保證組網(wǎng)數(shù)據(jù)傳輸?shù)耐〞承浴Ｔ趯?shí)際應(yīng)用中，施工現(xiàn)場復(fù)雜，工人安拆水平有限，設(shè)備難以做到持續(xù)的穩(wěn)定性。

隨著BIM 技術(shù)的應(yīng)用，對工程實(shí)現(xiàn)三維數(shù)字建模，利用UWB、RFID、Wi-Fi、ZigBee等無線傳感技術(shù)對塔機(jī)作業(yè)危險(xiǎn)區(qū)域內(nèi)，人員與塔機(jī)、塔機(jī)與塔機(jī)之間的碰撞進(jìn)行實(shí)時(shí)采集并組網(wǎng)，對于危險(xiǎn)行為提供預(yù)警報(bào)警。一些廠家基于機(jī)器視覺技術(shù)開發(fā)了群塔防碰撞系統(tǒng)，實(shí)現(xiàn)過程是通過視覺技術(shù)、定位技術(shù)，建立群塔作業(yè)模型，可以有效解決以上問題。通過算法對于目標(biāo)環(huán)境的感知與學(xué)習(xí)，通過塔機(jī)攝像機(jī)采集視頻信號，使用MASK R-CNN 方法進(jìn)行圖像識別。識別危險(xiǎn)區(qū)域的像素坐標(biāo)，使用像素和實(shí)際距離轉(zhuǎn)換方法來測量安全距離，從而實(shí)現(xiàn)對于危險(xiǎn)行為的自動(dòng)收集、分析與預(yù)警。

此外，有的廠家開發(fā)了基于激光傳感器、雷達(dá)測距等手段的群塔防碰撞系統(tǒng)，因?yàn)樗C(jī)吊載過程中作業(yè)場景復(fù)雜，諸多干擾無法排除，導(dǎo)致該類產(chǎn)品始終未得到市場充分認(rèn)可。

5 結(jié)語

機(jī)器視覺技術(shù)可以實(shí)現(xiàn)對于周遭環(huán)境的識別與分析，構(gòu)建動(dòng)態(tài)多維模型。基于機(jī)械視覺技術(shù)的塔機(jī)監(jiān)控系統(tǒng)的開發(fā)已初有成效，較依靠嵌入式、雷達(dá)、激光為核心的群塔防碰撞系統(tǒng)，機(jī)器視覺技術(shù)更加具有成本優(yōu)勢，更加人性化。機(jī)器視覺技術(shù)也是實(shí)現(xiàn)塔機(jī)遠(yuǎn)程駕駛、無人駕駛的技術(shù)核心之一，通過攝像頭捕捉塔機(jī)周遭圖像信息，識別、分析、定位、判斷，依托BIM 技術(shù)建立信息化模型，結(jié)合塔機(jī)自身的控制系統(tǒng)與數(shù)據(jù)傳輸技術(shù)，實(shí)現(xiàn)塔機(jī)的同步操作，同步感知。

此外，基于機(jī)器視覺技術(shù)的YOLO 算法、SSD 算法還可應(yīng)用在塔機(jī)的焊接開裂與鋼絲繩探傷識別上，通過對塔機(jī)焊接裂縫的目標(biāo)檢測、對比，判斷焊縫是否達(dá)標(biāo)、鋼絲繩是否存在斷裂風(fēng)險(xiǎn)。隨著塔機(jī)信息化及智能化的發(fā)展，機(jī)器視覺技術(shù)將會更多應(yīng)用到塔機(jī)的施工場景中。