基于知識圖譜的建筑安全領(lǐng)域計算機視覺研究綜述

孫龍龍，王其寬，施 凱，顧嘉浩，雷吉烽

(1.重慶大學(xué)管理科學(xué)與房地產(chǎn)學(xué)院，重慶 400044；2.中國地質(zhì)大學(xué)(北京)工程技術(shù)學(xué)院，北京 100083)

建筑業(yè)是高風(fēng)險行業(yè)，建筑施工現(xiàn)場存在的諸多安全風(fēng)險因素導(dǎo)致安全事故時有發(fā)生，這不僅威脅著工人的生命安全，還會給企業(yè)和社會造成重大損失。據(jù)中華人民共和國住房和城鄉(xiāng)建設(shè)部辦公廳關(guān)于2019年房屋市政工程生產(chǎn)安全事故情況的通報顯示，2019年全國共發(fā)生生產(chǎn)安全事故773起、死亡904人，比2018年事故起數(shù)增加39起、死亡人數(shù)增加64人，分別上升了5.31%和7.62%。因此，加強建筑工程安全管理具有重大意義。國內(nèi)外學(xué)者對該領(lǐng)域的研究一直在持續(xù)進行，涉及的研究內(nèi)容包括安全風(fēng)險因素識別、安全風(fēng)險評估、安全事故預(yù)防以及借助建筑信息模型(BIM)、VR/AR可視化技術(shù)輔助安全管理等多個方面。上述研究表明，建筑工程安全事故的成因是復(fù)雜多樣的，各個因素之間存在相互聯(lián)系和相互作用，幾乎每個事故因果模型和相關(guān)研究都提到了包括人為因素和物理因素在內(nèi)的復(fù)雜因素，它們是建筑施工現(xiàn)場安全事故發(fā)生的主要原因。因此，實現(xiàn)這個復(fù)雜因素的準確檢測與識別對建筑工程安全管理工作具有現(xiàn)實意義。

近年來，計算機視覺技術(shù)的快速發(fā)展為建筑工程安全管理提供了可能性。計算機視覺技術(shù)的發(fā)展被認為是一種自動識別不安全行為和不安全狀態(tài)的可靠方法。從工程的角度來看，計算機視覺技術(shù)旨在實現(xiàn)人類視覺系統(tǒng)無法執(zhí)行任務(wù)的自動化，可以更加智能、高效地檢測施工現(xiàn)場的人為因素和物理因素，實現(xiàn)風(fēng)險的識別與預(yù)警。同時，隨著多種數(shù)字技術(shù)和深度學(xué)習(xí)技術(shù)的發(fā)展，將這些技術(shù)與計算機視覺技術(shù)相結(jié)合，其自動化水平將會進一步提升。

盡管計算機視覺技術(shù)在處理建筑安全風(fēng)險問題上具有較大的優(yōu)勢，但其發(fā)展同樣存在不足及局限，同時國內(nèi)外學(xué)者在該領(lǐng)域的研究方向較分散，缺乏對計算機視覺技術(shù)在建筑安全領(lǐng)域應(yīng)用的綜述性研究。因此，本文基于2000—2020年間Web of Science核心合集中的相關(guān)研究文獻，借助VOSviewer文獻計量軟件對計算機視覺技術(shù)在建筑安全領(lǐng)域應(yīng)用的研究現(xiàn)狀進行了綜述，并對未來的研究方向進行了展望。

1 研究方法

1. 1 文獻計量搜索

本研究的文獻計量搜索主要是針對Web of Science(WOS)數(shù)據(jù)庫。WOS是綜合性文摘索引數(shù)據(jù)庫，基本可以包括某一領(lǐng)域的主要研究文獻，解釋該領(lǐng)域的研究發(fā)展方向。具體而言，文獻計量搜索主要包括以下幾個步驟：

(1) 首先在Web of Science數(shù)據(jù)庫中使用高級檢索，輸入檢索詞形式為“TS=((construction site*) AND ((safety) OR (risk)) AND ((computer vision*) OR (vision-based)))”，檢索時間為“2000—2020”，點擊檢索，初步獲得173篇文獻。(請注意，符號*用于捕獲一個關(guān)鍵字的變體，例如“computer vision”的變體有“vision system”“visual system”)。

(2) 然后根據(jù)關(guān)鍵詞、研究領(lǐng)域、語種(只選英文版)等方面對總體文獻進行篩選，刪除與主題不相關(guān)的文獻。篩選的主要標(biāo)準是：采用計算機視覺技術(shù)、專注于建筑領(lǐng)域的安全風(fēng)險。最終獲得166篇研究文獻。

1. 2 科學(xué)計量分析

本研究的科學(xué)計量分析是通過文獻計量軟件VOSviewer進行的。VOSviewer是一款知識圖譜分析工具，支持大規(guī)模數(shù)據(jù)處理，可以生成多種基于文獻計量關(guān)系的可視化圖譜，如作者或期刊的共引關(guān)系圖、關(guān)鍵詞共現(xiàn)關(guān)系圖，用以研究文獻的研究動態(tài)與熱點。常見的知識圖譜分析工具還有CiteSpace，可用于追蹤某一領(lǐng)域的研究熱點與發(fā)展趨勢。與之相比，VOSviewer文獻計量軟件的分析結(jié)果更適合WOS數(shù)據(jù)的分析，同時具有圖形展現(xiàn)方式豐富、顯示清晰、結(jié)果易于解釋等特點。

本文使用VOSViewer1.6.15文獻計量軟件作為研究分析工具，基于“數(shù)據(jù)檢索→生成可視化圖譜→可視化分析→結(jié)果討論”的研究路線，對計算機視覺技術(shù)在建筑安全領(lǐng)域的研究現(xiàn)狀與發(fā)展趨勢進行了可視化定量分析并輔以定性分析。

2 研究結(jié)果分析

根據(jù)第1.1節(jié)文獻計量搜索獲得的166篇文獻，通過VOSviewer生成關(guān)于期刊來源、作者、關(guān)鍵詞的可視化圖譜。

首先按出版年份對166篇文獻進行了分析，如圖1。

圖1 不同年份研究文獻發(fā)表數(shù)量Fig.1 Number of papers published in different years

由圖1可見，從2004年起，計算機視覺技術(shù)在建筑安全領(lǐng)域的應(yīng)用研究有了零的突破；2010年后，該領(lǐng)域的研究逐步引起了學(xué)者的注意，較多研究文獻開始出現(xiàn)，自2015年后，該領(lǐng)域的研究已成為熱門，這與建筑信息模型化(BIM)技術(shù)與大數(shù)據(jù)技術(shù)在建筑業(yè)內(nèi)的推廣有時間上的匹配關(guān)系；尤其是2018和2019年，研究文獻發(fā)表數(shù)量暴漲，這些研究趨勢與計算機視覺技術(shù)本身的發(fā)展密不可分。在本世紀初，基于學(xué)習(xí)的計算機視覺技術(shù)開始流行，2015年基于深度學(xué)習(xí)的計算機視覺技術(shù)也成功促進了該領(lǐng)域的研究。

2. 1 出版物來源分析

除了每年發(fā)表的文獻數(shù)量外，本文還對這些文獻的出版物來源進行了分析。在VOSviewer中，選擇引文分析，將最小文獻數(shù)和最小引用數(shù)分別設(shè)置為2和0，總共110篇文獻中有15種出版物達到了閾值。按文獻發(fā)表數(shù)量排序，取前十名的出版物及其對應(yīng)的數(shù)據(jù)，見表1。

表1 出版物量化數(shù)據(jù)

由表1可知，從發(fā)文量、總引用量來看，

Automation

in

Construction

期刊對計算機視覺技術(shù)在建筑安全領(lǐng)域研究的影響最大；

Advanced

Engineering

Informatics

期刊雖然發(fā)文數(shù)量排第四，但其總引用量、均引次數(shù)及總鏈接強度均排第二，說明其論文質(zhì)量較高；

Computer

-

aided

Civil

and

Infrastructure

Engineering

期刊雖然發(fā)文數(shù)量較少，但其均引次數(shù)高居第一，說明該期刊在該領(lǐng)域具有一定的影響力。進一步從期刊的質(zhì)量情況來看，其中SCI期刊占比高達84%，一方面說明該領(lǐng)域論文質(zhì)量整體水平較高，能夠較好地代表該領(lǐng)域最新的研究成果，另一方面說明該領(lǐng)域的研究處于較好的研究環(huán)境且擁有較高的關(guān)注熱度，有利于該學(xué)科的發(fā)展。

2. 2 作者共現(xiàn)分析

作者共現(xiàn)分析是為了探討計算機視覺技術(shù)在建筑安全領(lǐng)域知識主體的研究及合作情況，明確該領(lǐng)域的核心作者及其合作關(guān)系，有助于全面把握該領(lǐng)域的研究現(xiàn)狀。通過VOSviewer獲得作者合作網(wǎng)絡(luò)圖和主要作者發(fā)文情況統(tǒng)計表，見圖2和表2。

圖2 作者合作網(wǎng)絡(luò)圖Fig.2 Network diagram of authors’ cooperation

表2 主要作者發(fā)文情況統(tǒng)計表

圖2顯示了該領(lǐng)域主要研究人員及其合作關(guān)系，其中節(jié)點大小表示發(fā)文量的多少，連線長短表示合作關(guān)系的緊密程度。由圖2可見，所有作者可以分為6個合作群體，從整體來看，合作群體相對分散，表明不同群體之間缺乏合作。

由表2可知，Lee、Li、Luo、Zhu、Han、Teizer是計算機視覺技術(shù)在建筑安全領(lǐng)域的主要研究作用，在2015—2020年間他們的研究熱度較高，其研究方向和內(nèi)容在一定程度上反映了計算機視覺技術(shù)在建筑安全領(lǐng)域的研究方向。其中，Teizer等在該領(lǐng)域是先行者，早在2006年就提出利用智能計算和傳感技術(shù)確保施工現(xiàn)場安全；Lee和Han關(guān)注從人體工程學(xué)和生物力學(xué)角度對工人的不安全行為進行識別和評估；Zhu則更關(guān)注人機交互行為的識別與預(yù)測；Li和Luo在近幾年表現(xiàn)較為活躍，他們關(guān)注將計算機視覺技術(shù)與深度學(xué)習(xí)技術(shù)相結(jié)合，并集成多種數(shù)字技術(shù)用于提升建筑工程安全管理的效益。

通過VOSviewer對作者所在國家和研究機構(gòu)做進一步分析發(fā)現(xiàn)，密歇根大學(xué)、華中科技大學(xué)和香港理工大學(xué)等研究機構(gòu)在該領(lǐng)域的表現(xiàn)良好，且其他研究機構(gòu)與三者都有著較強的聯(lián)系；美國、中國、加拿大、韓國和澳大利亞等國家的學(xué)者在該領(lǐng)域的表現(xiàn)良好，但不同國家與研究機構(gòu)的學(xué)者之間的合作較少。因此，在未來的研究中，不同國家與研究機構(gòu)之間應(yīng)加強交流與合作，使研究成果更具實踐價值；在時間上，美國等國家涉足該領(lǐng)域較早，而中國在近年來后來者居上。

2. 3 關(guān)鍵詞聚類分析

關(guān)鍵詞反映了論文的核心內(nèi)容，并展示了某一領(lǐng)域研究的范圍。為了構(gòu)建和映射建筑安全風(fēng)險與計算機視覺技術(shù)之間的關(guān)系，使用VOSviewer獲得了建筑安全研究領(lǐng)域中的關(guān)鍵詞共現(xiàn)網(wǎng)絡(luò)分析圖，并進行了聚類分析。連線的長短表示兩個關(guān)鍵詞之間關(guān)系的強度，節(jié)點的大小表示關(guān)鍵詞出現(xiàn)的次數(shù)，不同的顏色代表通過VOSviewer聚類的不同知識領(lǐng)域。將關(guān)鍵詞最小出現(xiàn)次數(shù)設(shè)置為5，獲得達到閾值的40個關(guān)鍵詞，見圖3。

圖3 關(guān)鍵詞聚類分析圖Fig.3 Cluster analysis of keywords

由圖3可見，很明顯“computer vision”“construction”“equipment”等關(guān)鍵詞出現(xiàn)的頻次較高，表明計算機視覺技術(shù)被積極用于建筑安全領(lǐng)域；其次“construction safety”“safety”等關(guān)鍵詞也多有出現(xiàn)，表明建筑安全領(lǐng)域安全管理與計算機視覺技術(shù)正在緊密結(jié)合。根據(jù)顏色分布，可將主要關(guān)鍵詞分為3個研究主題，詳見表3。

表3 關(guān)鍵詞聚類分析獲得的研究主題表

由表3可知，通過關(guān)鍵詞聚類分析獲得的3個研究主題可概括為設(shè)備的識別與跟蹤、工人的不安全行為識別以及計算機視覺及其發(fā)展。其中，第一聚類涉及“equipment”“recognition”“tracking”等關(guān)鍵詞，說明該主題關(guān)注的是施工現(xiàn)場設(shè)備的識別與跟蹤，而設(shè)備的不安全狀態(tài)往往會導(dǎo)致安全事故的發(fā)生；第二聚類涉及“safety”“construction worker”“action recognition”等關(guān)鍵詞，說明該主題關(guān)注的是施工現(xiàn)場工人的安全管理，通過對工人不安全行為的識別，進而實現(xiàn)安全計劃與預(yù)警；第三聚類涉及“computer vision”“deep learning”等關(guān)鍵詞，說明該主題關(guān)注計算機視覺的應(yīng)用，并且隨著深度學(xué)習(xí)技術(shù)的發(fā)展，計算機視覺技術(shù)也將更加智能和高效。

關(guān)鍵詞共現(xiàn)網(wǎng)絡(luò)是研究領(lǐng)域的靜態(tài)表示，但不能反映研究領(lǐng)域隨著時間的變化，VOSviewer提供了時間網(wǎng)絡(luò)圖，每個節(jié)點都由文獻中使用關(guān)鍵詞的平均年份來表示。圖4顯示了近4年間該領(lǐng)域關(guān)鍵詞的變化情況。

圖4 關(guān)鍵詞時間分布圖Fig.4 Time distribution diagram of keywords

由圖4可見，“construction”“construction safety”“computer vision”“deep learning”等關(guān)鍵詞依次出現(xiàn)，表明建筑領(lǐng)域?qū)ㄖ踩雨P(guān)注，并積極與計算機視覺技術(shù)結(jié)合，深度學(xué)習(xí)技術(shù)在最近研究中成為熱點。將圖3與圖4進行對比來看，第一聚類涉及的關(guān)鍵詞發(fā)表時間大致對應(yīng)2018年前后，第二聚類涉及的關(guān)鍵詞發(fā)表時間對應(yīng)2017年以及之前年份，第三聚類涉及的關(guān)鍵詞發(fā)表時間對應(yīng)2019年前后。

3 討論與未來研究方向

根據(jù)檢索的文獻，本文對計算機視覺技術(shù)在建筑安全領(lǐng)域的研究現(xiàn)狀及其不足進一步做定性分析，以展望未來的研究方向。

3. 1 技術(shù)挑戰(zhàn)

基于計算機視覺技術(shù)識別信息的準確性和可靠性是安全監(jiān)督系統(tǒng)成功的關(guān)鍵，然而動態(tài)復(fù)雜的施工環(huán)境往往給計算機視覺技術(shù)帶來挑戰(zhàn)，造成許多技術(shù)局限，如光照條件、遮擋和攝像機放置等。本文檢索的文獻中，相關(guān)學(xué)者試圖通過一些方法來克服這些技術(shù)限制，其中有學(xué)者使用深度學(xué)習(xí)算法來擴展訓(xùn)練數(shù)據(jù)集，以解決部分遮擋的問題；還有學(xué)者提出使用無人機代替施工現(xiàn)場的固定攝像機，以解決攝像機放置的空間限制。但是，這些方法仍不能完全解決技術(shù)上的局限性。因此，本文建議將多種數(shù)字技術(shù)與計算機視覺技術(shù)相結(jié)合，以增強目標(biāo)特征的提取精度并克服局限性，比如傳感器、物聯(lián)網(wǎng)、BIM等；其次利用深度學(xué)習(xí)技術(shù)，解決施工現(xiàn)場數(shù)據(jù)集的問題，如Zhang等建議建立大型綜合的現(xiàn)場數(shù)據(jù)集，該數(shù)據(jù)集由現(xiàn)有數(shù)據(jù)和未來更多研究數(shù)據(jù)一同組成，逐步完善，并通過建立數(shù)據(jù)共享平臺和獎勵機制實現(xiàn)平臺的可持續(xù)運轉(zhuǎn)。

3.2 個人防護設(shè)備(PPE)檢測的不足

工人在施工過程中不佩戴個人防護設(shè)備(PPE)將會增加事故發(fā)生的可能性，因此計算機視覺技術(shù)在檢測PPE方面的研究已得到廣泛的關(guān)注。本文檢索的文獻中已經(jīng)能夠檢測工人不戴安全帽、高能見度背心和安全帶的情況。需要注意的是，為了更好地確保工人的安全，對PPE的識別需要努力提升檢測精度和計算效率，如利用Faster R-CNN目標(biāo)檢測算法。雖然現(xiàn)有研究致力于檢測未佩戴PPE的工人，但尚無研究能夠確定未用或誤用PPE的準確時間，致使對工人的預(yù)警與保護不夠及時。

3. 3 整體場景信息獲取

整體場景信息是指施工現(xiàn)場所有或者大部分組成部分的信息。在安全風(fēng)險管理領(lǐng)域，盡管計算機視覺技術(shù)在目標(biāo)檢測與跟蹤方面取得了顯著的進步，但多數(shù)研究僅針對施工現(xiàn)場的部分個體目標(biāo)進行檢測，而忽略了目標(biāo)所處環(huán)境的空間邏輯關(guān)系，導(dǎo)致計算機視覺技術(shù)的自動化程度不高。相關(guān)研究指出，可以使用高級視覺算法提取視覺語義或者借助本體的高級信息技術(shù)解決該問題。

3. 4 綜合安全監(jiān)控系統(tǒng)設(shè)計

綜合安全監(jiān)控系統(tǒng)是指對施工現(xiàn)場所有潛在的不安全行為或狀態(tài)進行監(jiān)控的系統(tǒng)，其應(yīng)包括數(shù)據(jù)的輸入、處理、結(jié)果輸出以及安全反饋，檢測的現(xiàn)場不安全信息要求具有全面性?，F(xiàn)有研究中僅研究了部分安全事故類型中涉及的目標(biāo)，例如機械碰撞事故中的機械(如挖掘機)和工人，然而施工現(xiàn)場事故類型多樣，目前尚未有較為綜合的安全監(jiān)控系統(tǒng)來解決多種安全事故的監(jiān)控。

相關(guān)研究提出的綜合安全監(jiān)控系統(tǒng)應(yīng)滿足：①面向不同的用戶，即面向不同職能、不同文化水平等情況的人員，如工人與管理人員；②面向不同的項目級別；③快速及時地反饋。邊緣計算可能滿足綜合安全監(jiān)控系統(tǒng)的實時要求，使用先進的5G移動無線網(wǎng)絡(luò)可以靈活地支持各種設(shè)備和服務(wù)，實現(xiàn)綜合安全監(jiān)控系統(tǒng)各部分的集成。

4 結(jié) 論

(1) 根據(jù)檢索的文獻來看，計算機視覺技術(shù)在建筑安全領(lǐng)域的相關(guān)研究自2004年以來呈現(xiàn)增長趨勢，并在近五年呈現(xiàn)暴增趨勢，說明學(xué)術(shù)界對該領(lǐng)域研究愈加關(guān)注；從期刊來源來看，

Automation

in

Construction

期刊在計算機視覺技術(shù)對建筑安全領(lǐng)域研究中的影響最大，

Computer

-

aided

Civil

and

Infrastructure

Engineer

-

ing

期刊具有一定的影響力。

(2) 通過作者共現(xiàn)分析發(fā)現(xiàn)，作者形成了6個研究合作群體，但合作群體分布分散，彼此缺乏合作；在國家層面，美國、中國、加拿大、韓國和澳大利亞等國家學(xué)者在該領(lǐng)域的表現(xiàn)良好，但不同國家與研究機構(gòu)的學(xué)者之間的合作較少。因此，不同國家與研究機構(gòu)之間應(yīng)加強交流與合作，使研究成果更具實踐價值。

(3) 通過關(guān)鍵詞聚類分析，得出當(dāng)前研究大致分為3個主題：設(shè)備的識別與跟蹤、工人不安全行為的識別以及計算機視覺及其發(fā)展。關(guān)鍵詞時間分析表明，建筑領(lǐng)域?qū)ㄖ踩雨P(guān)注，并積極與計算機視覺技術(shù)結(jié)合，深度學(xué)習(xí)技術(shù)在最近的研究中成為熱點。

(4) 在文獻計量分析的基礎(chǔ)上，進一步分析了計算機視覺技術(shù)在建筑安全領(lǐng)域的研究現(xiàn)狀，并確定了未來的研究方向有：克服技術(shù)的挑戰(zhàn)(嘗試將計算機視覺技術(shù)與多種數(shù)字和深度學(xué)習(xí)等技術(shù)相結(jié)合)、增強個人防護設(shè)備檢測的及時性、整體場景信息的獲取以及綜合安全監(jiān)控系統(tǒng)的設(shè)計。