基于雙目視覺的橋式起重機吊鉤定位系統(tǒng)研究

摘" 要： 在工業(yè)生產(chǎn)現(xiàn)場，起重機械被廣泛用于物料搬運，在運行過程中其吊鉤對人員安全和財產(chǎn)會造成潛在的損害。為防止這些事故的發(fā)生，在基于雙目視覺的基礎(chǔ)上，提出一種YOLOv5小目標檢測算法，通過識別物添加和雙目視覺結(jié)合的方法實現(xiàn)了起重機吊鉤的快速、精確定位。同時，在OpenCV和Python環(huán)境下分別對YOLOv5的4種經(jīng)典網(wǎng)絡模型進行訓練和預測，并進行了現(xiàn)場實時數(shù)據(jù)采集、誤差分析與校正。研究結(jié)果表明，YOLOv5s模型的單幀檢測時間為0.15 s，mAP值達到了99.3%，完全滿足現(xiàn)場實時響應和定位精度的要求。

關(guān)鍵詞： 橋式起重機； 起重機吊鉤； 雙目視覺； YOLOv5； 小目標檢測； 目標定位

中圖分類號： TN407?34； TP311" " " " " " " " " "文獻標識碼： A" " " " " " " " " " " 文章編號： 1004?373X（2025）06?0147?07

Research on bridge crane hook positioning system based on binocular vision

GAO Mingke1， CHEN Wei2， DING Yong1

（1. School of Safety Science and Engineering， Nanjing University of Science and Technology， Nanjing 210094， China;

2. Nanjing Vocational University of Industry Technology， Nanjing 210024， China）

Abstract： In industrial production sites， crane machinery is widely used for material handling， and the potential damage to personnel safety and property is caused by its hooks during operation. In order to prevent these accidents， a YOLOv5 small target detection algorithm based on binocular vision is proposed. By combining the addition of objects and binocular vision， the fast and accurate positioning of the crane hook is realized. Four classical network models of YOLOv5 were trained and predicted respectively in OpenCV and Python environments， and on?site real?time data acquisition， error analysis and correction were carried out. The research results show that the single frame detection time of YOLOv5s model is 0.15 s， and the mAP value can reach 99.3%， which fully meets the requirements of real?time response and positioning accuracy on site.

Keywords： bridge crane; crane hook; binocular vision; YOLOv5; small target detection; target location

0" 引" 言

在我國工業(yè)體系不斷發(fā)展完善下，橋式起重機作為工業(yè)生產(chǎn)不可或缺的一種重型機械，在礦產(chǎn)企業(yè)、港口運輸以及冶金等領(lǐng)域都承擔著重要的運輸作用[1?2]。然而，據(jù)相關(guān)數(shù)據(jù)顯示，近年來起重機械事故的頻率急劇上升[3]，這給我國的工業(yè)生產(chǎn)帶來了嚴重的經(jīng)濟損失，甚至導致了人員傷亡[4]。

傳統(tǒng)的起重機械作業(yè)安全管理主要依賴地面監(jiān)理人員的現(xiàn)場觀察和管理，但這種方式存在溝通不及時、過分依賴人員等局限性，因而在確保工作人員安全方面仍有提升空間[5]。隨著信息技術(shù)的快速發(fā)展，圖像識別技術(shù)已廣泛應用于安防監(jiān)控、醫(yī)學圖像識別、人臉識別、智能交通等領(lǐng)域，并能高效處理海量圖像的分類與識別[6]，為起重機械安全管理提供了更多技術(shù)支撐。智能圖像分析在工業(yè)生產(chǎn)中逐步取代了傳統(tǒng)的人員管理[7]。文獻[8]利用CCD攝像機和激光測距儀來實現(xiàn)起重機吊鉤的定位，文獻[9]通過物聯(lián)網(wǎng)技術(shù)對起重機在吊裝過程中吊鉤運動位姿進行了實時監(jiān)測，文獻[10]通過在電機上安裝霍爾傳感器來實現(xiàn)吊鉤的定位，文獻[11]通過機器視覺和YOLOv3算法對塔式起重機的吊鉤定位進行了研究。然而，這些方法在檢測速度和定位精度方面都存在一定的不足。

針對上述問題，本文提出了一種基于雙目視覺的YOLOv5目標檢測算法，通過識別物添加和雙目視覺定位結(jié)合的方式來確定起重機吊鉤的位置。該方法可以通過目標檢測算法自動識別吊鉤，并結(jié)合雙目攝像機確定吊鉤的具體位置，在與人員之間的距離達到閾值時進行報警，實現(xiàn)起重機械自動警戒控制，從而有效降低安全風險[12]。

1" 系統(tǒng)組成及工作原理

本文研究的基于雙目視覺起重機械吊鉤定位安全警戒系統(tǒng)工作原理是：利用圖像識別中的目標檢測算法對采集到的工業(yè)廠房作業(yè)范圍內(nèi)的監(jiān)控視頻進行吊鉤圖像識別，得到吊鉤的三維信息；利用雙目視覺獲取吊鉤的三維坐標，確定吊鉤與作業(yè)人員間的距離閾值；再根據(jù)數(shù)據(jù)分析結(jié)果自動控制起重機械進行減速或剎停的操作，保證作業(yè)區(qū)域內(nèi)人員的安全。警戒系統(tǒng)構(gòu)成圖如圖1所示，具體可分為采集控制系統(tǒng)硬件和智能識別控制軟件兩個部分[13?14]。采集控制系統(tǒng)硬件包含視覺識別攝像機、數(shù)據(jù)傳輸與存儲系統(tǒng)、人機交互器件、運行控制PLC系統(tǒng)、高性能工控機。智能識別控制軟件包括安全警戒區(qū)域管理系統(tǒng)、視覺識別分析技術(shù)、警戒模式管理、視頻與圖像管理系統(tǒng)、報警輸出控制系統(tǒng)[15?16]。

2" 基于YOLOv5算法的吊鉤三維信息提取

2.1" YOLOv5小目標檢測算法

目標檢測是計算機視覺領(lǐng)域內(nèi)的重要任務，而在目標檢測領(lǐng)域中，深度學習模型具有較高的精度、效率等優(yōu)勢，其主要分為一階段目標檢測算法和兩階段目標檢測算法[17?18]。本研究為針對工業(yè)場景中起重機吊鉤運行安全所開發(fā)的警戒系統(tǒng)，因此選擇具有更快推理速度的一階段目標檢測算法YOLOv5網(wǎng)絡模型作為算法框架[19]。YOLOv5是目標檢測中一種先進的深度學習模型，其核心思想是通過單次前向傳播操作，在圖像中同時檢測出多個目標物體的邊界框和類別。YOLOv5總共包含了4種目標檢測網(wǎng)絡模型，這4種模型的網(wǎng)絡結(jié)構(gòu)是一樣的，區(qū)別在于深度和寬度有所不同，模型由小到大可分為YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x。YOLOv5網(wǎng)絡主要由輸入端、Backbone（主干網(wǎng)絡）、Neck（頸部）、Head（輸出層也稱預測層）這4個部分組成。其中：Backbone通過CSP結(jié)構(gòu)劃分特征圖，提高了特征的傳遞效率；Neck利用FPN和PAN的結(jié)構(gòu)增強了特征圖的語義信息和空間信息的融合；Head則負責從融合特征圖中預測對象的位置和分類，并通過卷積和全連接層對預測框進行處理，輸出最終的吊鉤目標檢測結(jié)果[20]。該模型結(jié)構(gòu)設(shè)計符合工業(yè)場景監(jiān)控系統(tǒng)中吊鉤檢測的實時性和準確性要求。基于YOLOv5的吊鉤目標檢測模型結(jié)構(gòu)圖如圖2所示。

2.2" 基于錨框的吊鉤裁剪

確定吊鉤的三維位置需要提取吊鉤的具體輪廓，算法流程如下：首先，YOLOv5將吊鉤圖像通過主干網(wǎng)絡進行特征提取，得到一系列特征圖；對于每個特征圖上的單元格，YOLOv5會定義一組錨點框，并將預測的邊界框坐標信息通過激活函數(shù)進行轉(zhuǎn)換；對于每個單元格和每個錨點框，YOLOv5會根據(jù)預測的邊界框坐標信息生成一個矩形錨框；最后，根據(jù)生成的錨框位置信息對每個錨框進行裁剪，輸出裁剪后吊鉤的錨框區(qū)域。裁剪出的錨框區(qū)域基本只包含吊鉤，有利于后續(xù)的標識物定位[21]。吊鉤錨框裁剪邏輯圖如圖3所示。

2.3" 吊鉤中心檢測與計算

吊鉤在實際場景中是一個會發(fā)生旋轉(zhuǎn)的物體，并且在應用于現(xiàn)場時，攝像頭位于起重機大車主梁的兩側(cè)。在模擬過程中，雙目攝像機是處于相對平行的擺放位置，這可能會導致識別的吊鉤在左右兩側(cè)攝像機拍攝的圖像中存在相對旋轉(zhuǎn)，進而無法得到一個相同位置點（同名點），即無法找到空間中的同一點在2幅圖像中的像素點，所以不能用于三維重建[22]。因此本文引入以小球作為標識物的方法，球體在各個角度拍攝的圖像中都會以圓心呈現(xiàn)出來，故可以以球體的球心作為左右圖像中的同名點。

將截取出來的錨框區(qū)域進行霍夫圓變換圖像處理，即可得到吊鉤上小球球心的坐標[x，y]，從而可以確定左右圖像中的同名點[23]。具體算法步驟如下。

1） 將檢測問題轉(zhuǎn)化為參數(shù)空間的投票過程，參數(shù)空間由圓心的x坐標和y坐標組成；

2） 對于每個圖像點[x，y]，計算它與所有可能圓心的距離，將該距離映射到參數(shù)空間；

3） 在參數(shù)空間中，會出現(xiàn)一個或多個峰值，表示圓心可能的位置；

4） 圓心的位置可以通過尋找在參數(shù)空間中達到峰值的位置來確定；

5） 通過遍歷圖像中的所有點，計算每個點到圓心的距離，并比較半徑，如果距離接近，則認為該點可能屬于圓。

設(shè)相同一點在錨框區(qū)域的坐標為[Axa，ya]，在原始圖像中的坐標為[Bxb，yb]，則由式（1）可進行轉(zhuǎn)換。

3" 吊鉤中心定位

3.1" 雙目視覺目標定位原理

用2臺攝像機同時拍攝得到目標的左右2幅圖像，在2幅圖像中找到同名點，然后根據(jù)它們的位置關(guān)系獲取實際的三維坐標[24]。雙目定位原理圖如圖4所示。圖中：OL和OR分別為左右攝像機光心；B是兩個攝像機光心之間的距離；fu是攝像機的焦距；[u0，v0]為左攝像機光心點坐標。安裝在吊鉤上的小球球心的攝像機坐標為[PXc，Yc，Zc]，其在左右攝像機成像平面的成像點分別是[PLuL，vL]和[PRuR，vR]。

3.2" 坐標系轉(zhuǎn)換

吊鉤三維坐標定位的關(guān)鍵是坐標系的轉(zhuǎn)換，共包括5個坐標系[25]，分別是：世界坐標系OwXwYwZw、相機坐標系OcXcYcZc、圖像物理坐標系Oxuyu、圖像像素坐標系Oouv和裁剪像素坐標系Oxaya。本文將二維圖像上吊鉤小球球心的像素坐標A（xa，ya）轉(zhuǎn)換成基于相機坐標系下吊鉤小球球心的三維坐標[PXc，Yc，Zc]，坐標轉(zhuǎn)換圖如圖5所示。為了便于計算，將世界坐標系和相機坐標系重合，以左攝像機光心建立世界坐標系。

首先將吊鉤在裁剪像素坐標系下的坐標通過式（1）轉(zhuǎn)換至圖像像素坐標系，然后將圖像像素坐標系通過單位轉(zhuǎn)換和坐標原點平移轉(zhuǎn)換至圖像物理坐標系，其轉(zhuǎn)換關(guān)系可表示為：

最后將圖像物理坐標系轉(zhuǎn)換至相機坐標系，獲取三維坐標，其轉(zhuǎn)換關(guān)系可表示為：

結(jié)合式（2）和式（3）可得目標點P由像素坐標系到世界坐標系之間的轉(zhuǎn)換關(guān)系，如下：

基于以上的坐標系轉(zhuǎn)換關(guān)系可以求出點P（Xc，Yc，Zc）基于左攝像頭下的三維世界坐標。

4" 系統(tǒng)實驗及誤差分析與校正

4.1" 數(shù)據(jù)集采集

本文吊鉤數(shù)據(jù)集采集自南京澤楚科技有限公司的實驗基地，包含不同角度下的吊鉤圖像。采集設(shè)備為海康威視DS?IPC?B12HV3?IA，圖像采集流程如下：首先，將攝像頭通過網(wǎng)線連接到計算機，手持攝像頭圍繞吊鉤拍攝獲得不同角度的吊鉤信息；其次，通過?？低暺脚_提供的視頻監(jiān)控計算機客戶端iVMS?4200訪問攝像機的視頻數(shù)據(jù)并保存到本地；最后，對視頻數(shù)據(jù)進行抽幀處理，參數(shù)設(shè)置為每隔30幀抽取一張作為圖像數(shù)據(jù)集樣本。

4.2" YOLOv5模型訓練和最優(yōu)模型選擇

網(wǎng)絡訓練所用計算機主要配置參數(shù)為Intel i7?12650H CPU，GeForce RTX 4060 GPU和16 GB運行內(nèi)存，開發(fā)環(huán)境為Windows 10，CUDA 11.1，OpenCV 3.4，Visual Studio 2015，并使用Python 3.8結(jié)合PyTorch 1.9.0實現(xiàn)。

本文分別對YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x這4種網(wǎng)絡模型進行吊鉤定位訓練和測試，實驗結(jié)果如表1所示。

由表1可知：YOLOv5x檢測精度最高，但是檢測速度較慢；而YOLOv5s檢測精度較低，但其檢測速度約是YOLOv5x的5倍。根據(jù)工業(yè)環(huán)境對安全警戒實時要求和檢測精度要求，對于單一檢測，上述每種算法的檢測精度都完全滿足要求，并且識別的精度差別較小。因此，文中選用檢測速度更快的YOLOv5s模型作為工廠起重機吊鉤識別方法。

4.3" 攝像機標定

相機標定采用的算法是張正友相機標定[26]算法，通過OpenCV庫對相機進行標定。本文使用的棋盤格的角點數(shù)為10×7，每個方格邊長為45 mm。以左側(cè)攝像機采集的一幅標定圖像為例，提取的棋盤格角點后圖像如圖6所示。

標定求得的左、右攝像機內(nèi)參矩陣RL、RR結(jié)果分別為：

對攝像機外參數(shù)進行標定，標定求得的左、右攝像機間的相對旋轉(zhuǎn)矩陣R和平移向量T結(jié)果分別為：

由標定結(jié)果可知，手工測量攝像機中心距為272 mm，與標定的平移矩陣相近，且旋轉(zhuǎn)矩陣接近單位矩陣，與實際相符。

4.4" 目標識別和定位

為確保實驗與工廠環(huán)境的一致性，在模擬的起重機結(jié)構(gòu)上配備了4臺攝像機，如圖7所示。這些攝像機分別位于模擬主梁的左前、右前、左后及右后位置。其中，左前和右前攝像機的主要任務是確定吊鉤相對于世界坐標系的精確位置，而左后和右后攝像機主要用于對吊鉤定位結(jié)果進行校準。攝像機的確切安裝位置見圖8。

在系統(tǒng)工作中，首先YOLOv5模型識別到吊鉤，結(jié)果如圖9a）所示；然后根據(jù)生成的錨框位置信息對每個錨框進行截取，輸出截取后吊鉤的錨框區(qū)域，截取結(jié)果如圖9b）所示；再根據(jù)霍夫圓變換圖像處理得到小球的球心坐標并標注，結(jié)果如圖9c）所示。球心PL像素坐標為（70，155）。由錨框區(qū)域的截取過程和式（1）可知，[（Δx，Δy）=（1 189]，[649]），則可得出小球球心在左原始圖像中的像素坐標為[PL（1 259，804）]。

將世界坐標系的原點設(shè)置在單杠的最前端處，X軸、Y軸、Z軸沿單杠橫梁向前為正。為實現(xiàn)定位，必須在右圖中找到與之匹配的像素點PR，在右圖中同樣取小球的球心，使其成為左右圖像中的同名點，匹配結(jié)果如圖10所示。圖10b）中球心在原始圖像中的像素坐標為[PR882，334]。利用左右圖球心的像素坐標結(jié)合式（4）計算出圖10a）球心的三維坐標，結(jié)果為[P71.474 44，-523.230 59，3 211.589 58]。

4.5" 誤差分析和校正

為驗證整個定位方法的準確性，模擬工業(yè)實際情況，現(xiàn)場實驗將吊鉤沿單杠方向進行水平移動以及在豎直方向進行升降。對左前、右前兩個攝像機進行定位，獲得吊鉤基于世界系下的圖像，如圖11所示。通過左后、右后攝像機同時定位得到吊鉤的坐標，并轉(zhuǎn)換到與左前、右前攝像機相同的坐標系中，對左前、右前攝像機得到的結(jié)果進行校正。表2為雙目視覺定位結(jié)果。表中：第1列為5組實驗的序號；第2列為根據(jù)左前、右前攝像機拍攝到的圖像求得的在左前攝像機坐標系下吊鉤的定位，為坐標[P1X1，Y1，Z1]；第3列為根據(jù)左后、右后攝像機拍攝到的圖像求得的在左前攝像機坐標系下吊鉤的定位，為坐標[P2X2，Y2，Z2]；第4列中的D1為P1點到左前攝像機光心的距離：

由表2可知，D0為吊鉤到攝像機左光心點的距離，利用激光測距儀測的是吊鉤到攝像機鏡面的實際距離，兩者間存在一定偏差。由于攝像機的光心難以準確定位，故可以通過測量棋盤格角點之間的距離來驗證本文定位方法的準確性，其中，棋盤格的一個格子尺寸為45 mm×45 mm。角點分布如圖12所示。求出圖中標注角點之間的三維坐標，可得出各角點到角點A的距離。實驗結(jié)果如表3所示。

由表3數(shù)據(jù)可知，三維重建距離的誤差和誤差率較低，可以把該定位方法引入到實際工業(yè)廠房的吊鉤定位中。

5" 結(jié)" 語

1） 本文在基于雙目視覺的基礎(chǔ)上，將YOLOv5小目標檢測算法應用到起重機吊鉤定位檢測中，系統(tǒng)的檢測時間為0.15 s，檢測精度mAP值為99.3%。該方法能有效實現(xiàn)起重機吊鉤的快速、精確定位。

2） 通過將小球安裝在吊鉤上的方法解決了雙目視覺中左右圖像吊鉤中心點不匹配的問題，并根據(jù)雙目視覺原理公式定位吊鉤的準確位置。

3） 對YOLOv5的4種經(jīng)典網(wǎng)絡模型分別進行訓練和結(jié)果預測，選取了檢測速度更快的YOLOv5s模型作為起重機吊鉤識別算法，并進行了相關(guān)實驗。

通過現(xiàn)場數(shù)據(jù)實時采集、誤差分析與校正，識別到吊鉤到攝像機三維距離與實際激光測距儀測量的距離基本一致，故可以把該定位方法應用到實際工業(yè)廠房的吊鉤定位。

注：本文通訊作者為陳薇。

參考文獻

[1] 李柯鵬.基于電氣控制探討的橋式起重機分析[J].電氣技術(shù)與經(jīng)濟，2024（5）：153?155.

[2] 王亞輝，張慧鵬，黨一奇，等.橋式起重機的特性分析及其優(yōu)化[J].機械設(shè)計與制造，2024（12）：273?279.

[3] 葛新宇，畢俊喜，李海濱，等.基于故障物理的風力機葉片可靠性仿真分析方法[J].太陽能學報，2024，45（3）：29?40.

[4] 王朝發(fā).起重機械事故原因分析及對策探討[J].冶金與材料，2022，14（1）：37?38.

[5] 強光彩.加強建筑起重機械安全管理的若干措施[J].建材世界，2013，34（1）：88?89.

[6] 王顥.深度學習在圖像識別中的研究與應用[J].科技視界，2020（24）：37?38.

[7] 李承熹.基于圖像識別的電力激光作業(yè)場景安全監(jiān)控策略研究[D].宜昌：三峽大學，2021.

[8] NARA S， MIYAMOTO D， TAKAHASHI S. Position measurement of crane hook by vision and laser [C]// 32nd Annual Conference on IEEE Industrial Electronics. Paris， France： IEEE， 2007： 184?189.

[9] 蔣濤.起重機吊鉤偏擺遠程監(jiān)測系統(tǒng)的設(shè)計[D].北京：北京理工大學，2016.

[10] LIU J S， LIU B F， ZHOU Y L， et al. Travelling crane hook position monitoring and controlling device and position monitoring control method [J]. Engineering， 2010（8）： 21.

[11] 秦皓.面向智慧工地的塔式起重機吊鉤3D定位方法研究[D].西安：長安大學，2023.

[12] 張俊科，吳敬兵，吳曉曉.基于YOLOv5的岸邊集裝箱橋式起重機鋼絲繩損傷檢測方法[J].起重運輸機械，2023（16）：30?36.

[13] 周奇才，王愷，熊肖磊，等.橋式起重機分布式控制系統(tǒng)設(shè)計[J].機械設(shè)計與制造，2022（9）：236?239.

[14] 李國杰.智能起重機的關(guān)鍵特征和控制系統(tǒng)總體架構(gòu)[J].機械工程學報，2020，56（24）：254?268.

[15] 顧成偉，丁勇，李登華.基于計算機視覺的工業(yè)廠區(qū)人員安全警戒系統(tǒng)[J].計算機與現(xiàn)代化，2023（9）：20?26.

[16] ELIZABETH B. Safety in machinery design and construction： performance for substantive safety outcomes [J]. Safety science， 2014（66）： 27?35.

[17] 汪宏威.基于卷積神經(jīng)網(wǎng)絡的一階段目標檢測算法研究[D].天津：天津理工大學，2021.

[18] 葉嘉欣.基于深度學習的兩階段目標檢測算法綜述[J].互聯(lián)網(wǎng)周刊，2023（5）：16?18.

[19] ZAIDI S S A， ANSARI M S， ASLAM A， et al. A survey of modern deep learning based object detection models [J]. Computer vision and pattern recognition， 2022， 126： 103514.

[20] 羅會蘭，陳鴻坤.基于深度學習的目標檢測研究綜述[J].電子學報，2020，48（6）：1230?1239.

[21] 盧偉，鄒明萱，施浩楠，等.基于YOLOv5?TL的褐菇采摘視覺識別?測量?定位技術(shù)[J].農(nóng)業(yè)機械學報，2022，53（11）：341?348.

[22] 王德海，洪偉，程群哲.基于雙目立體視覺的目標識別與定位[J].吉林大學學報（信息科學版），2016，34（2）：289?295.

[23] TORII A， IMIYA A. The randomized?Hough?transform?based method for great?circle detection on sphere [J]. Pattern recognition letters， 2007， 28（10）： 1186?1192.

[24] 盧寶莉，劉育梁，孫亮.基于小尺度測量的雙目立體視覺系統(tǒng)誤差分析[J].光子學報，2015，44（10）：36?41.

[25] 張來偉，陳乃建，范振，等.結(jié)合目標識別和定位的輪椅機械臂抓取研究[J].山東工業(yè)技術(shù)，2021（4）：10?16.

[26] ZHANG Z Y. A flexible new technique for camera calibration [J]. IEEE transactions on pattern analysis and machine intelligence， 2000， 22（11）： 1330?1333.

作者簡介：高明科（1999—），男，安徽滁州人，碩士研究生，研究方向為廠區(qū)警戒系統(tǒng)研發(fā)。

陳" 薇（1981—），女，江蘇南京人，工程師，研究方向為建筑工程。

丁" 勇（1977—），男，江蘇南通人，博士研究生，副教授，研究方向為結(jié)構(gòu)健康監(jiān)測。

收稿日期：2024?06?12" " " " " "修回日期：2024?07?17

基金項目：國家重點研發(fā)計劃資助項目（2022YFC3005502）；國家自然科學基金長江水科學研究聯(lián)合基金項目（U2240221）；國家自然科學基金資助項目（51979174）