圖像識(shí)別技術(shù)在油庫(kù)裝車作業(yè)中的應(yīng)用

孟征

[摘? ? 要]多倉(cāng)油罐車的裝油口都集中在一起，在將鶴管對(duì)接到裝油口上時(shí)，一旦疏忽接錯(cuò)了裝油口，不但會(huì)造成配送數(shù)量錯(cuò)誤，也極易發(fā)生混油、冒頂?shù)仁鹿?，甚至引發(fā)火災(zāi)、爆炸。為了防范上述風(fēng)險(xiǎn)，利用視頻圖像識(shí)別技術(shù)，通過(guò)對(duì)車輛裝車作業(yè)的視頻圖像進(jìn)行深度學(xué)習(xí)，自動(dòng)識(shí)別鶴管與裝油口的實(shí)際對(duì)接情況，并在此基礎(chǔ)上進(jìn)行裝車倉(cāng)位的核對(duì)驗(yàn)證，避免裝錯(cuò)倉(cāng)位或接錯(cuò)鶴管，從而保障裝車安全。

[關(guān)鍵詞]油罐車;裝油口;圖像識(shí)別;倉(cāng)位驗(yàn)證

[中圖分類號(hào)]TP391.41;G647 [文獻(xiàn)標(biāo)志碼]A [文章編號(hào)]2095–6487（2022）02–0–03

Application of Image Recognition Technology in Loading Operation of Oil Depot

Meng Zheng

[Abstract]The oil loading ports of multi bin oil tanker are concentrated together. When the operator connects the crane pipe to the oil loading port， once the oil loading port is inadvertently connected， it will not only cause the wrong distribution quantity， but also easily lead to oil mixing， roof falling and other accidents， and even fire and explosion. In order to prevent the above risks， the video image recognition technology is used to automatically identify the actual connection between the crane tube and the oil loading port through in-depth learning of the video image of vehicle loading operation， and on this basis， the loading bin is checked and verified to avoid loading the wrong bin or connecting the wrong crane tube， so as to ensure the loading safety.

[Keywords]oil tank truck; oil loading port; image recognition; bin verification

1 現(xiàn)狀

在油庫(kù)的公路裝車作業(yè)中，現(xiàn)在都是采用底部罐裝方式，這種方式安全環(huán)保，且能實(shí)現(xiàn)多倉(cāng)同時(shí)裝車。但是，由于多倉(cāng)油罐車的裝油口都集中在一起，在將鶴管對(duì)接到裝油口上時(shí)，一旦疏忽接錯(cuò)了裝油口，不但會(huì)造成配送數(shù)量錯(cuò)誤，也極易發(fā)生混油、冒頂?shù)仁鹿?，甚至引發(fā)火災(zāi)、爆炸。用戶迫切需要能自動(dòng)判斷鶴管與裝油口對(duì)接的正確性，以防范上述風(fēng)險(xiǎn)。

市場(chǎng)上的現(xiàn)有產(chǎn)品，是采用傳感器之間的信號(hào)比對(duì)方式。這種方式需要在裝油口和鶴管上安裝電子傳感設(shè)備，當(dāng)兩者接近時(shí)傳感器之間產(chǎn)生感應(yīng)信號(hào)，信號(hào)通過(guò)無(wú)線方式傳輸?shù)桨l(fā)油控制系統(tǒng)，從而判斷正確性。這種方式要求司機(jī)操作時(shí)需要將鶴管上的傳感器對(duì)準(zhǔn)裝油口上的傳感器，否則就會(huì)出現(xiàn)感應(yīng)不到、感應(yīng)錯(cuò)位等現(xiàn)象。此種方式的缺陷是：依賴于對(duì)接時(shí)傳感器之間的距離，可靠性不易保證;提高了裝油作業(yè)的操作難度;需改造車輛，實(shí)施工作量大;車輛上的傳感器易遺失損壞;傳感器電池需要定期更換，維護(hù)繁瑣。

2 解決思路

采用視頻圖像識(shí)別技術(shù)，通過(guò)對(duì)車輛裝車作業(yè)的視頻圖像進(jìn)行深度學(xué)習(xí)，最終使得機(jī)器可以對(duì)鶴管與裝油口的實(shí)際對(duì)接情況進(jìn)行自動(dòng)識(shí)別，在此基礎(chǔ)上就可以進(jìn)行業(yè)務(wù)信息的核對(duì)驗(yàn)證，判斷對(duì)接的正確性，對(duì)于錯(cuò)誤的對(duì)接情況進(jìn)行報(bào)警，禁止裝車，保障裝車安全。

這種方法只需要在發(fā)油島上的合適位置安裝攝像機(jī)，無(wú)需在車輛和鶴管上加裝設(shè)備，對(duì)原有裝車作業(yè)流程沒(méi)有任何影響，平時(shí)只要注意保持鏡頭表面干凈就行，系統(tǒng)實(shí)施和維護(hù)較簡(jiǎn)單。

3 具體方法

建立訓(xùn)練系統(tǒng)、識(shí)別系統(tǒng)、分析系統(tǒng)，采用機(jī)器學(xué)習(xí)技術(shù)實(shí)現(xiàn)裝油口和鶴管的智能識(shí)別，與發(fā)油系統(tǒng)進(jìn)行數(shù)據(jù)交互，最終實(shí)現(xiàn)驗(yàn)證結(jié)果對(duì)發(fā)油啟動(dòng)的連鎖控制。

整個(gè)系統(tǒng)的工作過(guò)程為：從視頻系統(tǒng)中獲取大量現(xiàn)場(chǎng)的油罐車裝油口、鶴管、編號(hào)等視頻圖像，對(duì)圖像進(jìn)行篩選、增廣后形成訓(xùn)練樣本庫(kù)和驗(yàn)證樣本庫(kù);然后對(duì)訓(xùn)練樣本進(jìn)行標(biāo)記，利用樣本庫(kù)對(duì)網(wǎng)絡(luò)識(shí)別模型進(jìn)行訓(xùn)練，最終形成可用的網(wǎng)絡(luò)識(shí)別模型。

當(dāng)需要進(jìn)行識(shí)別時(shí)，分析系統(tǒng)從發(fā)油控制系統(tǒng)獲取裝車啟動(dòng)信號(hào)，根據(jù)配置信息生成對(duì)應(yīng)裝車位的識(shí)別命令發(fā)送給識(shí)別系統(tǒng)。識(shí)別系統(tǒng)一旦接收到識(shí)別命令，立刻截取指定裝車位的視頻圖像，然后利用網(wǎng)絡(luò)識(shí)別模型對(duì)圖像進(jìn)行識(shí)別，最后將識(shí)別結(jié)果返回給分析系統(tǒng)。分析系統(tǒng)將識(shí)別結(jié)果與裝車單據(jù)信息進(jìn)行比對(duì)驗(yàn)證，得出是否可以裝車的結(jié)論，并將此結(jié)論發(fā)送給發(fā)油控制系統(tǒng)，發(fā)油控制系統(tǒng)據(jù)此啟動(dòng)裝車泵開(kāi)始裝車，或拒絕裝車并報(bào)警。系統(tǒng)數(shù)據(jù)流如圖1所示。

3.1 建立訓(xùn)練和驗(yàn)證的樣本庫(kù)

樣本的生成流程如圖2所示。

（1）原始圖像的獲?。簩?duì)監(jiān)控錄像視頻按指定幀數(shù)截取視頻圖像并保存。設(shè)置指定幀數(shù)為16，讀取目標(biāo)視頻文件，讀取視頻幀數(shù)，將幀數(shù)變量與指定幀數(shù)相除判斷是否達(dá)到指定幀倍數(shù)，若達(dá)到則保存一張此時(shí)幀的圖片，循環(huán)進(jìn)行直到將視頻讀取完畢。

（2）數(shù)據(jù)增廣：①剔除無(wú)效圖片，將數(shù)據(jù)清洗過(guò)的文件按數(shù)字編號(hào)“1，2，3…”重新命名;②進(jìn)行一次增廣，采用水平翻轉(zhuǎn)與鏡像翻轉(zhuǎn)擴(kuò)充數(shù)據(jù);③在一次增廣的基礎(chǔ)上進(jìn)行二次增廣，采用均值擾動(dòng)、卷積、銳化、特定方向上邊緣檢測(cè)、添加高斯噪聲、高斯擾動(dòng)、改變對(duì)比度、放射變換、按像素加等方法再次擴(kuò)充數(shù)據(jù)。

（3）數(shù)據(jù)標(biāo)記：使用labelImg對(duì)接口及鶴管進(jìn)行標(biāo)記。檢測(cè)目標(biāo)分類如下：鶴管（0、1、2）、裝油接口（oil port）、油氣回收口（recovery port）。

（4）數(shù)據(jù)集劃分：訓(xùn)練集、驗(yàn)證集按照0.91∶1的比例進(jìn)行劃分，然后轉(zhuǎn)化標(biāo)注數(shù)據(jù)文件為yolo格式。

（5）訓(xùn)練參數(shù)修改：對(duì)數(shù)據(jù)集使用K-means方法更新anchors，然后轉(zhuǎn)換yolo權(quán)重文件為適合keras庫(kù)的模型文件。修改batchsize的大小，避免顯存不足報(bào)錯(cuò)，直至程序能順利運(yùn)行。

算法訓(xùn)練的總樣本量為38 551張圖像，涵蓋裝油口保護(hù)罩、裝油口、油氣回收接口及編號(hào)為0、1、2的鶴管，保證了樣本的多樣化，樣本數(shù)量、種類均覆蓋充足。

3.2 建立基礎(chǔ)算法

由于在司機(jī)按下啟動(dòng)按鈕后需要系統(tǒng)很快反饋?zhàn)R別結(jié)果，通常不超過(guò)1 s，另外，還經(jīng)常會(huì)出現(xiàn)多個(gè)裝車位同時(shí)啟動(dòng)裝車的情況，這意味著系統(tǒng)需要具備同時(shí)對(duì)多個(gè)圖像進(jìn)行識(shí)別處理的能力，而且系統(tǒng)在對(duì)圖像進(jìn)行識(shí)別時(shí)，不僅需要同時(shí)檢測(cè)出圖像中有哪些類型的物體，如裝油口、鶴管等，還要識(shí)別出它們?cè)趫D像中的具體位置。因此，系統(tǒng)采用的圖像識(shí)別算法必須在保證準(zhǔn)確率的情況下速度也要快，經(jīng)過(guò)比較分析，選擇了YOLOv3算法。YOLO以速度見(jiàn)長(zhǎng)，處理速度可以達(dá)到45 f/s，這得益于其識(shí)別和定位合二為一的網(wǎng)絡(luò)設(shè)計(jì)，而且這種統(tǒng)一的設(shè)計(jì)也使得訓(xùn)練和預(yù)測(cè)可以端到端的進(jìn)行，即可以將檢測(cè)樣本整體輸入，經(jīng)中間層的特征提取，就可以在輸出層回歸出所有類型物體的預(yù)測(cè)框的坐標(biāo)信息與類別信息。YOLOv3相比于前代的算法，既平衡了檢測(cè)速度與準(zhǔn)確率，又增大了神經(jīng)網(wǎng)絡(luò)的層數(shù)，從而更深地提取對(duì)象特征，讓準(zhǔn)確率更進(jìn)一步得到提升。

具體識(shí)別將神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元接收到的輸入作為輸入信號(hào)，經(jīng)過(guò)激活函數(shù)的激活值作為輸出信號(hào)，同時(shí)設(shè)置一個(gè)恒定虛警率，滿足輸入數(shù)據(jù)和輸出結(jié)果分布不均勻時(shí)，可以自適應(yīng)地調(diào)整閾值，提升分類效果。其中，當(dāng)relu函數(shù)定義為y=f（x）、輸入為X=[X1，X2，X3，…，Xm]、權(quán)重為ω=[ω1，ω2，ω3，…，ωm]時(shí)，輸出值為：

Y=f（ωTX+b）

式中，f（*）表示激活函數(shù);ωT表示權(quán)重ω的共軛轉(zhuǎn)置;X表示輸入數(shù)據(jù);b表示修正項(xiàng)。因此，節(jié)點(diǎn)的激活值為：

Rn=M·f（ωTX+b）

式中，M表示二值掩模矩陣，且服從伯努利分布取值，并根據(jù)激活值進(jìn)行設(shè)定。具體的，根據(jù)設(shè)定的閾值，當(dāng)節(jié)點(diǎn)的激活值大于閾值時(shí)，M二值掩模矩陣中的元素取值為1，小于閾值時(shí)取值為0。根據(jù)節(jié)點(diǎn)激活值構(gòu)成的集合，從中選取一個(gè)數(shù)值作為興趣程度判定的閾值，通過(guò)判斷將低于閾值的節(jié)點(diǎn)刪除，從而實(shí)現(xiàn)優(yōu)化。其中，刪除的節(jié)點(diǎn)集合為所有節(jié)點(diǎn)集合減去保留節(jié)點(diǎn)的集合，即：

R-=R-[（1-γ）Rh+γR1]S

式中，R-表示刪除的節(jié)點(diǎn);R表示所有的節(jié)點(diǎn);γ表示保留比例;Rh表示高于閾值的節(jié)點(diǎn);R1表示低于閾值的節(jié)點(diǎn);S表示保留節(jié)點(diǎn)的比率。

在樣本數(shù)據(jù)不足的情況下，為提高卷積神經(jīng)網(wǎng)絡(luò)提取特征的表達(dá)性能，在保留特征的原始數(shù)據(jù)不破壞情況下，對(duì)特征尺度轉(zhuǎn)換遷移融合，從而進(jìn)行特征重用。

為解決樣本圖像單一問(wèn)題，在針對(duì)網(wǎng)絡(luò)攝像頭視頻流的處理上，結(jié)合樣本分類擴(kuò)充圖像，同時(shí)分析樣本的不平衡度。具體的，擴(kuò)充過(guò)程中，在變換圖像大小，旋轉(zhuǎn)角度時(shí)，對(duì)應(yīng)的旋轉(zhuǎn)角度、縮放比例系數(shù)和對(duì)比系數(shù)分別在區(qū)間（0°，90°]、[0.5，1.5]和[0.2，1.8]隨機(jī)生成。

3.3 算法改進(jìn)

由于油罐車?？课恢眉皵z像機(jī)角度等客觀因素，檢測(cè)目標(biāo)常常相近并互相遮擋，而YOLOv3網(wǎng)絡(luò)的細(xì)節(jié)區(qū)分度較差，會(huì)導(dǎo)致漏檢、誤檢等錯(cuò)誤，因此需要針對(duì)這些情況對(duì)算法進(jìn)行改進(jìn)。主要采用以下方法：

（1）增加多尺度預(yù)測(cè)，提供尺寸不一的邊界框，參考YOLOv2將多尺度放到訓(xùn)練數(shù)據(jù)采樣上所采用的feature map，設(shè)置邊界框。

（2）分析YOLOv3在不同激活函數(shù)上的訓(xùn)練時(shí)間以及分類錯(cuò)誤率，結(jié)合其他網(wǎng)絡(luò)的相應(yīng)表現(xiàn)，選擇使用relu函數(shù)作為激活函數(shù)。

（3）dropout優(yōu)化，改善在模型參數(shù)過(guò)多、訓(xùn)練樣本過(guò)少的情況下導(dǎo)致的訓(xùn)練模型過(guò)擬合現(xiàn)象，通過(guò)忽略一半特征檢測(cè)器，降低過(guò)擬合及錯(cuò)誤率，提高分類的精度。

（4）增加正則化約束，提升網(wǎng)絡(luò)性能。

（5）特征尺度轉(zhuǎn)換遷移融合，在保留特征的原始數(shù)據(jù)不破壞情況下變換特征圖的尺度大小。通過(guò)在主干網(wǎng)絡(luò)中將特征圖縮小遷移融合，進(jìn)行特征重用，以提高卷積神經(jīng)網(wǎng)絡(luò)提取特征的表達(dá)性能。

（6）為解決樣本圖像單一問(wèn)題，在針對(duì)網(wǎng)絡(luò)攝像頭視頻流的處理上，結(jié)合樣本分類擴(kuò)充圖像，同時(shí)分析樣本的不平衡度。

（7）針對(duì)YOLOv3模型IOU值不理想問(wèn)題，對(duì)anchor值進(jìn)行聚類優(yōu)化。①利用DBSCAN聚類算法在忽略中心點(diǎn)的情況下獲得若干數(shù)量的類;②為了獲得檢測(cè)目標(biāo)的局部和整體信息，通過(guò)增加多尺度進(jìn)行聚類，進(jìn)一步為對(duì)檢測(cè)目標(biāo)的輪廓信息進(jìn)行多尺度聚類;③經(jīng)過(guò)多尺度聚類和卷積操作，可以獲得初代特征圖;④將這些類作為輸入數(shù)據(jù)，通過(guò)K-means算法進(jìn)行劃分聚類，這樣便可以獲得準(zhǔn)確的中心點(diǎn)位置。DBSCAN聚類算法，可以在忽略中心點(diǎn)的情況下，得到首次較好聚類效果，通過(guò)結(jié)合K-means算法可以有效加速數(shù)據(jù)集收斂，提升小目標(biāo)分類精確度。

3.4 優(yōu)化識(shí)別過(guò)程

將訓(xùn)練成功后生成的參數(shù)文件從訓(xùn)練服務(wù)器復(fù)制到識(shí)別服務(wù)器中，同時(shí)更新anchors，完成網(wǎng)絡(luò)模型（圖結(jié)構(gòu)、張量、值）的遷移。識(shí)別時(shí)自動(dòng)將需要識(shí)別的實(shí)際圖像導(dǎo)入網(wǎng)絡(luò)模型中，網(wǎng)絡(luò)會(huì)預(yù)測(cè)出一系列的候選對(duì)象，再用NMS（非極大值抑制算法，閾值為0.5）來(lái)移除一些多余的候選對(duì)象，防止出現(xiàn)一個(gè)目標(biāo)被多次檢測(cè)的問(wèn)題。剩余的候選對(duì)象就是識(shí)別結(jié)果，將它們的類別和坐標(biāo)在圖像中標(biāo)出后輸出，即完成識(shí)別優(yōu)化過(guò)程。

3.5 系統(tǒng)集成

在發(fā)油系統(tǒng)、識(shí)別系統(tǒng)和分析系統(tǒng)之間建議采用網(wǎng)絡(luò)UDP傳輸協(xié)議實(shí)現(xiàn)系統(tǒng)間的數(shù)據(jù)交換，保證數(shù)據(jù)交換的實(shí)時(shí)性。

為保證系統(tǒng)的持續(xù)運(yùn)行，三個(gè)系統(tǒng)之間定時(shí)發(fā)送心跳信息，當(dāng)超過(guò)一定時(shí)間沒(méi)有收到心跳信息時(shí)表明對(duì)方系統(tǒng)出現(xiàn)異常，立刻進(jìn)行報(bào)警提示，方便及時(shí)進(jìn)行維護(hù)。

為便于事后查詢數(shù)據(jù)和問(wèn)題追溯，系統(tǒng)應(yīng)記錄識(shí)別過(guò)程中的每個(gè)步驟產(chǎn)生的數(shù)據(jù)信息，通過(guò)分析這些數(shù)據(jù)，也有利于系統(tǒng)的不斷優(yōu)化。

攝像頭必須是網(wǎng)絡(luò)攝像頭，其數(shù)量可以根據(jù)油庫(kù)具體情況進(jìn)行配置。

4 結(jié)論

在油庫(kù)現(xiàn)場(chǎng)按照上述方法對(duì)實(shí)際裝車情況進(jìn)行了驗(yàn)證。系統(tǒng)能夠在1 s內(nèi)反饋單個(gè)攝像頭的識(shí)別結(jié)果，對(duì)于被遮擋部分小于1/5的裝油口，識(shí)別率可達(dá)到95%，在攝像機(jī)擺放位置良好，圖像清晰無(wú)遮擋時(shí)的識(shí)別率可達(dá)100%，實(shí)用效果良好。

通過(guò)圖像識(shí)別的方式實(shí)現(xiàn)了油庫(kù)裝車過(guò)程中的裝油口對(duì)接正確性驗(yàn)證，防止了油罐車的混油和冒頂，消除了由此引發(fā)的火災(zāi)、爆炸等危險(xiǎn)事故隱患，是一個(gè)值得推廣的方法。

由于各個(gè)油庫(kù)的環(huán)境有差異，油罐車裝油口的形式也存在不一致的情況，因此，還需要針對(duì)這些特殊情況進(jìn)一步訓(xùn)練網(wǎng)絡(luò)識(shí)別模型，進(jìn)一步提高識(shí)別率，達(dá)到更好的實(shí)用效果。

參考文獻(xiàn)

[1] 張琦，張榮梅，陳彬.基于深度學(xué)習(xí)的圖像識(shí)別技術(shù)研究綜述[J].河北省科學(xué)院學(xué)報(bào)，2019，36（3）：9.

[2] 鞠默然，羅海波，王仲博，等.改進(jìn)的YOLO V3算法及其在小目標(biāo)檢測(cè)中的應(yīng)用[J].光學(xué)學(xué)報(bào)，2019，39（7）：245-252.

[3] 酈濤.基于人工智能的圖像識(shí)別技術(shù)的研究[J].通訊世界，2019（8）：69-70.