港口場(chǎng)景集裝箱鎖孔目標(biāo)智能檢測(cè)研究

摘 要：為解決集裝箱圖像受到外界光線環(huán)境的影響造成信息對(duì)比度低、暗部細(xì)節(jié)信息不明顯和圖像信息難以辨認(rèn)清等問題，提出一種新的圖像增強(qiáng)算法，其重點(diǎn)是利用非線性變換，提高圖像的暗部細(xì)節(jié)，將原本的RGB模型轉(zhuǎn)化到HSV模型進(jìn)行均衡化。利用實(shí)際工程中港口所提供的測(cè)試數(shù)據(jù)集，使用已訓(xùn)練好的模型進(jìn)行廣泛的實(shí)驗(yàn)。實(shí)驗(yàn)還探究了圖像增強(qiáng)算法對(duì)卷積神經(jīng)網(wǎng)絡(luò)性能的影響，利用對(duì)比度受限的自適應(yīng)直方圖均衡化、伽馬校正、拉普拉斯變換以及原始圖像與該算法進(jìn)行對(duì)比，使用10折交叉驗(yàn)證了該算法的精確率、召回率均大于其他的算法。采用配對(duì)T檢驗(yàn)，比較分析采用各算法間的各項(xiàng)指標(biāo)差異，結(jié)果表明：該算法相比其他算法的效果要好。

關(guān)鍵詞：圖像增強(qiáng)算法；卷積神經(jīng)網(wǎng)絡(luò)；目標(biāo)檢測(cè)；直方圖均衡化

中圖分類號(hào)：TP391.4" 文獻(xiàn)標(biāo)志碼：A" 文章編號(hào)：1671-5276（2024）05-0234-05

Research on Target Intelligent Detection of Port Container Keyhole

Abstract：In order to solve the problems of low contrast of information， obscure details and difficulty in identifying image information caused by external light environment in container images， proposes a new image enhancement algorithm， which focuses on improving the dark part details of the image by using nonlinear transformation and converting the original RGB model to the HSV model for equalization. Using the test data set provided by the port in the actual project， a wide range of experiments are carried out with the trained model. The experiment explores the effect of image enhancement algorithm on the performance of convolutional neural network. The contrast limited adaptive histogram equalization， gamma correction， Laplace transform and original image are compared with the proposed algorithm， and the 10-fold cross is used to verify the accuracy rate and recall rate of the proposed algorithm， which are greater than other algorithms. The paired T test is used to compare and analyze the differences of each index among the algorithms. And the results show that the proposed algorithm has better effect than other algorithms.

Keywords：image enhancement algorithm；convolutional neural network；target detection；histogram equalization

0 引言

近些年，智能化集裝箱港口逐漸成為全球港口的重點(diǎn)建設(shè)項(xiàng)目。港口大型工程機(jī)械設(shè)備也開始朝著自動(dòng)化和智能化方向發(fā)展。集裝箱鎖孔識(shí)別是在集裝箱進(jìn)閘時(shí)的識(shí)別，可以實(shí)現(xiàn)不停車通閘，節(jié)省時(shí)間。鎖孔識(shí)別主要是為了判斷單雙箱，因?yàn)榕袛鄦坞p箱是校驗(yàn)貨車集裝箱進(jìn)場(chǎng)邏輯的一個(gè)基礎(chǔ)，也是集裝箱后續(xù)的箱號(hào)識(shí)別、殘損識(shí)別、危標(biāo)識(shí)別算法的一個(gè)基礎(chǔ)。只要能識(shí)別鎖孔，就能判斷單雙箱，再使用箱號(hào)、殘損、危標(biāo)識(shí)別算法來(lái)實(shí)現(xiàn)這個(gè)集裝箱進(jìn)場(chǎng)的識(shí)別。判斷單雙箱不用箱體識(shí)別，是因?yàn)榧b箱數(shù)據(jù)集是采用拼接圖，而使用箱體識(shí)別來(lái)判斷單雙箱不一定穩(wěn)定，因?yàn)闀?huì)受集裝箱有殘損和拼接效果等的影響。相比而言，鎖孔識(shí)別會(huì)穩(wěn)定很多。但是有些貨箱由于長(zhǎng)久使用和被雨水腐蝕的鎖孔部分生銹腐蝕，不是很好辨認(rèn)，并且由于光線的影響所拍攝出來(lái)的識(shí)別圖片在某些地方比較暗，如圖1所示的集裝箱的左下角部分由于光線暗，可能會(huì)造成識(shí)別的性能不佳。

一般在深度學(xué)習(xí)的數(shù)據(jù)集中，圖像數(shù)據(jù)集經(jīng)常會(huì)由于拍攝設(shè)備、光線照射環(huán)境因素或者拍攝時(shí)干擾等影響，造成圖片質(zhì)量低和圖像的對(duì)比度或者圖片特征不足。而圖像數(shù)據(jù)集的質(zhì)量對(duì)模型性能有很大的影響。研究表明［1-2］，在訓(xùn)練CNN模型時(shí)，圖像處理是必不可少的，它可以有效地提高CNN模型的識(shí)別性能。圖像增強(qiáng)是圖像處理中非常重要的一部分。因此研究圖像增強(qiáng)與CNN模型之間的關(guān)系具有重要意義。圖像增強(qiáng)算法是可以將圖像的整體或局部特征加強(qiáng)、放大有用特征或者抑制無(wú)用特征和加強(qiáng)圖像中物體的一些不明顯特征［3］。但是在模型的訓(xùn)練之后使用圖像增強(qiáng)算法的很少。提高圖像質(zhì)量，豐富信息，增強(qiáng)圖像解釋是為了更適合人類視覺系統(tǒng)和體驗(yàn)，但是機(jī)器視覺終究是與人類視覺有很大區(qū)別的。

在本文中，提出了一種新的圖像增強(qiáng)算法，目的是為了提高目標(biāo)檢測(cè)中卷積神經(jīng)網(wǎng)絡(luò)的性能，改善原始圖片中由于環(huán)境原因造成過暗的狀況，并能增強(qiáng)有用部分的特征。該方法增強(qiáng)了數(shù)據(jù)集圖像，方便了目標(biāo)的檢測(cè)。與其他方法相比，本文的方法具有更好的效果。

1 港口集裝箱光照不均勻圖像增強(qiáng)方法

用I來(lái)表示M×N尺寸大小的灰度圖像且像素強(qiáng)度為{0，…，L-1}。首先需要對(duì)圖像進(jìn)行非線性校正，非線性校正需要將原始圖像的RGB顏色模型轉(zhuǎn)化為HSV顏色模型，而且只對(duì)HSV中的V通道進(jìn)行校正，為的就是防止破壞圖像原有的顏色空間。表示為

式中：Iv，I′v分別為圖像的輸入和輸出的灰度值；α、β為校正常數(shù)。

將非線性化的圖像劃分為m個(gè)16×16固定子塊，且每個(gè)子塊之間是互不影響相互連續(xù)的，將每個(gè)子塊的像素個(gè)數(shù)平均分到每個(gè)灰度級(jí)的平均值Nmean：

式中：Nn為子區(qū)域的灰度級(jí)的數(shù)量個(gè)數(shù)；Nx為子區(qū)域x軸方向的像素個(gè)數(shù)；Ny為子區(qū)域y軸方向的像素個(gè)數(shù)。

為了限制噪聲放大和局部對(duì)比度過大，就需要對(duì)各個(gè)子區(qū)域直方圖的高度進(jìn)行限制，再形成輸入圖像的一維直方圖，用所需的強(qiáng)度值替換單個(gè)像素的強(qiáng)度。然后根據(jù)相應(yīng)的概率分布計(jì)算出所需的強(qiáng)度值。每個(gè)子區(qū)域內(nèi)的一維直方圖均衡化技術(shù)使用如下定義的離散變化來(lái)生成輸出像素強(qiáng)度。

式中：St表示輸出圖像中的均衡化灰度級(jí)；rt表示輸入圖像中像素的灰度級(jí)；T（·）表示轉(zhuǎn)換運(yùn)算符；p（rk）表示子區(qū)域內(nèi)灰度級(jí)rk出現(xiàn)的概率。

式中N（rk） 表示rk 在圖像中出現(xiàn)的次數(shù)。

最后把每個(gè)子區(qū)域的中點(diǎn)作為參考來(lái)估算其灰度值，對(duì)圖像中的像素使用雙線性插值的方法來(lái)進(jìn)行灰度插值。

2 實(shí)驗(yàn)方案的設(shè)計(jì)

2.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)來(lái)源于港口貨車目標(biāo)檢測(cè)圖像數(shù)據(jù)?？紤]到攝像頭抓拍的貨車左右側(cè)視角會(huì)有區(qū)別，故實(shí)驗(yàn)的數(shù)據(jù)集中有2 000個(gè)樣本，包括1 000張左視角和1 000張右視角樣本。

所選的圖像格式都是JPG。DZIUGAITE等［4］的研究表明，神經(jīng)網(wǎng)絡(luò)圖像分類器易受到對(duì)抗性圖像的影響，JPG圖像進(jìn)行壓縮操作通常會(huì)在很大程度上降低CNN分類器的精度。為了避免圖像增強(qiáng)過程中對(duì)原始圖像的二次壓縮操作，必須在JPG圖像進(jìn)行圖像增強(qiáng)之前轉(zhuǎn)換格式，故需要將原始數(shù)據(jù)格式JPG轉(zhuǎn)化為PNG。

2.2 實(shí)驗(yàn)方案設(shè)計(jì)

選取對(duì)比度受限自適應(yīng)直方圖均衡化、伽馬校正、拉普拉斯變換處理圖像以及原始數(shù)據(jù)集作為對(duì)比組。

實(shí)驗(yàn)方案如圖2所示。在數(shù)據(jù)集中，原始數(shù)據(jù)集稱為A1，JPG圖像首先轉(zhuǎn)化為PNG圖像，數(shù)據(jù)集稱為A2。A2中所有圖像都要從RGB通道轉(zhuǎn)換為HSV通道，然后再轉(zhuǎn)換回RGB通道。該數(shù)據(jù)集稱為A3， A3作為實(shí)驗(yàn)空白對(duì)照組。將A2從RGB通道轉(zhuǎn)換為HSV通道，分別通過對(duì)比度受限自適應(yīng)直方圖均衡化方法和伽馬校正增強(qiáng)V通道，并將增強(qiáng)后HSV通道轉(zhuǎn)化為RGB通道，此時(shí)數(shù)據(jù)集分別稱為A4和A5。通過拉普拉斯操作對(duì)A2中的圖像進(jìn)行增強(qiáng)，數(shù)據(jù)集稱為A6。經(jīng)過本文算法處理的數(shù)據(jù)集稱為A7。 實(shí)驗(yàn)將在卷積神經(jīng)網(wǎng)絡(luò)（CNN）中比較A3、A4、A5、A6、A7的性能。

本次實(shí)驗(yàn)采用的是YOLOv5網(wǎng)絡(luò)。該模型是由Ultralytics LLC公司對(duì)YOLOv4的改進(jìn)版本，是目前目標(biāo)檢測(cè)優(yōu)秀的檢測(cè)網(wǎng)絡(luò)［5］。

2.3 模型評(píng)價(jià)

在本次實(shí)驗(yàn)中，如何比較相同CNN模型在不同數(shù)據(jù)集中的性能是關(guān)鍵。但實(shí)際上，比較模型性能是非常復(fù)雜的，它一般涉及3個(gè)因素。第一，需要比較CNN模型的泛化性能。而一個(gè)測(cè)試或一個(gè)實(shí)驗(yàn)只能獲得測(cè)試集中的性能。測(cè)試集的性能不同于泛化性能。第二，測(cè)試集的性能會(huì)受到測(cè)試集的選擇、測(cè)試集的數(shù)量和測(cè)試集中樣本的影響。第三，CNN模型并不總是穩(wěn)定的，即使用相同的參數(shù)對(duì)同一測(cè)試集進(jìn)行多次測(cè)試，結(jié)果會(huì)有所不同。因此，選擇好的評(píng)價(jià)方法、績(jī)效測(cè)量方法和假設(shè)檢驗(yàn)方法是非常重要的。

1）評(píng)估方法

機(jī)器學(xué)習(xí)中有很多評(píng)估方法，比如：留出法、K折交叉驗(yàn)證和自舉檢驗(yàn)等。留出法是最基本的方法，它是將數(shù)據(jù)集劃分為兩個(gè)互斥集，其中一個(gè)集為訓(xùn)練集，另一個(gè)集為測(cè)試集。由于該方法有較大的偶然性，不同的方法會(huì)產(chǎn)生不同的結(jié)果，所以該方法是不穩(wěn)定的。K折交叉驗(yàn)證通常是與留一法一起使用，將數(shù)據(jù)集分成K個(gè)部分，然后進(jìn)行K次檢驗(yàn)；每個(gè)子集都用作測(cè)試集，這確保所有數(shù)據(jù)都將被測(cè)試一次。而自舉法是將一個(gè)數(shù)據(jù)從原始數(shù)據(jù)集隨機(jī)抽取到測(cè)試集，重復(fù)m次得到測(cè)試集，將原始數(shù)據(jù)集作為訓(xùn)練集。當(dāng)m無(wú)窮大時(shí)，原始數(shù)據(jù)集中約有36.8%的數(shù)據(jù)不會(huì)出現(xiàn)在測(cè)試集中［6］。有論文表明同時(shí)使用K折交叉驗(yàn)證和留一法在分類算法中具有良好的性能［7］。所以本文就采用K折交叉驗(yàn)證和留一法，其中K=10。

2）性能指標(biāo)

在目標(biāo)檢測(cè)領(lǐng)域中，存在著很多精度評(píng)價(jià)指標(biāo)。本次實(shí)驗(yàn)所用的評(píng)價(jià)指標(biāo)是精確率（Precision）、召回率（Recall）、F1-Score和平均精度（AP）。精確率是整個(gè)測(cè)試集上，被分類器識(shí)別出來(lái)的結(jié)果中，正確分類個(gè)數(shù)所占的比率，即衡量的是分類器對(duì)數(shù)據(jù)集錯(cuò)分的情況。召回率是在測(cè)試集中，所有正樣本被正確識(shí)別的概率，即衡量的是分類器對(duì)數(shù)據(jù)集的漏檢情況。F1-Score就是為了解決單一的評(píng)價(jià)指標(biāo)精確率或召回率很難宏觀地表現(xiàn)分類器的好壞，F(xiàn)1-Score可以聯(lián)合評(píng)價(jià)精確率和召回率。平均精度是Precision-Recall曲線下面的面積。

式中：TP表示被判定為正樣本，真實(shí)情況也是正樣本；TN表示被判定為負(fù)樣本，真實(shí)情況也是負(fù)樣本；FP表示被判定為正樣本，但真實(shí)情況是負(fù)樣本；FN表示被判定為負(fù)樣本，但真實(shí)情況是正樣本。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 視覺評(píng)估

圖3所示為基于每種方法生成的圖像增強(qiáng)結(jié)果。圖3（a）所示的原圖包括貨車的車頭和集裝箱及一些背景，本文主要關(guān)注的是貨車的集裝箱部分。如圖3（b）所示，對(duì)比度受限自適應(yīng)直方圖均衡化從圖像上看只是比原圖的顏色更鮮艷，而且原先較暗的區(qū)域還是跟原來(lái)一樣，暗部細(xì)節(jié)還是不夠明顯，也就是說這種方法不能改善亮度。如圖3（c）所示，伽馬校正改善了直方圖的低電平，增強(qiáng)了原圖的暗部細(xì)節(jié)，但改善后的亮度不均勻，總體上給人一種過度明亮且不自然的感覺。如圖3（d）所示，拉普拉斯變換雖增強(qiáng)了局部特征，但是過多的增強(qiáng)了無(wú)用部分。如圖3（e）所示，經(jīng)過本文算法處理的圖片，可以看到整體的增強(qiáng)效果要比其他算法好，而且也改善了原始圖片中的暗部。

3.2 識(shí)別的效果

如圖4—圖8所示，使用對(duì)比度受限的自適應(yīng)直方圖均衡化、伽馬校正、拉普拉斯變換算法與原圖識(shí)別出的鎖孔情況一樣。這幾個(gè)算法對(duì)集裝箱左下角的鎖孔沒識(shí)別出來(lái)，可能因?yàn)樽笙陆堑陌挡考?xì)節(jié)不夠明顯，而使用本文算法可以檢測(cè)出以上算法所遺漏的那個(gè)鎖孔，這說明本文算法可以提高暗部細(xì)節(jié)，且能提高YOLOv5的性能。

3.3 定量評(píng)價(jià)

如表1所示，使用本文的算法優(yōu)于其他的算法，而使用其他的圖像增強(qiáng)并不能提高鎖孔識(shí)別的精確率。如表2所示，在召回率的指標(biāo)上，使用本文的算法和對(duì)比度受限的自適應(yīng)直方圖均衡化都比原圖高，而使用伽馬校正和拉普拉斯算法則低于原始圖像。

3.4 統(tǒng)計(jì)假設(shè)檢驗(yàn)

本文采用配對(duì)T檢驗(yàn)進(jìn)行假設(shè)檢驗(yàn)。有文獻(xiàn)［8］表示，K折交叉驗(yàn)證的方差無(wú)法無(wú)偏估計(jì)，這就要求假設(shè)檢驗(yàn)應(yīng)該使用總體方差和總體標(biāo)準(zhǔn)差，而不是樣本方差和樣本標(biāo)準(zhǔn)差。在單側(cè)檢驗(yàn)中，配對(duì)T檢驗(yàn)需要比較Tt與tα，k-1，其中α是置信區(qū)間。當(dāng)Ttgt;tα，k-1時(shí)，就能拒絕原假設(shè)。當(dāng)α=0.05時(shí)，t0.05，9 = 1.83［9］。Tt的公式為

式中：μ為兩個(gè)差值的平均值；σ為兩個(gè)差值的總體標(biāo)準(zhǔn)差。

如表3所示，比較原始圖像和對(duì)比度受限的自適應(yīng)直方圖均衡化精確率的Tt≈0.99。由于0.99是小于1.83的，所以說原始圖像與使用對(duì)比度受限的自適應(yīng)直方圖均衡化之后圖像集的精確率之間是沒有顯著差異的。同理對(duì)于原始圖像和使用伽馬校正之后圖像集的精確率之間也是沒有顯著差異的。然而比較原始圖像和使用拉普拉斯變換數(shù)據(jù)集精確率的Tt≈8.56gt;1.83，說明這兩個(gè)之間的差異是顯著的，再看表1中原始圖像的平均精確率是明顯大于使用拉普拉斯變換的，可以認(rèn)為使用拉普拉斯變換的圖像集相比于直接原始圖像對(duì)于卷積神經(jīng)網(wǎng)絡(luò)的性能是有下降的。而使用本文算法的Tt≈4.79gt;1.83，說明使用本文算法與直接使用原始圖像是有明顯差別的。再看表1中使用原始圖像的精確度比本文的算法小，故可以得出使用本文算法平均精確率是大于直接使用原始數(shù)據(jù)集的結(jié)論。同理如表4—表6所示，對(duì)比度受限的自適應(yīng)直方圖均衡化與伽馬校正和直接使用原始數(shù)據(jù)集的召回率、F1-Score、精度之間的差異是沒有明顯差距的。而拉普拉斯變換相比于直接使用原始數(shù)據(jù)集的召回率、F1-Score、精度是有明顯下降的。而本文算法相比于直接使用原始數(shù)據(jù)集的各項(xiàng)性能指標(biāo)都有明顯差距，并且平均值都大于原始數(shù)據(jù)集。由于本文算法相比于原始圖像之間的各項(xiàng)性能指標(biāo)有顯著差異，故還比較了本文算法與其他算法的各項(xiàng)指標(biāo)之間差異，如表7所示。

由表7可以看出本文算法與其他算法的性能指標(biāo)的Tt均大于1.83，且本文算法的性能指標(biāo)的平均值都大于其他的圖像增強(qiáng)算法，說明本文算法與其他算法之間的差異顯著。

4 結(jié)語(yǔ)

為了提高集裝箱鎖孔的識(shí)別，本文設(shè)計(jì)了一種增強(qiáng)對(duì)比度和提高圖像暗部細(xì)節(jié)的圖像增強(qiáng)算法，實(shí)驗(yàn)使用適當(dāng)?shù)亩攘繕?biāo)準(zhǔn)和配對(duì)T檢驗(yàn)來(lái)確保結(jié)論的有效性。此外，為了減少內(nèi)部效度的威脅，實(shí)驗(yàn)進(jìn)行了10折交叉驗(yàn)證測(cè)試，可以減少實(shí)驗(yàn)的偶然性。在實(shí)驗(yàn)中，本文的算法明顯優(yōu)于其他幾種圖像處理算法。

參考文獻(xiàn)：

［1］ KOO K M，CHA E Y. Image recognition performance enhancements using image normalization［J］. Human-Centric Computing and Information Sciences，2017，7（1）：1-11.

［2］ 蘇欣，賴復(fù)堯，余容平，等. 基于多視角模板匹配的零件圖像檢索方法［J］. 機(jī)械制造與自動(dòng)化，2023，52（1）：222-225，229.

［3］ MAINI R，AGGARWAL H. A comprehensive review of image enhancement techniques ［EB/OL］. （2010-03-22） ［2022-09-12］. https：//sites.google.com/site/journalofcomputing.

［4］ DZIUGAITE G K，GHAHRAMANI Z，ROY D M. A study of the effect of JPG compression on adversarial images ［EB/OL］. （2016-08-02） ［2022-09-12］. https：//doi.org/10.48550/arXiv.1608.00853.

［5］ LIU W T，WANG Z Y，ZHOU B，et al. Real-time signal light detection based on Yolov5 for railway［J］. IOP Conference Series：Earth and Environmental Science，2021，769（4）：042069.

［6］ 周志華.機(jī)器學(xué)習(xí)［M］.北京：清華大學(xué)出版社，2016.

［7］ WONG T T. Performance evaluation of classification algorithms by k-fold and leave-one-out cross validation［J］. Pattern Recognition，2015，48（9）：2839-2846.

［8］ GRANDVALET Y， BENGIO Y. Hypothesis testing for cross-validation［J］. Montreal Universite de Montreal， Operationnelle DdIeR， 2006， 1285：1-10.

［9］ MILTON J S，ARNOLD J. Introduction to probability and statistics［M］. New York：McGraw-Hill Education， 2002.