無人機輸電線路巡檢照片號牌文字識別方法

摘 要：針對無人機巡檢拍攝的高像素電力桿塔照片中桿塔號牌文字識別成功率低的問題，提出了一種改進連接文本區(qū)域網(wǎng)絡（Ｃｏｎｎｅｃｔｉｏｎｉｓｔ Ｔｅｘｔ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ，ＣＴＰＮ） 算法。利用二維重疊滑動切割方法對輸入圖像進行切割，將主干網(wǎng)絡Ｖｇｇ１６ 改為ＭｏｂｉｌｅｎｅｔＶ２ 對切割后圖片進行卷積處理，同時在其中加入深度適配網(wǎng)絡（Ｄｅｅｐ Ａｄａｐｔａｔｉｏｎ Ｎｅｔｗｏｒｋ，ＤＡＮ）的注意力機制得到特征圖；將卷積得到的特征圖轉(zhuǎn)化成序列輸入至雙向長短期記憶神經(jīng)（Ｂｉ-ｄｉｒｅｃｔｉｏｎａｌ Ｌｏｎｇ Ｓｈｏｒｔ-ＴｅｒｍＭｅｍｏｒｙ，Ｂｉ-ＬＳＴＭ） 網(wǎng)絡學習序列特征，并通過全連接層得到建議框；加入重映射方法將建議框映射回原圖，篩選整合映射到原圖的建議框后，得到號牌文本框。將得到的文本框內(nèi)的圖像截取輸入到卷積循環(huán)神經(jīng)網(wǎng)絡（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＲＮＮ） 進行文字識別。實驗結(jié)果表明，當切割框為４５６ ｐｉｘｅｌ×２５６ ｐｉｘｅｌ、橫向重疊率為９％ 、縱向重疊率為８％ 時，識別精度可以達到８７％ 。

關(guān)鍵詞：深度學習；高像素；場景文字識別；小目標

中圖分類號：ＴＰ３９１． ４ 文獻標志碼：Ａ 開放科學（資源服務）標識碼（ＯＳＩＤ）：

文章編號：１００３－３１０６（２０２４）０６－１５６０－０９

０ 引言

隨著無人機在輸電線路運行檢修中的普及應用，巡檢過程中無人機會拍攝大量照片，再由人工識別出照片中電力桿塔缺陷并明確電力桿塔的位置，到現(xiàn)場對缺陷部分進行檢修。無人機巡檢照片中桿塔號牌具有電力桿塔的線路名稱以及屬于該線路第幾座塔的文字信息，如果能通過場景文字識別方法對桿塔號牌中的文字進行自動識別獲取信息，則可以大幅減輕人工負擔。無人機因安全原因無法靠近電力桿塔進行拍攝，因此無人機拍攝的高像素照片中號牌區(qū)域只占原圖的１％ 左右，如何高效地提取電力桿塔照片中號牌的文字信息就成為了亟待解決的問題。

傳統(tǒng)的場景文字識別方法可以分為３ 種：第一種方法基于紋理對文字進行識別［１－３］，將文字當作特殊紋理，利用其紋理特征進行處理，通過對圖像中的區(qū)域進行窮舉以確定紋理特征?；诩y理的文字識別方法存在特征構(gòu)造方法較簡單、檢測精度較低、且計算量大的缺點。第二種方法基于成分對文本進行識別。以筆劃寬度變換（Ｓｔｒｏｋｅ Ｗｉｄｔｈ Ｔｒａｎｓｆｏｒｍ，ＳＷＴ）［４］為例，以聯(lián)通組件為基礎進行文字識別，能夠更快速地找到文字所在的區(qū)域。然而，由于場景中存在圖片的仿射變換以及文字斷連等因素，使該方法的魯棒性較低。第三種方法融合了前２ 種方法的文字識別方法［５－６］，首先通過聯(lián)通組件找到文字所在區(qū)域，再利用紋理方法輔助識別文字，但該方法在復雜背景情況下文字識別成功率仍然較低［７］。

隨著深度學習的迅速發(fā)展，場景文字識別模型將識別文字的過程分為２ 步：第一步文本檢測；第二步文本識別。目標檢測方法是文本檢測參考的方向之一，例如，基于Ｆａｓｔｅｒ Ｒ-ＣＮＮ［８］模型的連接文本區(qū)域網(wǎng)絡（Ｃｏｎｎｅｃｔｉｏｎｉｓｔ Ｔｅｘｔ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ，ＣＴＰＮ）［９］模型。ＣＴＰＮ 模型通過卷積神經(jīng)網(wǎng)絡（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ）與循環(huán)神經(jīng)網(wǎng)絡（ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＲＮＮ）的結(jié)合對圖像特征進行提取，其中ＣＮＮ 模型選用Ｖｇｇ１６ 作為圖像空間特征的提取的網(wǎng)絡，ＲＮＮ 則使用雙向長短期記憶（Ｂｉ-ｄｉｒｅｃｔｉｏｎａｌ Ｌｏｎｇ Ｓｈｏｒｔ-Ｔｅｒｍ Ｍｅｍｏｒｙ，Ｂｉ-ＬＳＴＭ）［１０］對圖像序列特征進行提取，將提取的圖像特征輸入至ＣＴＣ［１１］計算出預測序列與目標序列之間的條件概率。Ｄｅｅｐｔｅｘｔ［１２］、Ｒ２ＣＮＮ［１３］等模型都是基于ＦａｓｔｅｒＲ-ＣＮＮ 的場景文字識別。在該方法的啟發(fā)下選用ＣＴＰＮ 的架構(gòu)對號牌文字進行識別，能夠?qū)⑽谋咀R別和文本檢測分成２ 步，完成對號牌文字的識別。

在復雜圖像背景中檢測小目標是圖像分析處理領(lǐng)域的一個重要研究方向，小目標廣泛存在于遠距離拍攝的航空航天影像或視頻監(jiān)控中，利用計算機對捕獲的高質(zhì)量圖像數(shù)據(jù)進行有效分析和處理，識別出不同類別的目標并標注其所在的位置。目前專門針對小目標檢測的算法研究較少，現(xiàn)有的小目標檢測算法一般是在通用目標檢測方法的基礎之上通過加深網(wǎng)絡的層數(shù)，設計能夠提取到更豐富特征的主干網(wǎng)絡［１４－１５］、復雜化特征融合過程［１６－１７］來增強模型對多尺度目標的魯棒性。電力桿塔照片中號牌文字同樣屬于小目標，識別方法可參考現(xiàn)有的小目標檢測方法。

高像素圖片若不經(jīng)過尺寸調(diào)整將原圖輸入至網(wǎng)絡會導致模型運行速度過慢，因而現(xiàn)有的深度學習模型先將輸入圖片尺寸調(diào)整到一定尺寸，例如２２４ ｐｉｘｅｌ×２２４ ｐｉｘｅｌ。調(diào)整后的圖片像素丟失過多，會導致小目標特征不明顯，從而使網(wǎng)絡無法識別高像素圖片中的小目標。針對這一問題，提出了一種二維重疊的滑動切割方法并改進ＣＴＰＮ，用于對高像素圖片中小目標號牌文字識別，二維重疊的滑動切割方法能夠提高找到號牌圖像中小目標文字的成功率；針對切割后圖片存在特征不明顯的情況則通過多尺度特征融合，增加號牌特征深度，提高模型對號牌文本檢測精度；對應切割方法提出建議框的重映射方法用于文本框生成。

１ 基于ＣＴＰＮ 的電力桿塔號牌文字識別方法

圖１ 為電力桿塔號牌文字識別方法的流程，其中主要包括三部分：圖像切割、改進ＣＴＰＮ、ＣＲＮＮ 網(wǎng)絡。首先，將輸入圖像進行二維重疊切割；其次，將切割后的圖像依次輸入至改進ＣＴＰＮ 網(wǎng)絡得到文本框；最后，截取文本框中的圖像，并將該圖像輸入至ＣＲＮＮ 網(wǎng)絡對其文字內(nèi)容進行識別。

１． １ 二維重疊的滑動切割模塊

圖片調(diào)整示例如圖２ 所示，將無人機拍攝圖片調(diào)整至５４４ ｐｉｘｅｌ×５４４ ｐｉｘｅｌ 大小后截取號牌得到的結(jié)果，大圖為原圖樣例，小圖為對應的大圖中截取出的號牌圖片。

為了解決上述問題，提出二維重疊的滑動切割方法。原始圖像的分辨率為５ ４７２ ｐｉｘｅｌ×３ ０７８ ｐｉｘｅｌ，遵循一定命名規(guī)范將一張圖片裁成一組圖片用以輸入至特征提取網(wǎng)絡。截取出來的每張圖片的命名規(guī)范為Ｉｍａｇｅ［ｈｅｉｇｈｔ ｗｉｄｔｈ ｒｏｗ ｃｏｌｕｍｎ］，表示記錄下切割窗口左上角點的橫縱坐標。其中，ｈｅｉｇｈｔ、ｗｉｄｔｈ 表示縱坐標，ｒｏｗ、ｃｏｌｕｍｎ 表示橫坐標。在圖像切割過程中需要保證文字的完整性，因此切割過程中加入橫向重疊率和縱向重疊率參數(shù)，以解決文字被截斷的問題。在同一行的圖像切割過程中，下一個窗口的切割范圍與上一個窗口存在橫向重疊。在新的一行切割過程中，該行的切割窗口與上一行的切割窗口有縱向重疊。

將圖片輸入后，程序自動讀取圖像的總高度為Ｈ，總寬度為Ｗ。對圖像進行切割時，每行的切割高度為ｈ，每列的切割寬度為ｗ。每一行的切割數(shù)量為ｎｒ，每列的切割數(shù)量為ｎｃ。橫向重疊率為ｒｒ，縱向重疊率為ｒｃ，ｆｌｏｏｒ（）為向下取整。

式中：ｘｓ、ｙｓ 為左上角的橫縱坐標，ｉ、ｊ 為第ｉ 行和第ｊ列的切割區(qū)域，ｘｅ、ｙｅ 為右下角的橫縱坐標。

最終切割得到區(qū)域坐標可表示為：

（ｘｓ ，ｙｓ ，ｘｅ ，ｙｅ ）。（７）

切割示例如圖４ 所示，展示了切割過程中小圖與大圖的對應關(guān)系。

１． ２ 多尺度特征融合模塊

原始的ＣＴＰＮ 以Ｖｇｇ１６ 為主干網(wǎng)絡對輸入圖像進行特征提取，該網(wǎng)絡對圖像特征的利用率不高，并且號牌文字特征信息較少，導致特征隨卷積加深逐漸稀疏。改進ＣＴＰＮ 將主干網(wǎng)絡換為ＭｏｂｉｌｅｎｅｔＶ２，該網(wǎng)絡使用倒殘差結(jié)構(gòu)加強了網(wǎng)絡各層之間的聯(lián)系，且此網(wǎng)絡是輕量級網(wǎng)絡，能夠有效減少運行時間。

針對號牌圖像不清晰的圖片識別成功率不高，但號牌圖片前景與背景區(qū)別大，在改進的ＣＴＰＮ 的卷積層加入深度適配網(wǎng)絡（Ｄｅｅｐ ＡｄａｐｔａｔｉｏｎＮｅｔｗｏｒｋ，ＤＡＮ）中的結(jié)構(gòu)，用以聚焦關(guān)鍵區(qū)域。ＤＡＮ中引入了２ 個注意力機制：一個是空間注意力機制，用于選擇圖像中的關(guān)鍵區(qū)域；另一個是通道注意力機制，用于選擇關(guān)鍵通道。圖５ 展示了圖像特征提取流程［１８］。

由于文字的連續(xù)性，既需要學習圖像的空間特征，也需要學習序列特征，因此在通過卷積得到特征圖后引入Ｂｉ-ＬＳＴＭ 神經(jīng)網(wǎng)絡。ＣＮＮ 用于學習感受野內(nèi)的空間信息，Ｂｉ-ＬＳＴＭ 則用于學習序列特征。通過卷積獲得一個Ｎ×Ｃ×Ｈ×Ｗ 的特征圖，對該特征圖通過３ ×３ 滑動窗口提取特征向量，得到一個Ｎ×９Ｃ×Ｈ×Ｗ 的特征向量。將特征向量輸入到Ｂｉ-ＬＳＴＭ得到Ｎ ×５１２ ×Ｈ ×Ｗ 的序列。序列特征提取如圖６所示。

融合了“空間＋序列”特征后，將特征輸入到全連接層，并將輸出接入類似區(qū)域建議網(wǎng)絡的網(wǎng)絡結(jié)構(gòu)。由于在最后會輸出文本框，因此需要生成建議框?qū)ξ淖值奈恢眠M行預測。與二階段目標檢測類似，改進ＣＴＰＮ 通過歐幾里得回歸檢測推薦框（ａｎｃｈｏｒ），以得到文字的邊界框。網(wǎng)絡在獲取了ａｎｃｈｏｒ的基礎上，使用激活函數(shù)（ｓｏｆｔｍａｘ）來判斷ａｎｃｈｏｒ 中是否包含文本。另一個分支則通過邊界框回歸修正包含文本的ａｎｃｈｏｒ 的中心ｙ 坐標和高度。

式中：ｃａｙ、ｈａ 分別為ａｎｃｈｏｒ 的ｙ 坐標中心和高度，ｃｙ和ｈ 分別為預測出的ｙ 坐標中心和高度。ｋ 個邊框調(diào)整參數(shù)，用來精修文本行的２ 個端點，表示每個建議框的水平平移量。

ｏ ＝ ｘｓｉｄｅ － ｃａｘ／ｗａ ， （９）

式中：ｘｓｉｄｅ 為預測出的距離ａｎｃｈｏｒ 水平坐標最近的坐標，ｃａｘ為ａｎｃｈｏｒ 的ｘ 坐標中心，ｗａ 為ａｎｃｈｏｒ 的寬度。

１． ３ 二維重疊切割重映射模塊

通過特征提取和ａｎｃｈｏｒ 邊界框的預測，網(wǎng)絡可以得到若干個預測框，拼接預測框能夠得到完整的文本預測框。由于最初圖片經(jīng)二維重疊的滑動切割后輸入網(wǎng)絡，因此需要對得到的預測框做重映射，將預測框映射回到原圖的位置。預測框坐標加上圖片輸入時保存的左上角橫縱坐標即為映射至原圖的方法，其計算如下：

［ｃｏｘ，ｃｏｙ］ ＝ ［ｃａｘ，ｃａｙ］＋ ［ｒｃｘ，ｈｃｙ］， （１０）

式中：ｃｏｘ表示ａｎｃｈｏｒ 在原圖的ｙ 坐標，ｃｏｙ表示ａｎｃｈｏｒ在原圖的ｘ 坐標，ｃａｙ表示原圖切片后ａｎｃｈｏｒ 的ｙ 坐標，ｃａｘ表示原圖切片后ａｎｃｈｏｒ 的ｘ 坐標，ｒｃｘ表示原圖切片后圖片左上角ｙ 坐標，ｈｃｙ表示原圖切片后左上角ｘ 坐標。

由于圖片切割時為有重疊的切割，且原圖中存在一定預測框重疊，因此可通過非極大抑制（ＮｏｎＭａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ，ＮＭＳ）方法對預測框通過激活函數(shù)得到的數(shù)值進行篩選。選取第一個框為候選框，沿正方向?qū)ふ液蜻x框與剩余推薦框之間水平距離小于５０ 的推薦框并保留與候選框橫向重疊率大于０． ５ 的推薦框，同時選取水平距離小于５０ 的推薦框中最右邊的推薦框作為候選框，相同的方法沿反方向再進行一次查找，將結(jié)果拼接得到連續(xù)文本的完整文本框作為最后結(jié)果輸出。重映射示例如圖７所示。

訓練時需要通過損失函數(shù)對訓練的結(jié)果進行評估，該損失函數(shù)由兩部分組成，２ 個分支對應兩部分的損失函數(shù)。

第一部分是邏輯回歸損失用于監(jiān)督學習推薦框中是否包含文本，此處使用交叉熵函數(shù)；第二部分是邊界框的回歸，此處使用平滑的平均絕對值誤差函數(shù)（ｓｍｏｏｔｈ Ｌ１）。

１． ４ 基于ＣＲＮＮ 的文本識別模塊

早期的深度學習光學字符識別（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ，ＯＣＲ）通過單獨切割字母并進行多類標的分類任務以識別文本，而ＣＲＮＮ 則使用端到端深度學習進行文本識別，將文本轉(zhuǎn)化為序列并輸入到深度學習網(wǎng)絡中，通過ＣＮＮ 和ＲＮＮ 對輸入圖像進行特征學習，解決了不同圖像尺度和文本長度出現(xiàn)的識別問題［１９］。

改進ＣＴＰＮ 可以得到圖像中的文本框，再提取出該位置中的文本圖像輸入到ＣＲＮＮ。ＣＲＮＮ 的第一層是ＣＮＮ，用卷積網(wǎng)絡從圖像中提取圖像特征。該卷積層共有４ 個最大池化層，最后２ 個池化層的窗口尺寸由２×２ 改為１×２，以適應文本圖像大多為寬度較長的矩形的長度。通過卷積網(wǎng)絡得出的圖像特征序列不能直接輸入至ＲＮＮ 中，需要對圖像特征序列進行提取出單列的向量，每個特征向量在特征圖上按列從左到右生成。ＣＲＮＮ 中的ＲＮＮ 同樣使用Ｂｉ-ＬＳＴＭ，將提取出來的特征向量輸入至ＲＮＮ中。ＲＮＮ 最后輸出每個字符的ｓｏｆｔｍａｘ 概率分布。然后將該向量輸入至轉(zhuǎn)錄層連接主義時間分類（Ｃｏｎｎｅｃｔｉｏｎａｌ Ｔｅｍｐｏｒａｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ，ＣＴＣ ），使用ＣＴＣ 解碼以歸納字符的連接特性，解碼則是基于最大似然的損失函數(shù)。

２ 實驗

２． １ 數(shù)據(jù)集

訓練文本檢測部分的數(shù)據(jù)集已具備多條線路的電力桿塔號牌的圖片，由于該數(shù)據(jù)集為自行通過無人機拍攝的數(shù)據(jù)集，因此訓練網(wǎng)絡前需要對圖片中線路名稱、塔號和警示語的中文進行標注。

數(shù)據(jù)集標注采用ＩＣＤＡＲ２０１７ 的標注方式，存儲至ｔｘｔ 文件中，每行向量化文本表示圖片中文字的標注框４ 個點的坐標，左上角為原點記錄橫縱坐標并以順時針將各個點排列記錄，同時包含圖片的文字內(nèi)容和其所用的語言，其結(jié)構(gòu)如圖８ 所示，為多座塔的號牌信息標注。

由于電力桿塔巡檢環(huán)境惡劣，且存在人員操作不規(guī)范等原因會對圖像的文字識別產(chǎn)生影響，例如圖片過曝、號牌掉落和文字不清楚等情況，因此需要對圖像進行圖像增強工作。同時對本身沒有拍攝到號牌的圖片進行剔除，經(jīng)過剔除后對圖像進行圖像增強工作，能夠一定程度豐富數(shù)據(jù)集。

數(shù)據(jù)增強示例如圖９ 可示，顏色擾動方法如圖９（ａ）所示，即對圖片的亮度、對比度、飽和度調(diào)整擴增數(shù)據(jù)，這一方法是模擬環(huán)境光線變化對號牌識別產(chǎn)生的影響。翻轉(zhuǎn)方法如圖９（ｂ）所示，即對已有圖片水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)，由于號牌擺掛方式不是固定不變的，因此加入翻轉(zhuǎn)方法。添加噪聲如圖９（ｃ）所示，其中添加噪聲會選擇添加黑色噪點或者白色噪點。

數(shù)據(jù)集中共有１ ３８８ 張圖片，其大小均為５ ４７２ ｐｉｘｅｌ×３ ０７８ ｐｉｘｅｌ，按如下劃分：訓練集１ １１０ 張，測試集１３９ 張，驗證集１３９ 張，對訓練集以及測試集進行數(shù)據(jù)增強之后的數(shù)據(jù)集總數(shù)可以達到３ ８８６ 張。

訓練文本識別部分時則在使用號牌文字的標注信息的同時加入公開數(shù)據(jù)集ＩＣＤＡＲ２０１７，共１２ ２６３ 張圖像，其中８ ０３４ 張作為訓練集，４ ２２９ 張作為測試集。使用四邊形框標注文本行，ＩＣＤＡＲ２０１７ 數(shù)據(jù)集絕大多數(shù)是相機拍的自然場景，一些是屏幕截圖，包含了大多數(shù)場景，如室外街道、室內(nèi)場景和手機截圖等。

２． ２ 評價指標

改進ＣＴＰＮ 中計算損失的方法為：

第一部分使用交叉熵損失函數(shù)用以判斷ａｎｃｈｏｒ 中是否含有文本，第二部分為ｓｍｏｏｔｈ Ｌ１ 函數(shù)用以判斷邊界框的回歸。在判斷精度時可以借鑒目標檢測中的查準率／ 精度（Ｐｒｅｃｉｓｉｏｎ）計算方法，Ｐｒｅｃｉｓｉｏｎ ＝ＴＰ ／ （ＴＰ＋ＦＰ），其中ＴＰ 表示判斷為正的樣本數(shù)量，ＦＰ 表示為負樣本誤判為正樣本的數(shù)量。同時目標檢測中還有查全率（Ｒｅｃａｌｌ）作為評價指標，Ｒｅｃａｌｌ ＝ＴＰ ／ （ＴＰ＋ＦＮ），其中ＦＮ 表示正樣本誤判成負樣本的數(shù)量。

２． ３ 實驗設置

實驗環(huán)境配置如下：Ｉｎｔｅｌ （Ｒ） Ｃｏｒｅ （ＴＭ） ｉ７１１８００Ｈ 處理器，１６ ＧＢ 內(nèi)存，ｎＶＩＤＩＡ３０６０ 顯卡，操作系統(tǒng)為Ｗｉｎｄｏｗｓ １０，開發(fā)語言為Ｐｙｔｈｏｎ３． ８． ８，開發(fā)工具ＰｙＣｈａｒｍ，網(wǎng)絡的初始參數(shù)采用隨機初始化，表１ 為訓練時超參數(shù)的選擇。

２． ４ 二維重疊切割參數(shù)實驗

圖像切割方法中窗口大小作為重要參數(shù)，對圖像的文本檢測會產(chǎn)生影響，切割窗口過大會在輸入網(wǎng)絡后導致像素丟失過多，特征不明顯，切割窗口過小會導致特征被切割造成學習特征錯誤，故需通過實驗確定切割窗口大小。最終經(jīng)過實驗得到窗口大小為４５６ ｐｉｘｅｌ×２５６ ｐｉｘｅｌ，橫向重疊率為９％ ，縱向重疊率為８％ 時能夠達到所需效果。

在設定窗口大小的實驗中，每組的橫向重疊率以及縱向重疊率都為０％ ，并且主干網(wǎng)絡選用Ｖｇｇ１６。在使用桿塔號牌數(shù)據(jù)集時，窗口大小的參數(shù)選定為原圖的長寬為基礎按比例選擇。分析精度折線如圖１０ 所示，具有預訓練參數(shù)的條件下，不同窗口大小的切割圖片在訓練過程中精度總體呈上升趨勢，圖中窗口大小１ ３６８ ｐｉｘｅｌ×７６９ ｐｉｘｅｌ 為精度最低的折線，窗口大?。矗担?ｐｉｘｅｌ×２５６ ｐｉｘｅｌ 為精度最高的折線。

窗口大小評價參數(shù)如表２ 所示?？梢钥闯?，窗口大小４５６ ｐｉｘｅｌ×２５６ ｐｉｘｅｌ 時識別精度最高，并且精度接近正常圖片輸入時ＣＴＰＮ 所達到的精度。

圖像切割過程中，在窗口大小固定為４５６ ｐｉｘｅｌ×２５６ ｐｉｘｅｌ 的情況下為確保特征的完整性，用二維重疊的滑動切割方法可以保證切割后文字特征完整性，有利于后續(xù)特征提取。實驗中，窗口大小寬度為上一個實驗結(jié)果的４５６ ｐｉｘｅｌ，橫向重疊率為號牌中文字寬度與窗口大小寬度的比例，則最小比例為６％ ，后續(xù)以１％ 為步長做實驗。

橫向重疊率實驗如圖１１ 所示。在具有預訓練參數(shù)，固定窗口大小為４５６ ｐｉｘｅｌ×２５６ ｐｉｘｅｌ，且縱向重疊率為０％ 的條件下，橫向重疊率參數(shù)改變，精度伴隨訓練輪數(shù)的增加平穩(wěn)上升，橫向重疊率越高精度越高，但其精度較窗口大小對精度的影響較小。

橫向重疊率評價參數(shù)如表３ 所示。當橫向重疊率為９％ 時可以得到最佳精度及召回率，橫向重疊率高能提高識別的精度，但橫向重疊率小可以提高訓練速度。

縱向重疊率最小為號牌中文字的高度與窗口大小的高度的比例，實驗中，窗口的高為２５６ ｐｉｘｅｌ，縱向重疊率最小?。担?，后續(xù)以１％ 為步長做實驗?？v向重疊率實驗如圖１２ 所示，在具有預訓練參數(shù)，固定窗口大小為４５６ ｐｉｘｅｌ×２５６ ｐｉｘｅｌ 且橫向重疊率為９％ 的條件下，縱向重疊率參數(shù)變化，精度伴隨訓練輪數(shù)的增加平穩(wěn)上升。縱向重疊率越高精度越高，但其精度較窗口大小對精度的影響同樣較小。

縱向重疊率評價參數(shù)如表４ 所示，當縱向重疊率為８％ 時，識別精度以及召回率效果最佳，縱向重疊率高同樣能提高識別的精度。

２． ５ 對比實驗

主干網(wǎng)絡實驗如圖１３ 所示，使用不同的主干網(wǎng)絡訓練過程中，隨著訓練輪數(shù)的增加，精度基本呈穩(wěn)步上升的趨勢，主干網(wǎng)絡選用ＭｏｂｉｌｅｎｅｔＶ２＋ＤＡＮ 可以達到最佳的效果，同時該網(wǎng)絡具有輕量化的特點。

主干網(wǎng)絡如表５ 所示，在添加切割窗口的情況下，分別調(diào)用不同的主干網(wǎng)絡搭配。經(jīng)實驗發(fā)現(xiàn)，加入多尺度融合的網(wǎng)絡可以提高識別精度。

將不同場景文本識別模型不加切割方法進行訓練，與切割加改進ＣＴＰＮ 模型進行對比。切割參數(shù)為上述實驗的結(jié)果，窗口大小４５６ ｐｉｘｅｌ×２５６ ｐｉｘｅｌ，橫向重疊率為９％ ，縱向重疊率為８％ 。實驗時輸入圖像大小皆為５ ４７２ ｐｉｘｅｌ×３ ０７８ ｐｉｘｅｌ，對比實驗如圖１４ 所示。訓練過程中精度基本呈穩(wěn)步上升趨勢，但從精度折線圖上能夠明顯看出，在加入二維重疊的滑動切割方法后精度顯著提高。同時對比其他現(xiàn)有深度學習場景文字識別模型，二維重疊的滑動切割方法能夠提高小目標文本檢測精度。

對比實驗如表６ 所示，可以看出加入二維重疊的滑動切割方法后，損失、精度以及召回率有效提高。

聚焦效果如圖１５ 所示，通過二維重疊的滑動切割方法同時改進ＣＴＰＮ 主干網(wǎng)絡，加上二維重疊的重映射方法，能夠?qū)μ柵莆淖诌M行有效識別。

３ 結(jié)束語

傳統(tǒng)的場景文字識別方法和基于深度學習的場景文字識別方法都難以識別無人機巡檢拍攝的電力桿塔照片中高像素、小目標號牌文字。為解決此問題，提出二維重疊滑動切割的改進ＣＴＰＮ 算法。通過實驗確定切割的窗口大小以及切割時的橫向以及縱向重疊率，確保切割時較大保留文字的完整性同時提高文本檢的精度。加入建議框的重映射方法，以達到在原圖上完整框出文本框的目的。將主干網(wǎng)絡改為ＭｏｂｉｌｅｎｅｔＶ２＋ＤＡＮ 的多尺度融合結(jié)構(gòu)，最終能夠達到８７％ 的精度。雖然在文本檢測方面取得了一定成果，但在文本識別方面還有提升空間，下一個階段將著重研究優(yōu)化ＣＲＮＮ，提高文本識別精度。

參考文獻

［１］ ＺＨＯＮＧ Ｙ，ＫＡＲＵ Ｋ，ＪＡＩＮ Ａ Ｋ． Ｌｏｃａｔｉｎｇ Ｔｅｘｔ ｉｎＣｏｍｐｌｅｘ Ｃｏｌｏｒ Ｉｍａｇｅｓ ［Ｊ］． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，１９９５，２８（１０）：１５２３－１５３５．

［２］ ＫＩＭ Ｋ Ｉ，ＪＵＮＧ Ｋ，ＫＩＭ Ｊ Ｈ． Ｔｅｘｔｕｒｅｂａｓｅｄ Ａｐｐｒｏａｃｈ ｆｏｒＴｅｘｔ Ｄｅｔｅｃｔｉｏｎ ｉｎ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓａｎｄ Ｃｏｎｔｉｎｕｏｕｓｌｙ Ａｄａｐｔｉｖｅ Ｍｅａｎ Ｓｈｉｆｔ Ａｌｇｏｒｉｔｈｍ ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２００３，２５（１２）：１６３１－１６３９．

［３］ ＬＹＵ Ｍ Ｒ，ＳＯＮＧ Ｊ Ｑ，ＣＡＩ Ｍ． Ａ Ｃｏｍｐｒｅｈｅｎｓｉｖｅ Ｍｅｔｈｏｄｆｏｒ Ｍｕｌｔｉｌｉｎｇｕａｌ Ｖｉｄｅｏ Ｔｅｘｔ Ｄｅｔｅｃｔｉｏｎ，Ｌｏｃａｌｉｚａｔｉｏｎ，ａｎｄＥｘｔｒａｃｔｉｏｎ ［Ｊ ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄＳｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，２００５，１５（２）：２４３－２５５．

［４］ ＥＰＳＨＴＥＩＮ Ｂ，ＯＦＥＫ Ｅ，ＷＥＸＬＥＲ Ｙ． Ｄｅｔｅｃｔｉｎｇ Ｔｅｘｔ ｉｎＮａｔｕｒａｌ Ｓｃｅｎｅｓ ｗｉｔｈ Ｓｔｒｏｋｅ Ｗｉｄｔｈ Ｔｒａｎｓｆｏｒｍ［Ｃ］∥２０１０ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｓａｎ Ｆｒａｎｃｉｓｃｏ：ＩＥＥＥ，２０１０：２９６３－２９７０．

［５］ ＬＩＵ Ｙ，ＧＯＴＯ Ｓ，ＩＫＥＮＡＧＡ Ｔ Ｉ，ｅｔ ａｌ． Ａ ＣｏｎｔｏｕｒｂａｓｅｄＲｏｂｕｓｔ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｔｅｘｔ Ｄｅｔｅｃｔｉｏｎ ｉｎ Ｃｏｌｏｒ Ｉｍａｇｅｓ ［Ｊ］．ＩＥＩＣＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｓｙｓｔｅｍｓ，２００６，８９（３）：１２２１－１２３０．

［６］ ＰＡＮ Ｙ Ｆ，ＨＯＵ Ｘ，ＬＩＵ Ｃ Ｌ． Ａ Ｈｙｂｒｉｄ Ａｐｐｒｏａｃｈ ｔｏ Ｄｅｔｅｃｔａｎｄ Ｌｏｃａｌｉｚｅ Ｔｅｘｔｓ ｉｎ Ｎａｔｕｒａｌ Ｓｃｅｎｅ Ｉｍａｇｅｓ ［Ｊ］． ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０１０，２０（３）：８００－１３．

［７］ 于君娜，單子力，李方方，等． 多源圖像融合技術(shù)在無人機中的應用［Ｊ］． 無線電工程，２０１９，４９（７）：５８１－５８６．

［８］ ＧＩＲＳＨＩＣＫ Ｒ Ｇ． Ｆａｓｔ ＲＣＮＮ ［Ｃ］∥２０１５ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｓａｎｔｉａｇｏ：ＩＥＥＥ，２０１５：１４４０－１４４８．

［９］ ＴＩＡＮ Ｚ，ＨＵＡＮＧ Ｗ Ｌ，ＨＥ Ｔ，ｅｔ ａｌ． Ｄｅｔｅｃｔｉｎｇ Ｔｅｘｔ ｉｎ ＮａｔｕｒａｌＩｍａｇｅ ｗｉｔｈ Ｃｏｎｎｅｃｔｉｏｎｉｓｔ Ｔｅｘｔ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ ［Ｃ］∥１４ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ． Ａｍｓｔｅｒｄａｍ：ＡＣＭ，２０１６：５６－７２．

［１０］ ＯＬＡＨ Ｃ． Ｕｎｄｅｒｓｔａｎｄｉｎｇ ＬＳＴＭ Ｎｅｔｗｏｒｋｓ ［ＥＢ ／ ＯＬ ］．［２０２３ － ０７ － ０５］． ｈｔｔｐ：∥ ｃｏｌａｈ． ｇｉｔｈｕｂ． ｉｏ ／ ｐｏｓｔｓ ／ ２０１５ －０８－ＵｎｄｅｒｓｔａｎｄｉｎｇＬＳＴＭｓ ／ ．

［１１］ ＰＡＴＥＲＬＩＮＩＢＲＥＣＨＯＴ Ｐ，ＢＥＮＡＬＩ Ｎ Ｌ． ＣｉｒｃｕｌａｔｉｎｇＴｕｍｏｒ Ｃｅｌｌｓ （ＣＴＣ）Ｄｅｔｅｃｔｉｏｎ：Ｃｌｉｎｉｃａｌ Ｉｍｐａｃｔ ａｎｄ ＦｕｔｕｒｅＤｉｒｅｃｔｉｏｎｓ［Ｊ］． Ｃａｎｃｅｒ Ｌｅｔｔｅｒｓ，２００７，２５３（２）：１８０－２０４．

［１２］ ＢＵＴＡ Ｍ，ＮＥＵＭＡＮＮ Ｌ，ＭＡＴＡＳ Ｊ． Ｄｅｅｐ Ｔｅｘｔｓｐｏｔｔｅｒ：Ａｎ ＥｎｄｔｏＥｎｄ Ｔｒａｉｎａｂｌｅ Ｓｃｅｎｅ Ｔｅｘｔ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄＲｅｃｏｇｎｉｔｉｏｎ Ｆｒａｍｅｗｏｒｋ ［Ｃ］∥ ２０１７ ＩＥＥＥ ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｖｅｎｉｃｅ：ＩＥＥＥ，２０１７：２２２３－２２３１．

［１３］ ＪＩＡＮＧ Ｙ Ｙ，ＺＨＵ Ｘ Ｙ，ＷＡＮＧ Ｘ Ｂ，ｅｔ ａｌ． Ｒ２ＣＮＮ：Ｒｏｔａｔｉｏｎａｌ Ｒｅｇｉｏｎ ＣＮＮ ｆｏｒ Ｏｒｉｅｎｔａｔｉｏｎ Ｒｏｂｕｓｔ Ｓｃｅｎｅ Ｔｅｘｔ Ｄｅｔｅｃｔｉｏｎ［ＥＢ／ ＯＬ］． （２０１７－０６－２９）［２０２３－０７－０１］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ １７０６． ０９５７９．

［１４］ ＨＥ Ｋ Ｍ，ＺＨＡＮＧ Ｘ Ｙ，ＲＥＮ Ｓ Ｑ，ｅｔ ａｌ． Ｄｅｅｐ ＲｅｓｉｄｕａｌＬｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ ［Ｃ］∥２０１６ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． ＬａｓＶｅｇａｓ：ＩＥＥＥ，２０１６：７７０－７７８．

［１５］ ＨＵＡＮＧ Ｇ，ＬＩＵ Ｚ，ＶＡＮ ＤＥＲ ＭＡＡＴＥＮ Ｌ，ｅｔ ａｌ． ＤｅｎｓｅｌｙＣｏｎｎｅｃｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ［Ｃ］∥２０１７ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｈｏｎｏｌｕｌｕ：ＩＥＥＥ，２０１７：２２６１－２２６９．

［１６］ ＬＩＮ Ｔ Ｙ，ＤＯＬＬＲ Ｐ，ＧＩＲＳＨＩＣＫ Ｒ，ｅｔ ａｌ． ＦｅａｔｕｒｅＰｙｒａｍｉｄ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ［Ｃ］∥２０１７ ＩＥＥＥＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｈｏｎｏｌｕｌｕ：ＩＥＥＥ，２０１７：９３６－９４４．

［１７］ ＦＵ Ｃ Ｙ，ＬＩＵ Ｗ，ＲＡＮＧＡ Ａ，ｅｔ ａｌ． ＤＳＳＤ：ＤｅｃｏｎｖｏｌｕｔｉｏｎａｌＳｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ ［ＥＢ ／ ＯＬ］． （２０１７－０１－１３）［２０２３ －０７－０２］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ １７０１． ０６６５９．

［１８］ ＦＵ Ｊ，ＬＩＵ Ｊ，ＴＩＡＮ Ｈ Ｊ，ｅｔ ａｌ． Ｄｕａｌ Ａｔｔｅｎｔｉｏｎ Ｎｅｔｗｏｒｋ ｆｏｒＳｃｅｎｅ Ｓｅｇｍｅｎｔａｔｉｏｎ ［Ｃ］∥２０１９ ＩＥＥＥ ／ ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． ＬｏｎｇＢｅａｃｈ：ＩＥＥＥ，２０１９：３１４１－３１４９．

［１９］ 韋泰丞，譚穎韜． 基于視覺語義關(guān)聯(lián)的卷煙零售終端文字識別［Ｊ］． 無線電工程，２０２２，５２（１０）：１８４８－１８５６．

作者簡介

李有春 男，（１９６８—），碩士，高級工程師。主要研究方向：電力調(diào)度、電網(wǎng)運行檢修、現(xiàn)場安全管控等。

湯春俊 男，（１９７９—），碩士，高級工程師。主要研究方向：輸電線路建設、施工、運行、帶電檢修、精益化運檢管理等。

梁加凱 男，（１９８３—），高級工程師。主要研究方向：帶電作業(yè)、安全防護、線路檢修精益化管理等。

林龍旭 男，（１９９８—），碩士研究生。主要研究方向：圖像處理和文字識別。

徐 敏 女，（１９８３—），碩士，高級工程師。主要研究方向：電力系統(tǒng)信息化。

（*通信作者）謝 敏 女，（１９７５—），碩士，講師。主要研究方向：溫度計量、無人機控制與應用。

基金項目：金華八達集團有限公司科技項目（ＢＤ２０２２ＪＨ-ＫＸＸＭ００７）