基于元學(xué)習(xí)的少樣本水閘圖像識(shí)別方法研究

薛凌峰，宋 煒，鮑建騰，焦 野，戚榮志

（1.江蘇省水旱災(zāi)害防御調(diào)度指揮中心，江蘇 南京 210029；2.河海大學(xué)計(jì)算機(jī)與軟件學(xué)院，江蘇 南京 211100）

隨著智慧水利工作的推進(jìn)，國內(nèi)各級(jí)水利防汛視頻監(jiān)控系統(tǒng)相繼建成［1-3］，可以更及時(shí)、便捷地獲得水利影像數(shù)據(jù)，有助于更好開展水利監(jiān)管工作。其中，水閘啟閉狀態(tài)監(jiān)控是防汛調(diào)度工作中的一項(xiàng)重要內(nèi)容，應(yīng)用水閘場(chǎng)景圖像自動(dòng)識(shí)別技術(shù)輔助或代替人工監(jiān)管，可以提高異常情況監(jiān)測(cè)的實(shí)時(shí)性［4］。但不同類型水閘的啟閉狀態(tài)判斷依據(jù)相似而不盡相同，而且一些低調(diào)度頻率的水閘的各種不同運(yùn)行狀態(tài)的影像資料難以收集，在歷史上也沒有足夠的水閘影像資料積累，于是許多水閘的開啟或關(guān)閉狀態(tài)的樣本數(shù)量很不均衡，部分狀態(tài)樣本很少。針對(duì)該問題，本研究將不同類型的水閘圖像識(shí)別工作視為多個(gè)具有相似性的子任務(wù)，基于元學(xué)習(xí)理論［5］捕捉各類型水閘啟閉狀態(tài)識(shí)別任務(wù)的共性，實(shí)現(xiàn)跨水閘類型的閘門啟閉狀態(tài)圖像識(shí)別。

1 水閘圖像數(shù)據(jù)集構(gòu)建

水閘圖像識(shí)別領(lǐng)域內(nèi)缺乏權(quán)威可靠的開源數(shù)據(jù)集，因此本研究需自行構(gòu)建數(shù)據(jù)集。所有采集到的原始數(shù)據(jù)需要進(jìn)行一系列的預(yù)處理才能成為可以進(jìn)行學(xué)習(xí)的樣本。

1.1 數(shù)據(jù)來源

本文水閘啟閉狀態(tài)圖像數(shù)據(jù)主要采集自江蘇省防汛視頻監(jiān)控系統(tǒng)，從系統(tǒng)中導(dǎo)出水閘閘口監(jiān)控視頻片段作為初始影像數(shù)據(jù)，再從視頻中提取各種狀態(tài)的水閘場(chǎng)景圖像。本文共收集了石梁河水庫南北泄洪閘、皂河閘、?？陂l、黃沙港閘等16個(gè)閘門的影像數(shù)據(jù)，由于各個(gè)閘門在每個(gè)年周期內(nèi)的調(diào)度頻率不同，因此盡量收集了各水閘的不同狀態(tài)數(shù)據(jù)。

1.2 圖像數(shù)據(jù)預(yù)處理

省級(jí)防汛視頻監(jiān)控系統(tǒng)中不同水閘監(jiān)控點(diǎn)的視頻質(zhì)量各異，需首先借助視頻格式轉(zhuǎn)換工具將AVI、MOV 等格式統(tǒng)一轉(zhuǎn)換為MP4 格式，再人工篩選記錄閘門場(chǎng)景時(shí)間段以及對(duì)應(yīng)標(biāo)簽，并處理視頻損壞、跳幀等。在此基礎(chǔ)上，利用OpenCV計(jì)算機(jī)視覺模塊提供的CV2.VideoCapture函數(shù)從視頻流中截取圖像。為了避免異常干擾，確保正確標(biāo)記閘門啟閉狀態(tài)，對(duì)每一連續(xù)場(chǎng)景每隔25 幀（約2 s）截取一張圖像，再人工篩除不合格圖片。

視頻在生成和傳輸過程中容易受到各種噪聲的干擾，導(dǎo)致圖像質(zhì)量下降，對(duì)后續(xù)圖像的處理和圖像視覺效應(yīng)將產(chǎn)生不利影響。非局部均值算法［4］充分利用圖像中的冗余信息，在去除噪聲的同時(shí)最大程度地保持圖像的細(xì)節(jié)特征，其基本思想是將圖像中與當(dāng)前像素具有相似領(lǐng)域結(jié)構(gòu)的像素加權(quán)平均作為當(dāng)前像素的估計(jì)值，其權(quán)值由像素歐拉距離確定。對(duì)于每一個(gè)像素點(diǎn)的權(quán)值，采用以該像素點(diǎn)為中心的圖像子塊與當(dāng)前像素點(diǎn)為中心的子塊之間的高斯加權(quán)歐氏距離來計(jì)算。一般認(rèn)為，圖像中的其他像素與當(dāng)前像素的歐拉距離越小，則兩者越相似，因此為此像素設(shè)置較高的權(quán)重。

視頻監(jiān)控設(shè)備通常安置在拍攝水閘工程整體的位置，因此每張圖像上有多個(gè)閘口。為便于做標(biāo)記和后續(xù)算法分析，以單個(gè)閘口圖像區(qū)域作為感興趣區(qū)域（region of interest，ROI），將各ROI 截取為單獨(dú)圖片。具體操作為：利用OpenCV2模塊的鼠標(biāo)事件函數(shù)實(shí)現(xiàn)交互，得到并記錄感興趣矩形區(qū)域的左上、右下頂點(diǎn)坐標(biāo)值，將其作為Pillow 圖型庫Image.crop函數(shù)的輸入值，從而完成圖片裁剪，得到ROI區(qū)域。預(yù)處理后效果示例如圖1所示。

圖1 圖像預(yù)處理效果

1.3 圖像增強(qiáng)

通過圖像數(shù)據(jù)預(yù)處理后得到的樣本存在類別不均衡的問題，部分水閘圖像數(shù)據(jù)稀缺、啟閉狀態(tài)圖像數(shù)量差距大，不利于模型的訓(xùn)練。數(shù)據(jù)增強(qiáng)使用平移變換、縮放和剪裁等圖像處理方法對(duì)原始數(shù)據(jù)進(jìn)行變換，生成相同對(duì)象不同形態(tài)的更多數(shù)據(jù)，用于補(bǔ)充欠缺的類型樣本，促使模型學(xué)習(xí)到具有分辨性的特征，增強(qiáng)方法的魯棒性。其中，水平翻轉(zhuǎn)方法操作簡(jiǎn)單，并且在水閘啟閉狀態(tài)識(shí)別場(chǎng)景中可以保證標(biāo)簽安全。在實(shí)際環(huán)境中，水利防汛監(jiān)控?cái)z像設(shè)備的安置位置受限，在同一水閘站點(diǎn)往往僅從某一單側(cè)視角進(jìn)行拍攝記錄。采用水平翻轉(zhuǎn)進(jìn)行增強(qiáng)，盡量補(bǔ)充了數(shù)據(jù)集中樣本量少的開啟或關(guān)閉狀態(tài)下的某些閘門圖像，并能在確保色彩、線條等其他特征不丟失的同時(shí)豐富了水閘的不同視角特征。

2 水閘圖像識(shí)別方法

水閘數(shù)據(jù)集中的圖像大都沒有明確的前后景區(qū)分，而且關(guān)注區(qū)域不是簡(jiǎn)單的某個(gè)對(duì)象，而是以圖中的閘口、浪花、水波紋等要素綜合作為分類結(jié)果判斷的依據(jù)，這與在標(biāo)準(zhǔn)數(shù)據(jù)集上開展的圖像分類研究存在較大差異。因此，為了適應(yīng)少樣本水閘啟閉狀態(tài)圖像識(shí)別的應(yīng)用場(chǎng)景，本文基于SNAIL 元學(xué)習(xí)模型，提出了多頭自注意力水閘圖像識(shí)別方法（Multi-Head Self-Attention SNAIL，MH-SNAIL）。MH-SNAIL網(wǎng)絡(luò)框架如圖2所示。

圖2 MH-SNAIL網(wǎng)絡(luò)框架

MH-SNAIL 接收水閘圖像特征向量組作為輸入，通過3個(gè)多頭注意力層和2個(gè)時(shí)序卷積層交替，后接一個(gè)全局平均池化層計(jì)算輸出表征預(yù)測(cè)結(jié)果的二維概率向量。其中，3個(gè)多頭注意力層的鍵-值嵌入向量的維數(shù)依次為64-32、256-128、512-256，2 個(gè)時(shí)序卷積層的通道數(shù)均為128，每個(gè)通道包含N×K+1個(gè)稠密塊。

2.1 多頭注意力

多頭注意力機(jī)制根據(jù)查詢嵌入與鍵嵌入的相似性分布計(jì)算得到一組關(guān)于值嵌入元素的權(quán)重，再基于這組權(quán)重更新值嵌入中的元素，能夠很好地學(xué)習(xí)長(zhǎng)序列信息。多頭注意力首先對(duì)查詢嵌入、鍵嵌入與值嵌入進(jìn)行線性變換映射到多個(gè)不同子空間中，在子空間中分別執(zhí)行普通的注意力運(yùn)算后再合并結(jié)果，過程示意如圖3所示。

圖3 多頭注意力示意

多頭注意力首先將查詢嵌入Q、鍵嵌入K與值嵌入V線性映射到多個(gè)各異的子空間中（設(shè)子空間的個(gè)數(shù)為h，取輸入特征向量維數(shù)不大于6的最大公因數(shù)），再在各個(gè)子空間中并行執(zhí)行h次注意力函數(shù)，從而得到h個(gè)不同的注意力結(jié)果，即h個(gè)頭（head），最后將這些結(jié)果拼接起來并進(jìn)行線性變換，生成最后的注意力結(jié)果。

多頭的注意力運(yùn)算模式能夠從不同的特征表示子空間中學(xué)習(xí)到更多有價(jià)值的信息。顯然，在少樣本水閘圖像分類任務(wù)中，相比普通的注意力機(jī)制，多頭注意力機(jī)制更能達(dá)到綜合關(guān)注多種特征的要求，有利于網(wǎng)絡(luò)更加全面地捕捉水閘圖像中的關(guān)鍵信息，也可以更好地彌補(bǔ)時(shí)序卷積在長(zhǎng)距離依賴中的不足。

2.2 全局平均池化

MH-SNAIL 網(wǎng)絡(luò)的輸出層使用全連接層，將學(xué)習(xí)到的特征表示綜合起來并映射到樣本類別空間中，但全連接層存在參數(shù)多、訓(xùn)練速度慢的弊端，并且會(huì)將一定的特征存儲(chǔ)在這些參數(shù)中。本文考慮使用全局平均池化層來代替全連接層，先采用一個(gè)GAP將N個(gè)特征圖降維成一個(gè)1×N像素尺寸的特征圖，再用C個(gè)1×1 卷積核將1×N的特征圖卷成1×C的向量，其中C為類別數(shù)量，在本文的水閘啟閉狀態(tài)圖像分類問題中取2。通過這種替換方案，整個(gè)過程在維度上來看相當(dāng)于一層全連接層，但GAP能夠大大減少特征的維度，有利于提升訓(xùn)練速度。

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)數(shù)據(jù)及評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)使用本文第2小節(jié)所構(gòu)建的水閘圖像數(shù)據(jù)集sluice-ImageNet，共包含來自16類水閘的15 000幅84×84像素的彩色閘門啟閉狀態(tài)圖像樣本。為了方便實(shí)驗(yàn)，采用水平翻轉(zhuǎn)處理數(shù)據(jù)集的所有圖像，使得樣本數(shù)量擴(kuò)增為原數(shù)據(jù)集的兩倍。此時(shí)，為了保證每一個(gè)元任務(wù)中都能學(xué)習(xí)到多于一種水閘類型的樣本，必須設(shè)置類別數(shù)N不小于5。根據(jù)數(shù)據(jù)采樣規(guī)則，將數(shù)據(jù)集劃分為不同閘門且不同啟閉狀態(tài)的25 個(gè)子批，每個(gè)子批包含1 200 幅圖像。其中，9類閘門包含開啟態(tài)和關(guān)閉態(tài)的兩個(gè)子批，挑選其中8 個(gè)閘門的16 個(gè)子批作為訓(xùn)練集，將剩余1 個(gè)閘門的2個(gè)子批連同其他7個(gè)子批隨機(jī)劃分為測(cè)試集和驗(yàn)證集，具體數(shù)據(jù)集結(jié)構(gòu)如表1所示。

表1 數(shù)據(jù)集結(jié)構(gòu)

實(shí)驗(yàn)使用訓(xùn)練階段的平均驗(yàn)證準(zhǔn)確率（Validate Accuracy）和測(cè)試階段的測(cè)試準(zhǔn)確率（Test Accuracy）來評(píng)判所提方法的效果。在訓(xùn)練階段，每個(gè)epoch訓(xùn)練結(jié)束就進(jìn)行驗(yàn)證評(píng)估和統(tǒng)計(jì)每次驗(yàn)證的結(jié)果，取平均值作為一個(gè)epoch的驗(yàn)證準(zhǔn)確率。在測(cè)試階段，在測(cè)試集上構(gòu)建103個(gè)隨機(jī)任務(wù)，用訓(xùn)練階段每次驗(yàn)證準(zhǔn)確率最高的權(quán)重模型進(jìn)行測(cè)試，所得結(jié)果的平均值作為測(cè)試準(zhǔn)確率。其中，每次任務(wù)的驗(yàn)證與測(cè)試結(jié)果將會(huì)取95%的置信區(qū)間。

3.2 實(shí)驗(yàn)環(huán)境及配置

實(shí)驗(yàn)的所有網(wǎng)絡(luò)模型均運(yùn)行于相同的軟硬件環(huán)境，其詳細(xì)軟硬件環(huán)境配置如表2所示。

表2 實(shí)驗(yàn)軟硬件環(huán)境配置

實(shí)驗(yàn)采用了5-way 1shot和5-way 5-shot這兩種任務(wù)的方式，使用批處理大?。╞atch size）為16、初始學(xué)習(xí)率為1×10-4的Adam 優(yōu)化算法調(diào)整模型的參數(shù)，設(shè)置訓(xùn)練次數(shù)（epoch）為100，每次訓(xùn)練的元任務(wù)數(shù)為103，學(xué)習(xí)率每訓(xùn)練20次迭代減半，權(quán)重衰減為10-6。訓(xùn)練階段，每完成一次訓(xùn)練就進(jìn)行驗(yàn)證評(píng)估，并統(tǒng)計(jì)每一次驗(yàn)證結(jié)果，將其中驗(yàn)證準(zhǔn)確率最高的權(quán)重模型保存下來，作為測(cè)試階段的模型。

3.3 實(shí)驗(yàn)結(jié)果與分析

為了評(píng)估MH-SNAIL 在水閘啟閉狀態(tài)圖像識(shí)別任務(wù)上的性能，選擇匹配網(wǎng)絡(luò)、MAML、原型網(wǎng)絡(luò)和關(guān)系網(wǎng)絡(luò)這4 種經(jīng)典的元學(xué)習(xí)方法與本文的MH-SNAIL 方法進(jìn)行比較，通過與少樣本圖像分類領(lǐng)域內(nèi)的其他常用方法比較，進(jìn)一步驗(yàn)證本文的MH-SNAIL方法的有效性。

表3中展示了各方法在sluice-ImageNet 數(shù)據(jù)集上以5-way 1-shot 和5-way 5-shot 的訓(xùn)練方式進(jìn)行訓(xùn)練后得到的測(cè)試準(zhǔn)確率。從表3 可以看出，MHSNAIL方法在sluice-ImageNet數(shù)據(jù)集上的表現(xiàn)明顯優(yōu)于這些方法。在1-shot 場(chǎng)景下，MH-SNAIL 相較于匹配網(wǎng)絡(luò)、MAML、原型網(wǎng)絡(luò)和關(guān)系網(wǎng)絡(luò)分別具有11.78%，8.01%，7.46%和5.18%的分類性能提升；在5-shot場(chǎng)景下，則分別具有11.94%，5.57%，4.48%和6.42%的分類性能提升。這有力地驗(yàn)證了本文提出的MH-SNAIL方法的有效性和優(yōu)越性。另外，在5-way 5-shot 情景下，MH-SNAIL 方法的分類準(zhǔn)確率為70.34%，初步達(dá)到了跨水閘類型閘門啟閉狀態(tài)圖像識(shí)別應(yīng)用的要求。

表3 在sluice-ImageNet上與其他方法的分類準(zhǔn)確率對(duì)比

本文采用Python 編程語言，基于TensorFlow 深度學(xué)習(xí)框架實(shí)現(xiàn)了MH-SNAIL模型。模型將應(yīng)用在重點(diǎn)水利工程視頻監(jiān)測(cè)平臺(tái)中。模型部署時(shí)，首先將訓(xùn)練好的模型導(dǎo)出為ONNX格式，然后在GPU服務(wù)器上加載ONNX 模型，以加速模型推理的速度。監(jiān)測(cè)平臺(tái)通過模型提供的Restful接口進(jìn)行交互。模型接收用戶通過平臺(tái)Web界面上傳的JPG或PNG格式的水閘圖像，或者對(duì)接平臺(tái)獲取的實(shí)時(shí)視頻，收到圖像信息后在服務(wù)器上進(jìn)行推理，并將水閘實(shí)時(shí)狀態(tài)識(shí)別結(jié)果以JSON格式的報(bào)文發(fā)送給用戶平臺(tái)。

4 結(jié) 語

提出了基于元學(xué)習(xí)的少樣本水閘圖像識(shí)別方法，采用多頭注意力，提升網(wǎng)絡(luò)準(zhǔn)確捕捉多種與任務(wù)相關(guān)的關(guān)鍵特征信息的能力，更好地與時(shí)序卷積協(xié)作實(shí)現(xiàn)水閘啟閉狀態(tài)圖像識(shí)別。在sluice-ImageNet 數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了MH-SNAIL 方法的有效性和優(yōu)越性，初步達(dá)到了跨水閘類型閘門啟閉狀態(tài)圖像識(shí)別應(yīng)用的要求，并且，通過微服務(wù)架構(gòu)實(shí)現(xiàn)水閘圖像識(shí)別方法的服務(wù)化封裝，部署于重點(diǎn)水利工程視頻監(jiān)測(cè)平臺(tái)中，具有高度靈活性和拓展性。該方法可作為防汛視頻監(jiān)控系統(tǒng)的延伸，輔助或代替人工監(jiān)管，提高異常情況監(jiān)測(cè)的實(shí)時(shí)性，實(shí)現(xiàn)更智能的化水利工程管理的運(yùn)行。