基于殘差網(wǎng)絡(luò)的風(fēng)向自記圖識(shí)別方法

陳 艷，李永利，馬志強(qiáng),3，王洪彬，張 立

(1.內(nèi)蒙古工業(yè)大學(xué) 數(shù)據(jù)科學(xué)與應(yīng)用學(xué)院，內(nèi)蒙古 呼和浩特 010080； 2.內(nèi)蒙古自治區(qū)氣象局 內(nèi)蒙古自治區(qū)氣象信息中心，內(nèi)蒙古 呼和浩特 010051； 3.內(nèi)蒙古工業(yè)大學(xué) 內(nèi)蒙古自治區(qū)基于大數(shù)據(jù)的軟件服務(wù)工程技術(shù)研究中心，內(nèi)蒙古 呼和浩特 010080)

0 引 言

風(fēng)向自記圖是我國氣象領(lǐng)域保存的珍貴氣象數(shù)據(jù)資料之一，將風(fēng)向自記圖信息提取加以利用有利于災(zāi)害防治、能源利用。1971年到2010年內(nèi)蒙古自治區(qū)氣象監(jiān)測(cè)站使用自行研制的EL型電接風(fēng)向風(fēng)速計(jì)(EL type electric wind direction anemometer)通過風(fēng)向標(biāo)擺動(dòng)信號(hào)來記錄24小時(shí)內(nèi)風(fēng)向風(fēng)速的變化信息。由于保存的風(fēng)向自記圖過于龐大不利于查閱某一時(shí)刻的風(fēng)向信息，使得這部分寶貴的氣象數(shù)據(jù)資料得不到有效的開發(fā)利用。通過對(duì)風(fēng)向自記圖識(shí)別技術(shù)的改進(jìn)和完善使得風(fēng)向自記圖可以充分利用。這對(duì)氣象工作者與資料信息化建設(shè)都具有重要的應(yīng)用價(jià)值。

然而，國內(nèi)很少有人對(duì)風(fēng)向自記圖識(shí)別進(jìn)行研究。近十年國內(nèi)對(duì)珍貴的氣象資料的研究取得了顯著進(jìn)步，屈志毅等[1]通過對(duì)自記曲線分割、跟蹤，識(shí)別出風(fēng)向自記紙上的曲線所表征的數(shù)據(jù)。葉闖等[2]通過對(duì)自記曲線進(jìn)行人工標(biāo)記，采用區(qū)域分割和投影的方法，將風(fēng)向自記圖中的風(fēng)向曲線進(jìn)行量化。但是這些方法容易受到墨跡污染、斷裂等干擾因素的影響，且需要耗費(fèi)大量的人力。我們?cè)谘芯砍跗诓捎米罨镜木矸e神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)對(duì)自記圖進(jìn)行風(fēng)向識(shí)別，但是由于自記圖存在有背景文字干擾、特征所在區(qū)域固定，以及卷積神經(jīng)網(wǎng)絡(luò)存在提取局部近鄰區(qū)域特征等問題，導(dǎo)致了識(shí)別準(zhǔn)確率較低，在top-1上僅有50%的準(zhǔn)確率。研究表明自注意力機(jī)制(self-attention mechanism)能夠?qū)崿F(xiàn)特征的加權(quán)表示[3]。國內(nèi)外均已對(duì)自注意力機(jī)制進(jìn)行了研究并成功地應(yīng)用于自然語言處理等研究中。目前，自注意力機(jī)制在圖像識(shí)別領(lǐng)域也得到了很多的應(yīng)用。

本文以內(nèi)蒙古自治區(qū)氣象信息中心風(fēng)向自記圖數(shù)據(jù)為基礎(chǔ)，分別采用一維與二維表示形式作為模型不同階段的輸入數(shù)據(jù)，提出在殘差網(wǎng)絡(luò)中引入自注意力機(jī)制，構(gòu)建殘差網(wǎng)絡(luò)和自注意力機(jī)制相結(jié)合的風(fēng)向自記圖識(shí)別模型。風(fēng)向自記圖識(shí)別模型的提出能夠有效提取風(fēng)向特征，降低風(fēng)向自記圖的背景干擾、網(wǎng)絡(luò)局部近鄰等問題帶來的不良影響，提高模型的識(shí)別效果。

1 相關(guān)理論

1.1 風(fēng)向自記圖

氣象上把風(fēng)吹來的方向確定為風(fēng)的方向[4]。風(fēng)向測(cè)量用方位來表示，常采用16個(gè)方位表示(即16個(gè)類別)。使用角度表示方位，以北風(fēng)(N)為0度，順時(shí)針風(fēng)向每轉(zhuǎn)過22.5度為一個(gè)方位，其余依此類推。

風(fēng)向自記圖通過EL型風(fēng)向風(fēng)速計(jì)記錄每隔10 min的風(fēng)向方位。風(fēng)向方位記錄從整點(diǎn)開始，記錄結(jié)果為紙質(zhì)資料，如圖1所示。圖1中展示了內(nèi)蒙古某觀察站某天0時(shí)到24時(shí)的風(fēng)向記錄結(jié)果。

圖1 風(fēng)向自記圖紙

圖1中有145條豎直線和4條水平線，豎線一格表示10 min，橫線表示風(fēng)向參照線。自記圖中從上到下風(fēng)向參照線為：南風(fēng)(S)/北風(fēng)(N)、東北風(fēng)(EN)/西南風(fēng)(WS)、東風(fēng)(E)/西風(fēng)(W)、東南風(fēng)(EN)/西北(WN)。另外8個(gè)風(fēng)向 (NNE、ENE、ESE、SSE、SSW、WSW、WNW、NNW) 由南風(fēng)(S)/北風(fēng)(N)、東風(fēng)(E)/西風(fēng)(W)兩條風(fēng)向參照線和東北風(fēng)(EN)/西南風(fēng)(WS)、東南風(fēng)(EN)/西北(WN)兩條風(fēng)向參照線組合得到。氣象觀察員根據(jù)某時(shí)刻自記圖中風(fēng)向方位空間上的記錄痕跡確定風(fēng)向方位。若某一時(shí)刻的風(fēng)向曲線位于南/北風(fēng)向參照線的上方，就代表是南風(fēng)；位于此南/北風(fēng)向照線的下方，就代表是北風(fēng)；同時(shí)出現(xiàn)在西風(fēng)參照線和西北風(fēng)參照線，則此時(shí)刻風(fēng)向?yàn)槲鞅蔽?。如圖1中方框標(biāo)出10 min片段，觀察風(fēng)向方位空間中的記錄痕跡，則確定該時(shí)刻的風(fēng)向?yàn)槲鞅憋L(fēng)(WN)。

1.2 ResNet網(wǎng)絡(luò)

K.He等[5]提出一種深度殘差網(wǎng)絡(luò)(deep residual network，ResNet)，該方法在ILSVRC(large scale visual reco-gnition challenge 2015)圖像分類任務(wù)上獲得第一名，是卷積神經(jīng)網(wǎng)絡(luò)的一個(gè)里程碑。ResNet是一種易優(yōu)化且計(jì)算負(fù)擔(dān)小的殘差學(xué)習(xí)框架，主要優(yōu)點(diǎn)是可以利用更深層次的網(wǎng)絡(luò)解決訓(xùn)練誤差隨網(wǎng)絡(luò)層數(shù)的增加而增大的問題[6]。因此，以ResNet為基線模型實(shí)現(xiàn)對(duì)自記圖的風(fēng)向識(shí)別。

ResNet網(wǎng)絡(luò)的關(guān)鍵結(jié)構(gòu)是在傳統(tǒng)的網(wǎng)絡(luò)中增加了恒等映射(identity mapping)，如圖2所示，使某一層的速出可以直接跨越中間幾層作為后面一層的輸入。圖中的x為輸入向量，H(x)為網(wǎng)絡(luò)的理想輸出向量，F(xiàn)(x)為待訓(xùn)練的殘差映射。隨著網(wǎng)絡(luò)的不斷加深，殘差網(wǎng)絡(luò)將擬合F(x)，此時(shí)實(shí)際映射為H(x)=F(x)+x。當(dāng)模型達(dá)到較飽和狀態(tài)時(shí)F(x)=0，此時(shí)H(x)=x。這樣ResNet網(wǎng)絡(luò)只需要學(xué)習(xí)輸入和輸出的差別部分，解決了輸入輸出之間信息丟失、使訓(xùn)練過程簡單化，從一定程度上可以解決深度卷積神經(jīng)網(wǎng)絡(luò)的梯度消失等問題。

圖2 殘差塊結(jié)構(gòu)

1.3 自注意力機(jī)制

自注意力機(jī)制(self-attention mechanism)的概念由Vaswani等[7]針對(duì)機(jī)器翻譯問題提出，又稱為內(nèi)部注意力機(jī)制，是注意力機(jī)制的一種特殊情況。自注意力機(jī)制在注意力機(jī)制模型的基礎(chǔ)上進(jìn)行了改進(jìn)，提出了一種縮放點(diǎn)積注意力(scaled dot-product attention)。自注意力機(jī)制的本質(zhì)是學(xué)習(xí)不同特征之間的交互信息，為不同的特征分配不同的權(quán)重，使得分類特征更具有表達(dá)能力。自注意力機(jī)制如圖3所示。

圖3 自注意力機(jī)制

其中X∈RF×d為Query、Key和Value對(duì)應(yīng)的矩陣，通過非線性變化將Query、Key映射到同一個(gè)空間中(如式(1)，式(2)所示)，得到對(duì)應(yīng)參數(shù)矩陣，然后進(jìn)行相似度計(jì)算，為每個(gè)特征分配不同得權(quán)重，得到相似度矩陣s(如式(3)所示)。最后，相似度矩陣s和Value按位相乘，得到帶有自注意力機(jī)制權(quán)重得輸出矩陣a(如式(4)所示)

Q′=ReLU(XWQ)

(1)

K′=ReLU(XWK)

(2)

(3)

a=sV

(4)

2 風(fēng)向自記圖識(shí)別模型

由于自記圖中存在字跡涂抹、風(fēng)向記錄痕跡不清的問題，如果直接將原始的風(fēng)向自記圖輸入風(fēng)向自記圖識(shí)別模型中，會(huì)影響模型對(duì)風(fēng)向特征的提取，降低風(fēng)向自記圖識(shí)別模型準(zhǔn)確率。因此，我們?cè)赗esNet殘差網(wǎng)絡(luò)的基礎(chǔ)上，通過在數(shù)據(jù)處理的不同階段分別輸入自記圖的一維與二維數(shù)據(jù)，并且引入自注意力機(jī)制，設(shè)計(jì)了一種基于殘差網(wǎng)絡(luò)的自注意力風(fēng)向自記圖識(shí)別模型(self-attention deep resi-dual network，SAT-ResNet)。

2.1 模型結(jié)構(gòu)

基于殘差網(wǎng)絡(luò)的自注意力風(fēng)向自記圖識(shí)別模型由卷積模塊、殘差模塊、自注意力模塊以及分類器模塊構(gòu)成，如圖4所示。

圖4 SAT-ResNet模型結(jié)構(gòu)

卷積模塊由卷積層、批歸一化層組成，提取一維風(fēng)向自記圖中風(fēng)向幅值變化特征。殘差模塊通過堆疊預(yù)激活方式連接的殘差單元加深網(wǎng)絡(luò)深度，殘差單元把輸入信息直接作為輸出信息，保護(hù)信息的完整性，減少模型參數(shù)量，抽取豐富的風(fēng)向自記圖信息。殘差模塊和自注意力模塊間有批歸一化層，用于殘差模塊和自注意力模塊的過渡，防止梯度爆炸或消失、更好保留風(fēng)向自記圖的紋理信息。自注意力模塊通過增加自注意力機(jī)制，只通過自身更新學(xué)習(xí)的參數(shù)，對(duì)給定的風(fēng)向特征進(jìn)行修正。另外將自注意力權(quán)重值固定在[0,1]之間，根據(jù)風(fēng)向特征中每個(gè)像素位置的貢獻(xiàn)分配不同的權(quán)重，生成關(guān)注有用圖像信息的自注意力矩陣。分類器模塊包括全連接層和softmax層，對(duì)特征進(jìn)行重新擬和，計(jì)算風(fēng)向類別概率。風(fēng)向自記圖識(shí)別模型實(shí)現(xiàn)了卷積與自注意力的交互，更關(guān)注目標(biāo)區(qū)域的分類特征，使風(fēng)向自記圖分類特征更具區(qū)別性。

2.2 一維數(shù)據(jù)表示

模型中風(fēng)向圖的輸入包括風(fēng)向自記圖一維和二維數(shù)據(jù)。風(fēng)向自記圖一維數(shù)據(jù)是將原始的風(fēng)向自記圖進(jìn)行一維化，能夠?qū)⒉煌瑓^(qū)域位置處風(fēng)向記錄量化，彌補(bǔ)風(fēng)向自記圖字跡涂抹、部分信息缺失的問題，有效轉(zhuǎn)換風(fēng)向幅值變化。但是單純使用一維風(fēng)向自記圖數(shù)據(jù)，會(huì)忽略風(fēng)向自記圖中內(nèi)在的相對(duì)空間位置特征。風(fēng)向自記圖二維數(shù)據(jù)就是原始的風(fēng)向自記圖格式數(shù)據(jù)。

下文將詳細(xì)介紹風(fēng)向自記圖一維化的表示方法。

首先采用二值化算法對(duì)風(fēng)向自記圖進(jìn)行顏色過濾。假設(shè)f(x,>y)表示風(fēng)向自記圖的像素值，T表示閾值，則

(5)

(6)

其中，Pmax為最大像素值，Pmin為最小像素值，0表示風(fēng)向痕跡的像素，255表示背景的像素和不存在記錄風(fēng)向痕跡的像素。然后對(duì)原始風(fēng)向自記圖矩陣X使用滑動(dòng)窗口進(jìn)行分塊，組成新的風(fēng)向自記圖矩陣X′

(7)

(8)

(9)

計(jì)算出每一塊子風(fēng)向自記圖矩陣的均值后，將每一塊子風(fēng)向自記圖矩陣的均值拼接構(gòu)成表征原始風(fēng)向自記圖信息的特征向量[b1,>b2,>…,>bn]。

通過以上步驟就可以得到風(fēng)向自記圖一維化數(shù)據(jù)(B1,B2,>…,>Bm)。

2.3 模型識(shí)別原理

風(fēng)向自記圖識(shí)別模型采用風(fēng)向自記圖一維數(shù)據(jù){B1,B2,>…,>Bm}作為輸入，輸入信息經(jīng)卷積模塊得到初步卷積輸出dj，如式(10)所示

(10)

其中，Mj表示輸入風(fēng)向自記圖的特征圖，ki表示輸入數(shù)據(jù)與卷積核連接權(quán)重，f(>?>)表示激活函數(shù)，b表示偏置向量。然后將原始的風(fēng)向自記圖Z={z1,>z2,>…,>zn}和卷積模塊輸出信息dj一起輸入殘差模塊，經(jīng)多個(gè)殘差塊進(jìn)行了2次卷積操作，殘差單元同時(shí)更新Wi和F(g(dj,>zj)i)參數(shù)，如式(11)、式(12)所示

g(dj,zj)=[dj;zj]

(11)

(12)

其中，[dj；>zj]表示經(jīng)卷積模塊提取的風(fēng)向特征拼接原始風(fēng)向自記圖，F(xiàn)(g(dj,>zj)i)表示殘差模塊輸入的恒等映射，L(>?>)表示殘差函數(shù)，hI表示經(jīng)殘差模塊后經(jīng)激活函數(shù)處理后的特征圖矩陣，Wi表示權(quán)重參數(shù)。之后經(jīng)殘差模塊的特征輸入到自注意力模塊，在隱變量的基礎(chǔ)上產(chǎn)生相似度矩陣，得到帶有自注意力機(jī)制權(quán)重得輸出矩陣(如式(13)～式(15)所示)

ri=Ftran(hI)

(13)

(14)

Yi=Self-Attention=Attention(ci-1,ci,ci+1)

(15)

其中，F(xiàn)tran表示過渡層，Y表示自注意力矩陣，WQ、WK、WV表示參數(shù)矩陣。最后經(jīng)分類器模塊進(jìn)行的計(jì)算類別概率，采用的損失函數(shù)是交叉熵，得到最終的風(fēng)向值(如式(16)所示)

(16)

其中，F(xiàn)out表示模型分類器模塊。

2.4 風(fēng)向識(shí)別算法

SAT-ResNet風(fēng)向自記圖識(shí)別模型的詳細(xì)識(shí)別算法過程見表1。

表1 SAT-ResNet風(fēng)向自記圖識(shí)別模型識(shí)別算法

3 實(shí)驗(yàn)設(shè)置與評(píng)價(jià)指標(biāo)

3.1 風(fēng)向自記圖數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)采用內(nèi)蒙古自治區(qū)某氣象監(jiān)測(cè)站連續(xù)3年(1991-1993)觀測(cè)到的地面風(fēng)場(chǎng)的逐時(shí)數(shù)據(jù)，并切割成單獨(dú)的風(fēng)向自記圖，模式為RGB三通道圖像，存儲(chǔ)格式為JPG格式，固定大小為615×27像素(高615像素，寬27像素)。使用只有二維風(fēng)向自記圖數(shù)據(jù)與一維與二維相結(jié)合的風(fēng)向自記圖數(shù)據(jù)對(duì)所提方法可行性進(jìn)行驗(yàn)證。風(fēng)向自記圖共有26 208張，將數(shù)據(jù)整體混洗打亂后，劃分為訓(xùn)練集(80%)和測(cè)試集(20%)兩個(gè)部分，訓(xùn)練集共有20 967張，測(cè)試集共有5241張。實(shí)驗(yàn)風(fēng)向自記圖初始數(shù)據(jù)統(tǒng)計(jì)如圖5所示。

圖5 風(fēng)向自記圖初始數(shù)據(jù)統(tǒng)計(jì)

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

風(fēng)向自記圖識(shí)別模型訓(xùn)練超參數(shù)設(shè)置，批訓(xùn)練樣本數(shù)(batch_size)為64，模型迭代次數(shù)(iteration)為256，學(xué)習(xí)率采用動(dòng)態(tài)調(diào)整策略，初始值為0.001，采用自適應(yīng)矩陣估計(jì)(adaptive moment estimation，Adam)優(yōu)化算法進(jìn)行訓(xùn)練。為保存模型參數(shù)，每輪迭代訓(xùn)練完成之后，通過觀察損失值是否下降來決定是否保存當(dāng)前訓(xùn)練模型，得到模型參數(shù)用于測(cè)試集風(fēng)向自記圖識(shí)別。

為了增加實(shí)驗(yàn)的對(duì)比性，將SAT-ResNet模型和下列圖像識(shí)別模型在相同的數(shù)據(jù)集下進(jìn)行對(duì)比分析實(shí)驗(yàn)。

(1)CNN模型。CNN模型是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)。采用CNN-4，CNN-6，CNN-8作為對(duì)比實(shí)驗(yàn)。

(2)ResNet模型。采用K.He等[5]描述的ResNet網(wǎng)絡(luò)模型。采用ResNet-18，ResNet-34，ResNet-50作為對(duì)比實(shí)驗(yàn)。

3.3 評(píng)價(jià)指標(biāo)

在自記圖風(fēng)向識(shí)別中，使用top-1識(shí)別準(zhǔn)確率(accuracy)來評(píng)價(jià)風(fēng)向識(shí)別模型的實(shí)驗(yàn)結(jié)果，即使用訓(xùn)練的識(shí)別模型對(duì)測(cè)試集進(jìn)行分類預(yù)測(cè)，每一數(shù)據(jù)只能預(yù)測(cè)一個(gè)類別標(biāo)簽，若預(yù)測(cè)準(zhǔn)確則準(zhǔn)確，否則反之。也就是將分類正確的風(fēng)向自記圖與參加測(cè)試的風(fēng)向自記圖總數(shù)相除，可以表示為

(17)

式中：tp表示被分類正確的自記圖數(shù)，fp表示被分類錯(cuò)誤的自記圖數(shù)。準(zhǔn)確率的值越大，表示風(fēng)向識(shí)別模型的識(shí)別率越高，模型性能越好。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 訓(xùn)練過程分析

模型損失值用來衡量模型收斂速度和模型對(duì)訓(xùn)練風(fēng)向自記圖數(shù)據(jù)分布的擬合程度。圖6表示各模型在100輪迭代過程中一維和二維風(fēng)向自記圖訓(xùn)練集上損失值的變化。

圖6 模型訓(xùn)練損失率變化

圖6的結(jié)果表明，各模型在訓(xùn)練集上損失值隨著迭代次數(shù)的增加出現(xiàn)明顯的波動(dòng)，但整體呈現(xiàn)下降趨勢(shì)。隨著迭代次數(shù)增加CNN、ResNet模型的收斂過程波動(dòng)較大，SAT-ResNet-18模型的收斂速度較其它模型收斂速度較快且較平緩。由此可看出SAT-ResNet模型較其它模型收斂過程更加平穩(wěn)，收斂效果更好。

4.2 模型對(duì)比實(shí)驗(yàn)

圖7(a)、圖7(b)表示一維和二維風(fēng)向自記圖數(shù)據(jù)的風(fēng)向自記圖訓(xùn)練集、測(cè)試集上各模型在50輪迭代過程中準(zhǔn)確率的變化。從圖7可以看出，不同的模型在迭代過程中訓(xùn)練準(zhǔn)確率變化呈現(xiàn)不同特點(diǎn)。CNN、ResNet模型在中途迭代過程中準(zhǔn)確率出現(xiàn)波動(dòng)較大的情況。對(duì)于SAT-ResNet模型中途雖出現(xiàn)波動(dòng)情況，隨著訓(xùn)練深入，準(zhǔn)確率趨于平緩且呈上升趨勢(shì)。但是在測(cè)試集上各模型的準(zhǔn)確率隨著迭代次數(shù)增加總體呈上升趨勢(shì)，最終趨于穩(wěn)定。說明SAT-ResNet-18模型能夠提高對(duì)重點(diǎn)區(qū)域特征的學(xué)習(xí)，增大重點(diǎn)區(qū)域?qū)Ψ诸惤Y(jié)果的貢獻(xiàn)，更有效地去擬合預(yù)測(cè)錯(cuò)誤的樣本，提高風(fēng)向自記圖識(shí)別任務(wù)的準(zhǔn)確率。本文提出的模型在不同的數(shù)據(jù)下與其它對(duì)比模型的實(shí)驗(yàn)結(jié)果，見表2。

圖7 模型準(zhǔn)確率變化

表2為不同模型在不同的數(shù)據(jù)、不同深度下的風(fēng)向自記圖識(shí)別準(zhǔn)確率結(jié)果。從上面表格可以看出，隨著CNN網(wǎng)絡(luò)深度的加深，模型的準(zhǔn)確率開始下降，說明單一的增加卷積神經(jīng)網(wǎng)絡(luò)的深度，對(duì)風(fēng)向自記圖識(shí)別任務(wù)的效果不顯著。在單一的二維風(fēng)向自記圖數(shù)據(jù)下，隨著ResNet網(wǎng)絡(luò)深度的加深，模型的準(zhǔn)確率有0.21%的提升，而SAT-ResNet-18模型準(zhǔn)確率相對(duì)于ResNet-50模型提高了1.56%，而相對(duì)于同等深度模型準(zhǔn)確率提高了1.77%?？梢?，提出的模型與普通的ResNet相比具有更高準(zhǔn)確率。在一維和二維風(fēng)向自記圖數(shù)據(jù)下，隨著ResNet網(wǎng)絡(luò)深度的加深，模型的準(zhǔn)確率有1.72%的提升，而SAT-ResNet-18模型準(zhǔn)確率相對(duì)于ResNet-50模型提高了0.91%，相對(duì)于同等深度模型準(zhǔn)確率提高了2.63%。一維和二維風(fēng)向自記圖數(shù)據(jù)與只有二維風(fēng)向自記圖數(shù)據(jù)相比，SAT-ResNet-18模型有1.07%的提升?？梢?，在一維和二維風(fēng)向自記圖數(shù)據(jù)下自注意力機(jī)制能充分提取自記圖的關(guān)鍵特征，提高風(fēng)向自記圖識(shí)別模型的準(zhǔn)確率。

表2 不同的數(shù)據(jù)下不同模型實(shí)驗(yàn)結(jié)果對(duì)比

一維和二維風(fēng)向自記圖數(shù)據(jù)充分發(fā)揮數(shù)據(jù)的互補(bǔ)性，彌補(bǔ)單一數(shù)據(jù)所包含信息不完整的缺點(diǎn)。另外，風(fēng)向自記圖識(shí)別模型中自注意力模塊可以通過關(guān)聯(lián)單個(gè)單元的不同位置來獲得更加準(zhǔn)確的自記圖圖像內(nèi)部關(guān)鍵特征，結(jié)合ResNet網(wǎng)絡(luò)輸入、輸出之間路徑更短的優(yōu)點(diǎn)，提取不同維度的數(shù)據(jù)異構(gòu)信息，使得風(fēng)向自記圖識(shí)別模型優(yōu)于CNN、ResNet等單一表達(dá)域的模型。

5 結(jié)束語

基于風(fēng)向自記圖識(shí)別過程存在的風(fēng)向自記圖本身有背景文字干擾、特征所在區(qū)域固定以及卷積神經(jīng)網(wǎng)絡(luò)局部區(qū)域近鄰等問題，提出了一種殘差網(wǎng)絡(luò)和自注意力機(jī)制相結(jié)合的風(fēng)向自記圖識(shí)別模型。模型將一維數(shù)據(jù)風(fēng)向自記圖輸入殘差模塊完成初步特征提取，然后風(fēng)向特征和二維數(shù)據(jù)有效融合后輸入自注意力模塊將提取的特征賦予不同的權(quán)重，最后輸出到分類器完成風(fēng)向自記圖分類識(shí)別。

實(shí)驗(yàn)結(jié)果表明：①使用一維和二維風(fēng)向自記圖數(shù)據(jù)，可以有效地解決風(fēng)向自記圖字跡涂抹、部分信息缺失等問題；②通過與對(duì)比實(shí)驗(yàn)進(jìn)行對(duì)比，驗(yàn)證了SAT-ResNet模型擁有更高的準(zhǔn)確率，解決了風(fēng)向特征所在區(qū)域固定，以及跨越圖像區(qū)域的長距離、多層的依賴關(guān)系等問題，驗(yàn)證了所提出方法能夠有效實(shí)現(xiàn)風(fēng)向自記圖識(shí)別。

然而，目前對(duì)于風(fēng)向自記圖識(shí)別模型的研究仍然存在不足，模型對(duì)于同一張圖片中存在兩種風(fēng)向的風(fēng)向自記圖識(shí)別仍然不準(zhǔn)確，未來可以對(duì)此類風(fēng)向自記圖進(jìn)一步研究，提升風(fēng)向自記圖識(shí)別模型的準(zhǔn)確率。另外，只研究了風(fēng)向自記圖的識(shí)別任務(wù)，電接風(fēng)向風(fēng)速計(jì)還記錄了風(fēng)速自記圖，因此在以后的研究中，可以加入風(fēng)速識(shí)別，風(fēng)向風(fēng)速相結(jié)合的識(shí)別任務(wù)，可以為氣象研究人員提供更加便捷、直觀的歷史資料。