面向無(wú)人機(jī)風(fēng)機(jī)巡檢的光照條件分析方法①

張 靜,張 潔,燕正亮,張 增,王利偉,閆皓煒

(天津航天中為數(shù)據(jù)系統(tǒng)科技有限公司,天津 300450)

風(fēng)能是清潔能源,受到各國(guó)的廣泛關(guān)注.我國(guó)風(fēng)能資源豐富,修建了大量的風(fēng)場(chǎng)及風(fēng)機(jī),但風(fēng)機(jī)所處的環(huán)境通常比較惡劣,受到雨雪、雷電等自然因素的影響,風(fēng)機(jī)葉片容易出現(xiàn)腐蝕、裂紋、磨損和斷裂等缺陷,日常的巡檢維護(hù)是必不可少的.傳統(tǒng)的人工巡檢采用吊籃、回形平臺(tái)等方式進(jìn)行,工作量較大且巡檢效率低.隨著無(wú)人機(jī)在各行各業(yè)的廣泛應(yīng)用,基于無(wú)人機(jī)的風(fēng)機(jī)巡檢[1–3]已成為主流趨勢(shì).而基于無(wú)人機(jī)的風(fēng)機(jī)自主巡檢以其無(wú)人工干預(yù)、高效化地巡檢模式受到了極大的關(guān)注,風(fēng)機(jī)自主巡檢是預(yù)先根據(jù)風(fēng)機(jī)的形態(tài)進(jìn)行無(wú)人機(jī)航跡[4,5]和載荷姿態(tài)[6]的規(guī)劃,在作業(yè)中,無(wú)人機(jī)自主飛行,載荷自主動(dòng)作,對(duì)各葉片部位進(jìn)行高質(zhì)量成像,以便后續(xù)分析葉片是否存在缺陷.

在巡檢時(shí),風(fēng)機(jī)可能朝向任何方向,而各葉片相對(duì)塔筒的相位也是不同的,若光照條件不合適,如產(chǎn)生逆光拍攝,則葉片整體過(guò)暗,無(wú)法清晰分辨葉片出現(xiàn)的裂紋等缺陷,因此風(fēng)機(jī)巡檢過(guò)程中的光照分析是必不可少的.光照分析在圖像層面可以理解為曝光度分析,目前的曝光度分析大多基于灰度直方圖.趙芳等[7]以圖像的灰度直方圖為基礎(chǔ),計(jì)算平均灰度,依據(jù)峰值灰度和灰度圖像兩側(cè)是否存在零像素區(qū)域,估計(jì)圖像曝光量效果是否恰當(dāng).尹傳海[8]采用0和255 區(qū)域分析,像素加權(quán)和、兩端溢出等特性對(duì)曝光程度進(jìn)行分析.由于風(fēng)機(jī)一般呈白色,葉片等部位的像素值在正常光照下基本處于255 一側(cè),通常的灰度直方圖分析算法[9–11]難以適用.且基于圖像的光照分析算法只能在無(wú)人機(jī)起飛到達(dá)每個(gè)葉片部位拍攝后進(jìn)行判定,并在完成巡檢流程后進(jìn)行整體評(píng)估,此時(shí)若多個(gè)拍攝點(diǎn)出現(xiàn)光照異常情況,只能重新飛行,極大的影響作業(yè)的效率.本文提出一套從起飛前到作業(yè)中的光照分析算法,全面保證葉片巡檢中拍攝圖像的質(zhì)量.在巡檢前,基于規(guī)劃的航跡和載荷姿態(tài)及太陽(yáng)方位[12,13]進(jìn)行光照條件預(yù)判,以便對(duì)各拍照點(diǎn)的光照情況進(jìn)行綜合分析,對(duì)是否開(kāi)展飛行作業(yè)進(jìn)行指導(dǎo);在巡檢中,對(duì)風(fēng)機(jī)葉片、塔筒進(jìn)行分割得到關(guān)鍵部位區(qū)域,對(duì)關(guān)鍵區(qū)域的圖像進(jìn)行灰度分析,從而判定光照是否合適,同時(shí),本文引入基于加權(quán)均值的整幅圖像光照分析算法,以便全面覆蓋巡檢的各個(gè)時(shí)刻.

1 基于航跡規(guī)劃點(diǎn)的光照分析

基于航跡規(guī)劃點(diǎn)的光照分析是在起飛前,根據(jù)預(yù)先規(guī)劃的航點(diǎn)及載荷的姿態(tài),對(duì)載荷是否存在正對(duì)陽(yáng)光拍攝的情況進(jìn)行分析.在該情況下,拍攝出現(xiàn)逆光,風(fēng)機(jī)葉片在圖像中過(guò)暗,極大的影響后續(xù)的缺陷分析.

本文首先根據(jù)巡檢時(shí)間、當(dāng)?shù)鼐暥?、無(wú)人機(jī)姿態(tài)及載荷姿態(tài),對(duì)相機(jī)朝向和太陽(yáng)的方位進(jìn)行分析,判斷每個(gè)拍照點(diǎn)是否發(fā)生逆光,然后,對(duì)航跡中所有可能的逆光點(diǎn)進(jìn)行統(tǒng)計(jì),計(jì)算其在整個(gè)航跡中所占的比重,進(jìn)而完成當(dāng)前巡檢光照是否合適的預(yù)判.

1.1 太陽(yáng)方位計(jì)算

太陽(yáng)的方位包括高度角和方位角.本文的太陽(yáng)方位計(jì)算,參考李志明等在文獻(xiàn)[12]提出的方法.

太陽(yáng)高度角指太陽(yáng)光的入射方向和地平面之間的夾角.當(dāng)日出或日落時(shí),太陽(yáng)高度角為0 度(0 rad),當(dāng)正午時(shí)刻時(shí),太陽(yáng)高度角最大,計(jì)算公式如下:

其中,h是高度角,?表示當(dāng)?shù)鼐暥?δ 表示太陽(yáng)赤緯角.t表示太陽(yáng)時(shí)角.

太陽(yáng)赤緯角 δ指地球赤道平面與太陽(yáng)和地球中心的連線之間的夾角,計(jì)算公式如式(2).其中N表示天數(shù).

太陽(yáng)時(shí)角指地球自轉(zhuǎn)的角度.當(dāng)中午12 點(diǎn)時(shí),太陽(yáng)時(shí)角為0;上午時(shí),太陽(yáng)時(shí)角為負(fù)值;下午時(shí),太陽(yáng)時(shí)角為正值.計(jì)算公式如下,其中T表示24 小時(shí)制的時(shí)間.

太陽(yáng)方位角指太陽(yáng)光線在地平面的投影與當(dāng)?shù)刈游缇€的夾角.當(dāng)太陽(yáng)在正南方時(shí),太陽(yáng)方位角為0;當(dāng)太陽(yáng)向西運(yùn)動(dòng)時(shí),太陽(yáng)方位角增大;當(dāng)太陽(yáng)向東運(yùn)動(dòng)時(shí),太陽(yáng)方位角減小.計(jì)算公式如式(4),其中A表示方位角.

1.2 相機(jī)拍攝朝向計(jì)算

相機(jī)的拍攝朝向與飛機(jī)和載荷的姿態(tài)角相關(guān),分為俯仰角與方位角.一般,飛機(jī)和載荷的俯仰角PitchLoad0、PitchPlane均上正下負(fù),飛機(jī)方位角HeadingPlane真北為0,順時(shí)針為正.載荷方位角HeadingLoad0是相對(duì)值,與機(jī)頭指向一致為0,逆時(shí)針為正.因此,相機(jī)朝向的絕對(duì)方位角HeadingLoad和絕對(duì)俯仰角為PitchLoad的計(jì)算公式如下:

1.3 光照分析

太陽(yáng)的方位角以正南方為0,相機(jī)朝向以真北為0,順時(shí)針為正.將太陽(yáng)方位角轉(zhuǎn)換為與相機(jī)朝向同樣的坐標(biāo)系,轉(zhuǎn)換后的方位角A_h=A+180.單個(gè)航跡點(diǎn),若太陽(yáng)方位角A_h與相機(jī)朝向絕對(duì)方位角HeadingLoad相差小于閾值Thheading,且太陽(yáng)高度角與相機(jī)朝向俯仰角差值小于閾值Thpitch,則認(rèn)為相機(jī)可能指向太陽(yáng),即產(chǎn)生逆光,當(dāng)前航跡點(diǎn)的光照不合適.對(duì)當(dāng)前規(guī)劃的所有葉片拍攝航跡點(diǎn)的光照進(jìn)行分析,統(tǒng)計(jì)出現(xiàn)光照不合適的航跡點(diǎn)的數(shù)量,若大于所有航跡點(diǎn)的50%,則判定此次規(guī)劃的航跡在作業(yè)中光照可能不合適,建議暫時(shí)不進(jìn)行巡檢.

基于航跡規(guī)劃點(diǎn)的光照分析方法適用于晴天或者薄云場(chǎng)景,在云層非常厚的嚴(yán)重陰天情況下,由于陽(yáng)光較弱,逆光拍攝狀況減輕,會(huì)對(duì)本文的預(yù)判準(zhǔn)確性產(chǎn)生一定影響.但對(duì)于無(wú)人機(jī)的風(fēng)機(jī)巡檢任務(wù)來(lái)說(shuō),其作業(yè)通常會(huì)選擇天氣狀況較好的條件進(jìn)行,盡可能避免對(duì)巡檢圖像產(chǎn)生較大范圍的影響,出現(xiàn)葉片裂紋[14–16]無(wú)法分辨的情況,因此,本文方法適用于通常條件的無(wú)人機(jī)風(fēng)機(jī)巡檢.

2 基于圖像的光照分析

基于圖像的光照分析是在巡檢過(guò)程中,基于視頻圖像對(duì)當(dāng)前風(fēng)機(jī)影像的光照情況進(jìn)行分析,以便在出現(xiàn)光照過(guò)暗或者過(guò)亮?xí)r給出提示,及時(shí)調(diào)整曝光量,保證葉片拍攝的質(zhì)量.在風(fēng)機(jī)巡檢全流程中,基于圖像的光照分析主要分為兩種情況,一是圖像中無(wú)風(fēng)機(jī)關(guān)鍵部位或占比較小,與自然圖像類似,在光照正常時(shí),灰度直方圖的0 及255 端無(wú)顯著溢出.二是圖像中風(fēng)機(jī)關(guān)鍵部位占比較大,在光照正常時(shí),灰度直方圖在255 端呈溢出狀態(tài).

本文基于圖像的光照分析方法的流程圖如圖1.

圖1 基于圖像的光照分析流程圖

首先基于無(wú)人機(jī)巡檢視頻對(duì)風(fēng)機(jī)的葉片和塔筒關(guān)鍵部位進(jìn)行分割,若關(guān)鍵部位在視頻圖像中占比較小,則采用加權(quán)均值方法對(duì)當(dāng)前整幅圖像的光照情況進(jìn)行判別,若關(guān)鍵部位的占比較大,則對(duì)關(guān)鍵部位的灰度均值進(jìn)行分析得到光照判別的結(jié)果.

2.1 葉片及塔筒分割

本文采用Mobilnetv2 作為基礎(chǔ)網(wǎng)絡(luò)進(jìn)行葉片和塔筒的分割.MobilNet[17]是Google 針對(duì)手機(jī)等嵌入式設(shè)備提出的一種輕量級(jí)的深層卷積神經(jīng)網(wǎng)絡(luò),利用通道可分離的卷積有效減少網(wǎng)絡(luò)參數(shù),提高運(yùn)算速度.Mobile-Net v2[18]則引入Linear Bottleneck和Inverted Residuals增強(qiáng)網(wǎng)絡(luò)的表達(dá)能力.具體地,本文的網(wǎng)絡(luò)結(jié)構(gòu)如表1所示,其中,n表示模塊的重復(fù)數(shù)量,c表示通道數(shù),s表示stride,t表示中間卷積層通道的擴(kuò)增倍數(shù).bottleneck的連接方式如圖2所示,在stride為1 時(shí),采用殘差連接方式,即將bottleneck 的輸入連接到輸出,在s為2時(shí),采用普通的順序連接.同時(shí),本文在原始MobileNet v2網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)一步減少了通道數(shù),提高了葉片和塔筒的分割效率.

圖2 bottleneck 結(jié)構(gòu)

表1 分割的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)

參考DeepLab[19–21]語(yǔ)義分割算法,在網(wǎng)絡(luò)輸出部分,本文將第1 個(gè)和第13 個(gè)bottleneck 的特征作為低維度特征,最后一個(gè)bottleneck 的輸出作為高維度特征.對(duì)高維度特征分別進(jìn)行Ratio為8,16,24 的空洞卷積得到多感受野組合特征.將多感受野組合特征與兩個(gè)低緯度特征進(jìn)行采樣及聯(lián)合后經(jīng)卷積解碼得到分割結(jié)果,即mask 圖像,葉片和塔筒關(guān)鍵部位目標(biāo)點(diǎn)為1,非目標(biāo)點(diǎn)為0.

2.2 關(guān)鍵部位光照分析

若mask 圖像中關(guān)鍵部位像素點(diǎn)與整幅圖像像素點(diǎn)的比例大于Tharea,則進(jìn)行關(guān)鍵部位的光照分析,即計(jì)算關(guān)鍵部位區(qū)域圖像的灰度均值,若均值小于Thlow或者大于Thhigh,則認(rèn)為存在光照過(guò)度或者光照不足的異常情況.

2.3 整幅圖像光照分析

若mask 圖像中關(guān)鍵部位不存在或者關(guān)鍵部位像素點(diǎn)極少,則上述關(guān)鍵部位光照分析方法無(wú)法適用.本文采用加權(quán)均值的方法對(duì)整幅圖像進(jìn)行光照分析.一般,自然圖像的灰度直方圖,在光照異常的情況下,0 或者255 端可能存在溢出,那么灰度直方圖中間區(qū)域?qū)庹赵u(píng)判結(jié)果影響較小,兩側(cè)對(duì)評(píng)判結(jié)果影響較大.本文分別給像素值0–128 賦予遞減的權(quán)重值,給129–255賦予遞增的權(quán)重值,采用下式方法求加權(quán)均值Sum,加權(quán)均值越大則光照異常的可能性越高.其中,weight(i)表示像素值i的權(quán)重,p(i)表示像素i在灰度直方圖中的歸一化值.

各像素值的權(quán)重采用高斯分布進(jìn)行賦值.其中μ 取128,σ 取30.

3 試驗(yàn)結(jié)果

3.1 基于航跡規(guī)劃點(diǎn)的光照分析

本文對(duì)一段包含277 個(gè)點(diǎn)的航跡在不同日期不同時(shí)刻進(jìn)行光照預(yù)判斷,并對(duì)各航跡規(guī)劃點(diǎn)的光照分析結(jié)果進(jìn)行統(tǒng)計(jì).圖3展示了部分航跡規(guī)劃點(diǎn),其中l(wèi)oadHeadingPitchRoll 表示載荷的方位角、俯仰角和橫滾角;planeHeadingPitchRoll 表示無(wú)人機(jī)的方位角、俯仰角和橫滾角.pos 表示經(jīng)緯高信息.在巡檢過(guò)程中,無(wú)人機(jī)的方位角進(jìn)行變化,以便輔助調(diào)整載荷指向,俯仰角和橫滾角保持為0;載荷的方位角和俯仰角進(jìn)行變化,以便調(diào)整相機(jī)的方位拍攝指向和俯仰拍攝指向,來(lái)覆蓋葉片的各個(gè)部位.

圖3 部分航跡規(guī)劃點(diǎn)

表2展示了其中第1、147、264 個(gè)點(diǎn)在2020年1月1日8:00、14:00、17:00 的檢核結(jié)果,1 表示出現(xiàn)光照異常,0 表示光照正常.

表2 基于航跡規(guī)劃的光照分析結(jié)果

不同日期不同時(shí)刻航跡規(guī)劃點(diǎn)的光照異常統(tǒng)計(jì)結(jié)果如表3所示.20200101,8:00,出現(xiàn)光照不合格的航跡點(diǎn)的比例為42.6%,14:00 的比例為26.7%,18:00 的比例為52.7%.20200623,8:00 出現(xiàn)光照不合格的航跡點(diǎn)的比例為3.6%,14:00為0,18:00為6.4%,可以看出,本文算法符合北半球光照可能異常的規(guī)律,具有較好的光照異常推斷效果.

表3 航跡規(guī)劃點(diǎn)光照異常統(tǒng)計(jì)結(jié)果

為了進(jìn)一步評(píng)價(jià)光照條件分析的準(zhǔn)確性,本文分別對(duì)3 個(gè)不同時(shí)刻的風(fēng)機(jī)巡檢情況進(jìn)行分析,在巡檢中,相機(jī)采用固定參數(shù)拍攝模式.將巡檢航跡點(diǎn)與拍攝圖像進(jìn)行一一對(duì)應(yīng),共形成669 條數(shù)據(jù),對(duì)圖像采用目視判斷,得到光照正常圖像653 幅,光照異常圖像16幅.基于航跡規(guī)劃點(diǎn)采用本文方法進(jìn)行光照分析,結(jié)果統(tǒng)計(jì)如表4所示,正確判別光照正常點(diǎn)514 個(gè),正確判別光照異常點(diǎn)14 個(gè).

表4 基于航跡規(guī)劃點(diǎn)的光照分析準(zhǔn)確率統(tǒng)計(jì)

由于本文算法旨在對(duì)光照異常情況進(jìn)行分析,在此,以光照異常作為正樣本,光照正常為負(fù)樣本,召回率為87.5%,F1 值為0.1657,準(zhǔn)確率為78.92%.

3.2 基于圖像的光照分析

對(duì)于葉片和塔筒分割網(wǎng)絡(luò)的訓(xùn)練,輸入數(shù)據(jù)共包含6 種風(fēng)機(jī)類型,多種場(chǎng)景、多種拍攝距離、不同焦距的圖像1287 幅,并采用鏡像、光照變換、多尺度等數(shù)據(jù)增強(qiáng)策略.初始learning rate為0.007,采用多項(xiàng)式梯度下降法,迭代200 epoches,測(cè)試準(zhǔn)確率為0.976,處理效率為28 fps.光照異常判斷閾值Thlow和Thhigh分別為90和130.圖4展示了巡檢視頻圖像的葉片和塔筒分割效果及光照分析結(jié)果,其中圖4(a)為巡檢視頻圖像、圖4(b)為葉片和塔筒分割效果,圖4(c)為光照分析結(jié)果,其中右下角數(shù)字0 表示光照正常,1 表示光照異常.

圖4 基于圖像的光照分析結(jié)果

本文對(duì)312 幅圖像進(jìn)行光照分析算法的測(cè)試,經(jīng)過(guò)人眼目視判別光照正常的圖像為283 幅,光照異常的圖像為29 幅,如表5所示,算法正確判別光照正常圖像269 幅,正確判別光照異常圖像26 幅.

表5 基于圖像的光照分析結(jié)果統(tǒng)計(jì)

以光照異常作為正樣本,光照正常為負(fù)樣本,召回率為89.66%,F1 值為0.7536,準(zhǔn)確率為94.55%.

4 結(jié)論

本文面向無(wú)人機(jī)風(fēng)機(jī)自主巡檢,在巡檢前,基于規(guī)劃的航跡和載荷姿態(tài)及太陽(yáng)方位進(jìn)行光照條件預(yù)判,以便對(duì)各拍照點(diǎn)的光照情況進(jìn)行綜合分析,對(duì)是否開(kāi)展飛行作業(yè)進(jìn)行指導(dǎo);在巡檢中,基于視頻圖像對(duì)風(fēng)機(jī)葉片、塔筒進(jìn)行分割得到關(guān)鍵部位區(qū)域,對(duì)關(guān)鍵區(qū)域的圖像進(jìn)行灰度分析,從而判定光照是否合適.同時(shí),本文引入基于加權(quán)均值的整幅圖像光照分析算法,以便全面覆蓋巡檢的各個(gè)時(shí)刻.

試驗(yàn)表明,本文基于規(guī)劃航跡點(diǎn)的光照分析符合自然規(guī)律,預(yù)判分析準(zhǔn)確率為78.92%,基于圖像的光照分析準(zhǔn)確率達(dá)到了94.55%.實(shí)現(xiàn)了從巡檢前到巡檢中全方位高準(zhǔn)確性的光照檢核,可以有效地指導(dǎo)風(fēng)機(jī)巡檢作業(yè),保證拍攝圖像的質(zhì)量.