基于樹莓派的發(fā)動機孔探缺陷智能識別方法研究

魏永超，李 濤，鄧 毅

（中國民用航空飛行學院科研處，廣漢 618307）

0 引言

航空發(fā)動機工作環(huán)境惡劣，其內(nèi)部溫度最高可達1900 K，高壓渦輪作為核心機部分處在高溫、高壓、高轉(zhuǎn)速的工作狀態(tài)下，因此容易產(chǎn)生燒蝕、裂紋、涂層丟失、材料丟失等缺陷。為防止因高壓渦輪內(nèi)部缺陷而導致的飛行事故，必須對發(fā)動機內(nèi)部進行定期檢測。但是發(fā)動機內(nèi)部結(jié)構復雜、空間狹小，不利于目視檢查，并且不能輕易拆卸。隨著孔探檢測技術的發(fā)展，從20 世紀60年代開始，軟體光纖內(nèi)窺鏡被廣泛應用于發(fā)動機內(nèi)部損傷和故障的全面檢查。

目前，廣泛使用的第3 代電子內(nèi)窺鏡在很大程度上解決了成像質(zhì)量和損傷尺寸測量的問題。然而，對于發(fā)動機內(nèi)部損傷評估，先進的孔探儀卻無能為力，因為損傷評估需要孔探人員具備較高的專業(yè)素養(yǎng)與工作經(jīng)驗。而目前航空公司的發(fā)動機孔探檢測專家往往僅限于在專門從事飛機發(fā)動機維修的無損檢測部門，這種專家少、飛機多、飛機分布廣的特點使得發(fā)動機孔探檢測面臨了典型的異地檢測和評估困難問題，無法及時準確地得到評估結(jié)果。造成了工作效率低下、公司營運成本增加等問題。此外，孔探檢測設備只具備圖像及視頻采集功能，對于圖像和視頻的處理與分析能力完全不具備。因此，如何將人工孔探檢測工作轉(zhuǎn)換為半自動化工作就顯得尤為重要。

所以，考慮利用比較成熟的深度學習技術，研究發(fā)動機孔探缺陷自動識別算法，將訓練好的神經(jīng)網(wǎng)絡模型部署于服務器端作為后端。采用樹莓派連接孔探儀作為前端，接收實時的孔探視頻，對視頻進行編碼，然后通過局域網(wǎng)發(fā)送至服務器端，后端讀取并解碼視頻后，會自動識別視頻中是否有缺陷以及缺陷的類型，同時標記出缺陷的位置、形狀以及大小。

本方法將深度學習技術以及樹莓派應用到發(fā)動機孔探檢測中，提供一種輔助孔探人員識別發(fā)動機內(nèi)部缺陷的遠程智能便攜式系統(tǒng)。

1 工作原理及系統(tǒng)組成

1.1 工作原理

該系統(tǒng)基本原理為：系統(tǒng)將孔探儀探頭采集到的高清圖像或視頻輸入服務器端的智能檢測系統(tǒng)進行分析判斷，得到孔探圖像或視頻中的缺陷類型及位置、尺寸。然后系統(tǒng)進行損傷程度判斷，并將帶有缺陷的視頻幀標記完成后反饋到樹莓派端，在觸摸顯示屏的UI 界面顯示實時檢測結(jié)果，此時孔探人員可以將該視頻幀保存、以便進一步復審。該系統(tǒng)的硬件連接圖如圖1所示。

圖1 硬件連接圖

圖1中樹莓派型號為樹莓派4 代RaspberryPi4B，4 GB 內(nèi)存；孔探儀為美國韋林公司生產(chǎn)的VideoProbe XL 系列可測量型航空專用內(nèi)窺系統(tǒng)；服務器為配置有NVIDIA GeForce RTX 2080 SUPER 的GPU 顯卡的機器，安裝NVIDIA驅(qū)動、CUDA加速庫及相匹配的cuDNN版本。

1.2 系統(tǒng)識別流程

該系統(tǒng)結(jié)構示意圖如圖2所示。

圖2 系統(tǒng)結(jié)構示意圖

總體流程圖如圖3所示。具體流程如下：

圖3 系統(tǒng)整體流程圖

（1）該系統(tǒng)采用樹莓派搭載觸摸操控屏幕作為前端，視頻采集卡將孔探儀的視頻信號接入到樹莓派。

（2）視頻信號在樹莓派中經(jīng)Base64 逐幀編碼后，基于ZMQ 傳輸層協(xié)議，通過局域網(wǎng)被發(fā)送至服務器端。

（3）服務器端運行同樣基于ZMQ 傳輸層協(xié)議的監(jiān)聽程序，等待、接收樹莓派端的視頻數(shù)據(jù)。收到樹莓派端的幀數(shù)據(jù)后，首先進行Base64解碼，還原得到孔探視頻幀。

（4）在服務器端運行訓練好的神經(jīng)網(wǎng)絡模型，該模型的訓練數(shù)據(jù)來源于國內(nèi)某航空公司孔探維護數(shù)據(jù)。該神經(jīng)網(wǎng)絡模型可識別燒蝕、涂層脫落、裂紋、材料丟失四種缺陷類型。神經(jīng)網(wǎng)絡模型會對視頻幀中的缺陷進行識別、標記。

（5）服務器在完成缺陷識別后再將帶有標記的視頻幀重復上述過程發(fā)回到樹莓派，在樹莓派搭載的屏幕上經(jīng)UI界面顯示實時檢測結(jié)果。

（6）孔探工作人員可在UI 界面截取識別到的帶有缺陷的視頻幀，進行保存并送去復審。

1.3 軟件設計

軟件是整個系統(tǒng)的核心，其完成整個系統(tǒng)的控制，包括孔探圖像數(shù)據(jù)的采集和處理、圖像顯示、圖像分析、缺陷識別、定位、分割等功能，實現(xiàn)發(fā)動機孔探缺陷的智能識別。系統(tǒng)的軟件結(jié)構設計如圖4所示。軟件系統(tǒng)主要包括圖像獲取模塊、圖像預處理模塊、損傷評估與診斷模塊。軟件實現(xiàn)的主要功能有：判斷庫管理、知識庫管理、案例庫管理、圖像分析與特征提取等。軟件系統(tǒng)的特色功能就是能夠?qū)Σ杉降目滋綀D像進行自動分析處理、自動識別出孔探圖像中的缺陷類型、自動定位缺陷、自動分割缺陷。

圖4 系統(tǒng)的軟件結(jié)構示意圖

1.4 搭建局域網(wǎng)

本文局域網(wǎng)的搭建采用Python 的ZMQ 庫進行編程。由于視頻幀數(shù)據(jù)在局域網(wǎng)中進行傳播前還需要進行若干次編碼，所以需要先把采集到的孔探視頻通過OpenCV 進行編碼操作，OpenCV 中的imencode 函數(shù)可以將視頻數(shù)據(jù)編碼成流數(shù)據(jù)，賦值到內(nèi)存緩存中，以便于網(wǎng)絡傳輸。轉(zhuǎn)換成流數(shù)據(jù)之后，再經(jīng)過Base64 編碼，樹莓派將孔探儀上采集到的視頻數(shù)據(jù)轉(zhuǎn)化為可以在局域網(wǎng)中傳播的數(shù)據(jù)形式。然后在服務器端只需按照ZMQ 協(xié)議與解碼規(guī)則進行部署，即可完成接收視頻幀的功能。其中，在樹莓派前端，網(wǎng)絡收發(fā)功能已經(jīng)被整合到UI 界面的框架中。其網(wǎng)絡傳輸架構及原理圖如圖5所示。

圖5 網(wǎng)絡傳輸架構及原理圖

2 構建數(shù)據(jù)集

鑒于當前沒有公開的航空發(fā)動機孔探缺陷數(shù)據(jù)集，本文需要收集、處理、標注孔探數(shù)據(jù)，建立發(fā)動機孔探缺陷數(shù)據(jù)庫。本文的訓練數(shù)據(jù)來自國內(nèi)某航空公司孔探維護數(shù)據(jù)，如表1所示。

表1 某航空公司孔探維護數(shù)據(jù)

本文選取CFM56 系列發(fā)動機為研究對象，將孔探缺陷大致分為燒蝕（burn）、裂紋（crack）、涂層丟失（missing coating）、材料丟失（missing material）四大類，四種典型缺陷類型如圖6所示。

圖6 四種缺陷類型

本文利用VIA（visual geometry group image annotator）對數(shù)據(jù)集進行標注，標注過程如圖7所示。標注完成后，導出為json文件格式。

圖7 VIA標注過程

3 實驗環(huán)境配置

本文的實驗環(huán)境在Ubuntu16.04 操作系統(tǒng)下，配置有NVIDIA GeForce RTX 2080 SUPER的GPU 顯卡的機器，安裝NVIDIA 驅(qū)動、CUDA加速庫及相匹配的cuDNN 版本，從而可以使用GPU 加快模型的訓練過程。并利用主流的深度學習框架訓練神經(jīng)網(wǎng)絡模型，一共經(jīng)過300 個epoch 訓練，得到孔探缺陷識別模型。最后，將神經(jīng)網(wǎng)絡模型部署于服務器端。

4 孔探檢測實例分析

為驗證該系統(tǒng)實際孔探檢測效果是否滿足工業(yè)級要求，首先檢測孔探圖像與視頻，判斷其檢測缺陷準確率及網(wǎng)絡識別速度?？滋綀D像檢測效果如圖8所示。

圖8 四種孔探缺陷識別效果（a至h為原圖）

對孔探視頻的檢測結(jié)果如圖9所示。

圖9 檢測孔探視頻

對某型航空發(fā)動機做實時檢測實驗，實驗結(jié)果如圖10 所示。結(jié)果表明，樹莓派UI 界面及服務器端可顯示實時檢測結(jié)果，該改進模型可以滿足工業(yè)要求，輔助孔探人員工作。

圖10 實時孔探檢測

5 結(jié)語

該系統(tǒng)將樹莓派與深度學習技術結(jié)合起來，通過計算機自動識別孔探圖像缺陷，實現(xiàn)了對發(fā)動機內(nèi)部損傷的發(fā)現(xiàn)-定位-測量-評估-決策的智能診斷，可以輔助孔探人員方便地進行航空發(fā)動機內(nèi)部損傷診斷，在檢測穩(wěn)定性、檢測精度、人力成本消耗等方面均有很大的優(yōu)勢。后續(xù)的研究工作，可以添加識別發(fā)動機缺陷損傷程度的模塊，在內(nèi)部缺陷損傷的類型上對損傷的程度進行定性分析和定量測量。