基于多模態(tài)數(shù)據(jù)融合的風機葉片故障檢測

新華電力發(fā)展投資有限公司 賀振華 劉 暢 裴 勝

新能源開發(fā)和利用是當前全球能源領域的熱門話題。隨著全球能源需求的不斷增長和環(huán)境問題的日益凸顯，清潔可再生能源的開發(fā)和利用已成為全球能源領域的重要發(fā)展方向。在這方面，風能作為一種清潔可再生能源，具有廣闊的發(fā)展前景，其具有無污染、無排放、能源取之不盡的特點，已成為世界各國重點發(fā)展的清潔能源之一。然而，由于風能發(fā)電設備的工作環(huán)境惡劣，例如海洋風電場，設備長期處于海上受風浪侵蝕，容易導致發(fā)電機葉片的損壞，從而影響設備運行。

因此，及時、準確地診斷故障成為風能發(fā)電設備維護中的重要環(huán)節(jié)。隨著人工智能和機器學習技術的不斷發(fā)展，基于這些技術的風能發(fā)電設備檢測和診斷技術已經(jīng)應用于實際生產(chǎn)中。這些技術可通過對設備的實時監(jiān)測和數(shù)據(jù)分析，識別并預測故障，及時采取維護措施，提高設備的可靠性和穩(wěn)定性，降低設備運行成本和維護費用，為實現(xiàn)可持續(xù)能源目標貢獻力量。

1 現(xiàn)狀

針對風能發(fā)電設備的葉片損傷診斷，目前有三種方法：基于人工的檢測、基于故障字典的模式識別，以及基于機器學習和深度學習的故障診斷。

傳統(tǒng)的人工檢測方式需要專業(yè)人員進行高空檢測，其成本高，安全風險大，且穩(wěn)定性差。而基于故障字典的模式識別方法需要事先建立和查詢字典，無法識別新型故障，也存在很多限制。相比之下，基于機器學習和深度學習的方法不需要人力高空檢測，可以從葉片的多模態(tài)數(shù)據(jù)中提取特征進行自動化診斷，安全系數(shù)高。同時，機器學習和深度學習算法能夠利用大量的數(shù)據(jù)進行訓練，能夠識別新型故障，具有更好的泛化性能和適應性。因此，基于機器學習和深度學習的方法能夠提高設備維護效率，降低能源生產(chǎn)成本，是風能設備故障診斷領域的重要研究方向之一。

而基于機器學習和深度學習的方法中，多模態(tài)診斷的效率往往高于單模態(tài)。相比于傳統(tǒng)的方法，多模態(tài)診斷具有更高的檢測精度和效率。同時，多模態(tài)診斷可以利用不同模態(tài)之間的互補信息，提高診斷的可靠性和準確性，對于一些難以檢測的隱蔽性故障也具有更好的診斷能力。因此，多模態(tài)診斷是未來風能設備故障診斷的重要方向之一，能夠更好地提高設備維護效率，降低能源生產(chǎn)成本，促進可持續(xù)能源的發(fā)展。

基于以上現(xiàn)狀，本文提出了一種多模態(tài)數(shù)據(jù)融合的風機葉片故障診斷的方法，從圖像、聲音、振動三個模態(tài)獲得數(shù)據(jù)，在多模態(tài)的角度對葉片健康狀況進行診斷。

2 多模態(tài)融合診斷的模型介紹

模型圖介紹如下：在這個故障診斷模型中，利用無人機、麥克風、振動傳感器獲得了風機葉片的圖像、聲音和振動三個模態(tài)的數(shù)據(jù)。然后，針對這三種模態(tài)的數(shù)據(jù)，分別構建了圖像模態(tài)和聲振混合模態(tài)兩個模型。其中，圖像模態(tài)的模型對圖像進行了處理，然后使用CBAM-Resnet進行訓練，最終得到了圖像模態(tài)的檢測模型；而聲振混合模型則是基于1D-CNN進行設計的，用于處理聲音和振動模態(tài)數(shù)據(jù)的融合，通過對聲振融合后的數(shù)據(jù)進行訓練，最終得到了聲振融合模態(tài)的檢測模型。這兩個模型分別利用不同的模態(tài)進行故障檢測，通過綜合分析不同模態(tài)的結果，能夠提高故障檢測的準確率和可靠性，為風能設備的維護和運營提供更好的支持。

圖1 模型圖

ResNet是一種深度卷積神經(jīng)網(wǎng)絡，由多個卷積層、池化層、全連接層和輸出層構成，可有效提取輸入圖像的特征向量[1]。在處理風機葉片圖像時，由于存在光照不均、背景復雜、缺陷占比小等問題，傳統(tǒng)的卷積神經(jīng)網(wǎng)絡可能難以準確提取特征。因此，為了解決這個問題，引入了注意力機制。CBAM是一種低成本的注意力引入方式，其包括通道注意力和空間注意力兩部分，可以在幾乎不增加計算成本的情況下提高特征質量[2]。

圖2 CBAM-Resnet結構

通道注意力機制用于學習各個通道之間的相互依賴關系，通過對通道維度進行加權，提高了卷積層輸出的質量。空間注意力機制則用于學習圖像中不同位置的重要性，通過對空間維度進行加權，可以進一步提高特征的區(qū)分度。在將CBAM應用到ResNet中時，通過將注意力機制引入到每個ResNet塊中，可以進一步提高風機葉片缺陷檢測的準確率和魯棒性。試驗證明，將CBAM應用到ResNet中可以顯著提高風機葉片缺陷檢測的效果。相比傳統(tǒng)的ResNet模型，引入CBAM后的模型具有更好的特征表達能力和魯棒性，可以更準確地檢測風機葉片的缺陷。

1D-CNN模型是一種卷積神經(jīng)網(wǎng)絡（CNN）的形式，用于處理一維數(shù)據(jù)[3]。其通常包括輸入層、卷積層和Softmax層，接收一維向量作為振動信號的輸入，并對該向量進行多次卷積和池化操作。每個卷積核都可以學習特定的特征，比如振動信號的頻率、振幅、振動模式等。在經(jīng)過多次卷積和池化后，1D-CNN模型最終輸出一個全連接向量，該向量包含了該振動信號的各種特征信息。1D-CNN模型的訓練是通過反向傳播算法實現(xiàn)的。在訓練過程中，模型的輸出結果會與實際結果進行比較，計算出誤差，并根據(jù)誤差調(diào)整模型參數(shù)。

隨著訓練的進行，模型會逐漸調(diào)整自身，使得其能夠更好地適應訓練數(shù)據(jù)，并在測試數(shù)據(jù)上表現(xiàn)出更好的泛化性能。通常情況下，訓練數(shù)據(jù)會被分為訓練集、驗證集和測試集，以便對模型進行評估和比較。1D-CNN模型在振動信號分析和診斷領域中得到了廣泛應用。該模型能夠自動提取信號中的特征，并且相較于傳統(tǒng)的振動信號分析方法，具有更高的準確性和效率。

圖3 1D-CNN模型

模型的使用流程：模型的使用包括兩個過程，第一個過程是模型的訓練，第二個是基于訓練好的模型進行故障的診斷。

該模型的訓練基于大量的多模態(tài)風機葉片數(shù)據(jù)，這些數(shù)據(jù)包括聲音、振動和圖像等多種模態(tài)。為了充分利用這些數(shù)據(jù)，模型采用了多層多模態(tài)數(shù)據(jù)融合的方法，將不同模態(tài)的數(shù)據(jù)進行有機結合，從而獲得更加全面和準確的特征表示。在第一步中，模型需要對聲音和振動數(shù)據(jù)進行融合。通過使用1D-CNN的多層卷積對振動和聲音向量進行處理，可以獲得降維后的向量。這些向量將被聯(lián)接成聲振混合向量，進而用于故障判別。通過這種方法，模型可以同時利用振動和聲音數(shù)據(jù)，提高檢測的準確率和魯棒性。

在第二步中，模型使用梯度下降法對數(shù)據(jù)進行訓練，以得到聲振模態(tài)的診斷模型。通過訓練模型，可以提高模型的診斷準確率和魯棒性，從而更好地捕捉到風機葉片故障的本質特征。此外，為了提高模型的診斷能力，模型還包括基于圖像模態(tài)的診斷模型。該模型使用ResNet網(wǎng)絡處理風機葉片的圖像數(shù)據(jù)，并根據(jù)獲得的故障數(shù)據(jù)進行訓練。通過這種方法，可以有效地處理圖像中的噪聲和背景復雜度等問題，提高診斷的準確性。

最后，模型將聲振模態(tài)和圖像模態(tài)的診斷結果進行融合，得到一個綜合模型。該模型能夠更好地捕捉到風機葉片故障的本質特征，提高診斷的準確性。

在基于訓練好的模型進行故障診斷時，需要獲得葉片的多模態(tài)數(shù)據(jù)。在進行診斷前，需要對獲得的葉片數(shù)據(jù)進行預處理，包括噪聲濾波、數(shù)據(jù)歸一化等操作，以確保數(shù)據(jù)質量和一致性。接下來，將預處理后的數(shù)據(jù)輸入到模型中，模型將從多個數(shù)據(jù)源獲取信息，如聲音、振動、圖像等，將不同模態(tài)的數(shù)據(jù)進行有機結合，從而獲得更加全面和準確的特征表示。

模型將對每個模態(tài)的數(shù)據(jù)進行處理和分析，然后將結果進行融合，得到綜合的診斷結果。這個綜合結果可以直接用于葉片的故障診斷，也可以通過結合專家經(jīng)驗和其他外部信息，提高診斷的準確性和可靠性。需要注意的是，模型診斷結果只是作為參考，最終的判斷結果還需要人工進行確認和判斷。當診斷結果和實際情況不符時，需要進一步分析和修正模型，以提高模型的準確性和可靠性。

圖4 聲振數(shù)據(jù)的混合檢測模型

該模型可被裝載到風機遠程檢測系統(tǒng)中進行風機葉片的故障檢測，檢測系統(tǒng)可以遠程收集到葉片的各項狀態(tài)指標，通過5G信號發(fā)射器等方式發(fā)送到檢測端，檢測端對于收集到的葉片的信號進行處理，得到葉片故障的診斷，反饋給人工，人工可以進行進一步檢測。這樣的檢測方式實現(xiàn)了遠程監(jiān)控，同時檢測的準確率得到提升，并且降低了檢測成本。

在試驗驗證部分，通過構建模擬風機平臺對模型進行訓練和驗證。平臺的構建包括模擬風機的構建和風機故障對照組的設置。對照組包括三組：正常葉片風機、磨損葉片風機、斷裂葉片風機。

通過該模型在模擬平臺上的驗證得到，該模型相比單一模態(tài)的模型具有更好的泛化能力。同時對于故障檢測的準確率也有所提升。

試驗結果顯示，該模型可以更好地檢測出風機葉片缺陷，尤其是在復雜環(huán)境下具有更好的魯棒性。此外，該模型還具有更好的泛化能力，即在不同的測試數(shù)據(jù)集上也能表現(xiàn)出很好的性能。這為風機設備的故障診斷和維護提供了有效的工具和手段。通過使用多模態(tài)模型，可以更快速、準確地檢測出風機葉片缺陷，幫助設備維護人員更好地了解設備的狀態(tài)并采取相應的措施，從而保證設備的正常運行和延長其壽命。

該模型的提出可以為風能設備運維帶來多方面的積極影響。首先，基于深度學習的檢測系統(tǒng)可以提高葉片損壞檢測的準確率，多模態(tài)數(shù)據(jù)融合，可以更快速、精確地檢測出葉片的故障。其次，該模型可以實現(xiàn)遠程監(jiān)控和線上檢測，通過傳感器獲取數(shù)據(jù)后實時分析和診斷，大大降低了檢測的成本，并且減少了現(xiàn)場檢測的安全風險。最后，該系統(tǒng)的泛用性廣，可以對多種環(huán)境下風電設備的故障檢測都具有積極的影響。綜上所述，該模型的提出對于風能設備運維具有重要意義，有望對風能行業(yè)檢測技術領域的產(chǎn)生積極影響。