航空發(fā)動機狀態(tài)監(jiān)視大數(shù)據信息化系統(tǒng)應用技術研究

洪麗 谷新宇 李興

摘要：工業(yè)大數(shù)據可廣泛應用于企業(yè)整個生產、經營、運營等全生命周期過程，對產品使用大數(shù)據的連續(xù)地監(jiān)控參數(shù)的變化趨勢，提高了故障判斷的準確率。本文主要是介紹了航空發(fā)動機健康監(jiān)視大數(shù)據平臺的架構和應用層功能，并在此基礎上接入航空發(fā)動機日常運行數(shù)據，完成日常使用數(shù)據的接入、清洗、治理，完成航空發(fā)動機大數(shù)據的狀態(tài)監(jiān)視、趨勢判斷和壽命預測等功能。

關鍵詞：航空發(fā)動機;狀態(tài)監(jiān)視;大數(shù)據;信息化

一、引言

隨著大數(shù)據技術在信息化時代的來臨，在面臨著巨大的經濟效益壓力的情況下，決策者們認識到了如何運用大數(shù)據技術，通過最貼近現(xiàn)實的數(shù)據，對未來進行準確的預測，從而作出正確的生產和運營決策。一些具有遠見的企業(yè)開始采用云計算、大數(shù)據等先進技術，建設智能工廠，提高公司的核心競爭力。

大數(shù)據的概念來源于大量的數(shù)據，但是二者之間存在著巨大的差異。大量數(shù)據著重于數(shù)據的數(shù)量，而不會對其特征進行特殊的研究。而大數(shù)據則描述了數(shù)據的傳播速率、體積和特征等多種特征。當前人們對大數(shù)據的最廣義的定義是：海量的數(shù)據，不能通過一般的軟件工具在特定的時間里收集、分析和管理。大數(shù)據的特征可以歸納為“4 V”，即：Volume：海量數(shù)據，當前最小的大數(shù)據單元通常被視為10-20 TB;Variety：資料種類繁多，包含結構化、非結構化、半結構化的資料;Value：數(shù)據的價值密度非常低;Velocity：數(shù)據生成和處理的速度很快。

二、航空發(fā)動機健康管理信息化大數(shù)據平臺構建

（一）航空發(fā)動機大數(shù)據存儲及管理技術

1.大數(shù)據存儲需求

存儲航空發(fā)動機試驗過程中多種數(shù)采系統(tǒng)采集的穩(wěn)態(tài)數(shù)據、動態(tài)數(shù)據，試驗過程中的孔探數(shù)據、試車日志及視頻等多源、異構數(shù)據。

2.大數(shù)據存儲結構

HDFS采用三種復制方式保證了數(shù)據的安全性和可靠性。在數(shù)據平臺的存儲層次上，它能夠處理各種結構化、半結構化、非結構化的大量的歷史資料，為大規(guī)模、長期、大量的歷史資料的儲存與使用打下了良好的基礎。

例如，對于一次試驗的穩(wěn)態(tài)和動態(tài)數(shù)據文件，數(shù)據在進入 HDFS 前會被分割成一系列多個數(shù)據塊，這些數(shù)據塊被分別存儲于一組數(shù)據節(jié)點中，由中心服務器（Namenode）執(zhí)行一個檔案的運算，并且中央伺服器還將資料區(qū)塊轉換成特定資料結。在中央伺服器的統(tǒng)一安排下，完成對數(shù)據塊的創(chuàng)建、刪除和復制。同時，為保證數(shù)據的完整性，每個文件的數(shù)據都要有相應的拷貝。

由于試驗數(shù)據類型的多樣性，大數(shù)據平臺要實現(xiàn)數(shù)據訪問的多種形式，其中包含了數(shù)據間的關聯(lián)數(shù)據、實時數(shù)據和文件數(shù)據、圖片數(shù)據、日志數(shù)據、音頻和視頻等。在各種數(shù)據訪問要求下，該平臺為用戶的訪問提供了一系列的方法和手段： Flume技術允許多個數(shù)據傳送點以一對一的方式進行信息聚合，比如將來自不同業(yè)務結點的相同類型的記錄信息匯集成一個文檔，實現(xiàn)一對多的信息發(fā)布;實時的資料由一個分布的訊息排隊 Kafka存取;利用 Sqoop軟件對關系數(shù)據庫進行全量或定時的逐次提取，還可以以文字文檔的形式進行大量的輸入;通過Data Stage 或 Oracle GoldenGate實現(xiàn)關系型數(shù)據庫實時同步，實現(xiàn) T+0 的實時數(shù)據操作層（ODS）。

集成數(shù)據預處理的圖形化工具，提供工作流的調度實現(xiàn)數(shù)據接入和數(shù)據流轉的抽取、轉換、裝載（ETL）。同時，分布式文件系統(tǒng) HDFS 通過 FTP Over HDFS 提供文件通過 FTP 傳入 HDFS 的通道;通過 Flume 提供海量日志以及文件的聚匯到大數(shù)據平臺的功能。

在數(shù)據進行接入時，數(shù)據平臺上的數(shù)據傳輸工具支持加載數(shù)據緩存功能。當目標接收端出現(xiàn)問題、網絡中斷或出現(xiàn)阻塞時，支持將加載數(shù)據緩存在本地磁盤中，當目標端恢復后繼續(xù)將數(shù)據加載到目標端中。Flume 或者 Kafka 均支持將消息隊列緩存在文件系統(tǒng)上，F(xiàn)lume 支持 failover 機制，Kafka 通過對數(shù)據的多份備份，均對加載的數(shù)據有相應的可靠性機制以保證數(shù)據的安全。

（二）信息化大數(shù)據平臺構建

TDH大數(shù)據平臺總體上是以 Hadoop為基礎的數(shù)據平臺體系結構，并將其劃分為：數(shù)據分析與處理、數(shù)據查詢及分析?；诖髷?shù)據中心的數(shù)據查詢與解析，可以對結構化、半結構化數(shù)據進行數(shù)據采集，提供數(shù)據查詢、文本檢索、離線批量數(shù)據分析等功能;不同數(shù)據的處理采取互動的方法。在此基礎上，利用實時的流程，能夠對數(shù)據進行實時的分析與處理。該系統(tǒng)實現(xiàn)了對計算資源、存儲資源和數(shù)據存取資源的一體化管理，有效地調度和利用計算資源、管理庫存資源的限額，對資料存取，有嚴格的使用權限。在安裝、配置、監(jiān)控、報警等方面，運行管理采用統(tǒng)一的平臺。平臺整體架構如圖1所示。

針對大數(shù)據平臺的數(shù)據存儲以及數(shù)據分析需求，平臺的主要部署方案如下：

1.硬件平臺

因為數(shù)據處理平臺要讀取、寫入 TB到 PB的數(shù)據，同時還要進行大量的數(shù)據挖掘模型計算，并進行預測結果的發(fā)布，這就要求底層的硬件對磁盤的讀取、寫入、計算速度都有很高的要求。

另外，為滿足分布式、動態(tài)擴展的需求，需要具備四個以上的結點，其中至少有一個主結點和三個從結點;各節(jié)點均須配備2路8核 CPU，128 GB內存，千兆網絡卡。

2.操作系統(tǒng)軟件

操作系統(tǒng)軟件使用 Linux內核操作系統(tǒng)， Hadoop進行大量數(shù)據存儲和分布式計算， Hive數(shù)據清理， Spark數(shù)據挖掘引擎， HBase中的預測結果保存，構建高性能、高可用分布式數(shù)據收集系統(tǒng)。

（1）利用 Hadoop技術，建立面向 PB的大型數(shù)據平臺，實現(xiàn)了海量的數(shù)據存儲和分布運算。

（2）使用 Spark組件，為用戶能夠在集群中進行交互操作的靈活分布數(shù)據集 API。數(shù)據挖掘模型采用 Spark onYarn-cluster的方法，構造了一種基于 Spark SQL、 Spark流、 MLlib、 GraphX的大型數(shù)據分析引擎。

（3）使用 Hive組件作為數(shù)據清理引擎，提供 PB級別的數(shù)據預處理、處理和整合服務。

（4）采用 Hbase 組件技術，可以提供海量數(shù)據的高效發(fā)布。

（5）采用 Zookeeper 組件，提供配置維護、域名服務、分布式同步、組服務等各類應用程序協(xié)調服務。

以上服務均使用 docker 技術封裝和發(fā)布，滿足組件快速部署和后續(xù)維護需求。

（三）接入結構化數(shù)據

在傳統(tǒng)的關系數(shù)據庫如 Oracle，DB2， Mysql， MongoDB等，需要將生成的結構數(shù)據移植到 Hadoop平臺的 Inceptor表、 Hyperbase表、 Search表中進行數(shù)據分析和檢索， TDH支持各種結構數(shù)據的裝載，并提供靈活的、通用的數(shù)據格式描述，其中包括數(shù)據所含字段、字段的分隔符、字段類型等。

支援傳送的帶分隔符的元組序列，每一個都具有相同的欄位，并用指定的分隔符隔開。支援的欄位類型有：最多8位元組，浮點數(shù)，字符串，日期，時間等。在 Inceptor中定義了相關的表格， Inceptor支持一些常見的簡單域，如整形，浮點數(shù)，字符串，以及一些復雜的數(shù)據類型，如 Map， Array， Struct。

利用 Sqoop產生分布式任務，有效地提取數(shù)據，或利用 TDA部件實現(xiàn)數(shù)據的準實時插入、更新、刪除等數(shù)據操作;在 TDH平臺上，實時生成的結構化日志或信息被裝載到 HDFS、 Search、 Hyperbase、 Kafka等 TDH平臺上;數(shù)據裝入 HDFS，數(shù)據處理，數(shù)據挖掘，機器學習， Discover。裝入 Hyperbase的數(shù)據可以在高并行檢索中使用 Inceptor進行后模糊或者準確的匹配。載入 Search的資料可以由 Inceptor進行前模糊、后模糊、范圍檢索、關鍵詞檢索、全文檢索等。在千兆網絡中， Search的存儲速度是每秒20000條。

業(yè)務系統(tǒng)定義數(shù)據格式、數(shù)據源（數(shù)據庫或結構文件）、數(shù)據存儲（HDFS、搜索、 Hyperbase等）、數(shù)據調度模式、數(shù)據同步模式等，在 TDH上按照規(guī)定的數(shù)據裝載模式，自動地將數(shù)據處理的數(shù)據源、中間件（Sqoop， TDA， API/REST API， FTPOverHDFS， JDBC/ODBC， Flume或 Kafka）進行存儲和處理等，開始對應的工作流任務或中間件的排程，并監(jiān)視和記錄數(shù)據的加載、傳輸和處理過程。

TDH支持各種結構數(shù)據的裝入，并支持各種類型的數(shù)據格式的靈活、通用，包括數(shù)據所含的字段、字段的分隔符、字段類型等。支援傳送的帶分隔符的元組序列，每一個都具有相同的欄位，并用指定的分隔符隔開。支援的欄位類型有：最多8位元組、浮點數(shù)、字符串，日期、時間等。在 Inceptor中定義了相關的表格， Inceptor中支持斷點續(xù)傳、浮點數(shù)、字符串以及日期、時間以及 Map;復雜的數(shù)據類型，如 Array， Struct。

對于負載平衡，在一種類型的數(shù)據裝載量很大的情況下，可以通過多個裝載的客戶端并行裝載。Sqoop、 Flume、 Kafka等都是支持多任務并行運行的分布式結構數(shù)據收集工具。

Sqoop通過生成和提交 MapReduce程序，實現(xiàn)了對 Task的并行處理;Flume可以通過定義多個代理或多個源通道鏈接組件，從而實現(xiàn)多個客戶端的并行負載;Kafka通過一個定義了并行數(shù)據采集程序的 Kafka Producer或多個 Kafka Producer來并行地裝載數(shù)據。

在萬兆網絡中，每一個客戶端都能支持300 MB/s或更高的加載速率，并能隨著集群規(guī)模的增長而線性地擴展，直到達到最大的網絡傳輸帶寬。裝載集群的文字資料總帶寬為100 Gb/s或更高。每一臺機器裝載的最大數(shù)據緩沖量為 TB級。最大容量為計算機的存儲容量。緩存容量和內存容量呈線性關系。

（四）接入非結構化數(shù)據

業(yè)務系統(tǒng)生成的各類文檔、圖片、非結構化的文字等都需要在 TDH上進行存儲、檢索等處理方法， TDH通過自定義 Flume組件、 API接口，可以將非結構化數(shù)據（文檔、圖像、音視頻等多媒體文件）裝載到 HDFS或 Hyperbase表中進行處理或高效檢索;這樣， TDH就可以為0 KB至幾 TB的文件提供完全的加載、存儲和處理和恢復。

業(yè)務系統(tǒng)的數(shù)據格式包含數(shù)據源（API/REST API、 FTPOverHDFS、 JDBC/ODBC、 Flume等）、數(shù)據存儲端（HDFS、 Search、 Hyperbase等）、數(shù)據調度模式、數(shù)據同步模式等，在 TDH上按照規(guī)定的數(shù)據裝載模式，自動地將數(shù)據處理的數(shù)據源、中間件（API/REST API、 FTPOverHDFS、 JDBC/ODBC、 Flume等）、存儲、處理方法等，并對數(shù)據的裝載、傳輸、處理過程進行實時監(jiān)測和記錄。

TDH上的各種文本數(shù)據，圖片，音頻的功能;將錄像裝入到檔案中。在 TDH中，可以將無結構性的資料打包為一個對象儲存庫。在負荷平衡中，一種類型的數(shù)據裝載數(shù)量很大時，可以同時裝載多個裝載的客戶機。Sqoop、 Flume、 Kafka都是支持多個并行運行的分布式體系結構的資料收集。

Sqoop通過創(chuàng)建和遞交 MapReduce軟件來完成對 Task的平行處理。Flume可以在多個客戶機中同時裝載多個代理，也可以在分布式體系結構中定義多個代理，也可以使用多個源通道鏈接部件。Kafka是以平行裝入方式，定義了一個同時采集的資料的 Kafka Producer，或是多個 Kafka Producer。將資料存儲在 HDFS檔案系統(tǒng)中進行存儲、分析、挖掘，或是將其存檔到 Hyperbase數(shù)據庫中進行迅速的查詢。TDH中的數(shù)據裝載與傳送，具有中斷點續(xù)傳的能力。在故障復原后，在目標接收機的中斷點可以持續(xù)發(fā)送。Kafka中的資料被緩存到磁碟上，其中會將訊息消耗的偏移 offset保存到該佇列中，所以可以將傳送中的中斷位置進行緩沖，從而確保資料能夠繼續(xù)傳送。

萬兆網下，每一部服務器都能提供300 MB/s或更高的負載速率，并隨著機群的大小而不斷地向外擴張，直到達到最大的傳輸速率。利用對象儲存和分散的檔案儲存功能，可提供1 KB至 PB的資料儲存。

（五）接入半結構化數(shù)據

TDH支援各種類型的半結構化資料，包括郵件、網頁、 XML文件、特定欄位等。利用 Logstash模塊實現(xiàn) TDH中的半結構化數(shù)據的裝載和加工，并實現(xiàn)了對輸入的數(shù)據的定制和輸出。支持使用 Flume定制的數(shù)據界面和簡單的數(shù)據操作，并把經過加工的資料裝入到特定的存儲器中;利用 Inceptort SQL對裝載在 HDFS中的半結構化數(shù)據進行結構化處理，Inceptor可以對 Json、XML/HTML、CSV等進行半結構化的數(shù)據進行直接的查詢和分析。

在負荷平衡中，一種類型的數(shù)據裝載數(shù)量很大時，可以同時裝載多個客戶機。Sqoop、 Flume、 Kafka都是支持多個并行運行的分布式體系結構的資料收集。Sqoop通過創(chuàng)建和遞交 MapReduce軟件來完成對 Task的平行處理。Flume可以在多個客戶機中同時裝載多個代理，也可以在分布式體系結構中定義多個代理，也可以使用多個源通道鏈接部件。Kafka是以平行裝入方式，定義了一個同時采集的資料的 Kafka Producer，或是多個 Kafka Producer。同時，還能實現(xiàn)多個裝入軟件之間的多個鏈接，并實現(xiàn)多個數(shù)據的發(fā)布和匯集。

（六）高頻數(shù)據實時傳輸及存儲調度

在數(shù)據存貯器的上層，利用 YARN實現(xiàn)了對計算資源的統(tǒng)一調度，實現(xiàn)了對簇的實時生成和銷毀，實現(xiàn)了對服務的靈活配置。Inceptor是 SQL的一個通用的 SQL運算引擎，它能夠有效地處理各種不同的數(shù)據和數(shù)據。在資料檢索上， Hyperbase提供了一個全域和二級的索引，它可以提供快速的無主關鍵字的查詢，提供了 JSON/BSON的支持，并提供了 Object Store技術， Search可以在 PB的數(shù)據級別上進行快速的查找。

另外，還可以為測試數(shù)據等實時流量提供低延遲和高吞吐量的實時數(shù)據。利用 Kafka的報文排隊進行實時的數(shù)據流量，實現(xiàn)了不丟失不增加的情況，并提供了一個以微批量和事件為基礎的程序設計模式，在保持系統(tǒng)的吞吐量的前提下，將延遲控制在毫秒級別;同時還能確保該算法具有健壯性和可擴展性，適合于其它復雜的、不同的實時數(shù)據處理場合。

四、結束語

本文基于飛機發(fā)動機運行狀況監(jiān)控大數(shù)據的平臺，對發(fā)動機運行狀況進行了分析，得到了發(fā)動機轉速、振動、溫度、壓力、流量等參數(shù)數(shù)據。建立了基于規(guī)則的故障診斷模型，通過故障診斷，并對發(fā)動機狀態(tài)惡化的趨勢進行了分析;利用零件的剩余使用壽命預報等方法，對其進行故障的預測和診斷。

通過運用大數(shù)據進行分析，實現(xiàn)了飛機維修方案的自動化，使維修工作更加有目的性，降低了“過修”、“失修”，節(jié)約了維修費用。

作者單位：洪麗? ? 谷新宇? ? 李興? ? 中國航發(fā)南方工業(yè)有限公司

參? 考? 文? 獻

[1] 鄒國偉，成建波.大數(shù)據技術在智慧城市中的應用[J].電信網技術， 2013（04）.

[2] 栗蔚，魏凱.大數(shù)據的技術、應用和價值變革[J].電信網技術， 2013（7）.

[3] 中國航發(fā)南方工業(yè)有限公司 國家重點研發(fā)計劃年度報告[J].技術報告， 2022.3.

[4] 尉詢楷，等.航空發(fā)動機預測與健康管理[M].北京：國防工業(yè)出版社， 2014.1.