齒輪云測量終端系統(tǒng)構建方法研究

姚新景, 張洪良, 張登攀, 王 宇

(河南理工大學 機械與動力工程學院，河南 焦作 454000)

0 引言

齒輪是重要的基礎傳動零件，廣泛應用于機器設備、儀器儀表的運動傳遞、負載傳遞和精密分度。在齒輪智能制造的設計、加工及在役運行的“全生命周期”中，齒輪測量是齒輪高效、高精度生產和可靠運行的保障[1]。從齒輪測量技術本身的發(fā)展來看：一方面，齒輪數據的獲取能力不斷增強；另一方面，測量數據的應用方式也在發(fā)生改變，大量的測量數據將實現云端分析。

傳統(tǒng)的測量模式不能滿足測量系統(tǒng)向技術集成化、人員協(xié)作化、設備集成化以及信息和數據共享化方向發(fā)展的需求，此外，制造系統(tǒng)中的網絡化測量逐步形成以自動化測量技術、網絡通信技術以及測量體系應用軟件三位一體的分布式測量系統(tǒng)。網格制造模式推動了制造資源和測量應用在網絡分布的虛擬組織中的共享和協(xié)作。其中，有許多有影響的基于測量技術網格應用的研究項目，Spencer B等[2]通過協(xié)作測量支持科學家協(xié)作研究地震對現代社會基礎設施-建筑物、道路、橋梁等帶來的后果和影響, Jackson T等[3]實現飛行器引擎在線診斷和數據共享，Mcmullen D等[4]實現了多個實驗室的X射線設備的互聯(lián)。數據交互共享方面，石照耀等[5-6]建立了齒輪數據交互接口的標準規(guī)范，并開發(fā)了相應的交互接口。但是，由于大多數的齒輪測量系統(tǒng)以獨立的形式分布，不同測量系統(tǒng)中的信息是異構的、不兼容的，因此上述方法并不完全滿足測量系統(tǒng)服務集成和數據共享的需求。

為解決上述問題，本文采用微服務架構技術，結合云計算技術，開發(fā)齒輪云測量終端系統(tǒng)。構建一個內部資源透明、外部資源集成和協(xié)同提供服務的終端系統(tǒng)，實現了對不同地方的測量數據的采集、存儲、分析，以及對測量指標中各項誤差參數的管理與可視化展示。

1 齒輪云測量終端系統(tǒng)結構及原理

1.1 齒輪云測量終端系統(tǒng)結構

齒輪測量過程遵循的基本環(huán)節(jié)為數據獲取、數據處理、傳輸、存儲、顯示以及齒輪測量結果對齒輪制造過程的閉環(huán)反饋，齒輪云測量所匯聚的測量資源兼具服務提供和服務應用。齒輪云測量終端系統(tǒng)以開放的方式通過智能感知和云端來接入齒輪測量設備、測量標準規(guī)范、齒輪測量大數據平臺、測量軟件、齒輪加工及原位測量系統(tǒng)等資源。齒輪云測量終端系統(tǒng)結構如圖1所示。

圖1 齒輪云測量終端系統(tǒng)結構

1.2 齒輪云測量終端系統(tǒng)工作原理

齒輪云測量終端系統(tǒng)主要圍繞用戶在齒輪測量過程中的需求所進行的一系列數據信息處理，數據采集通道的搭建是整個終端系統(tǒng)實現數據集成的關鍵和核心。數據集成是將企業(yè)或機構中分散、零亂、標準不統(tǒng)一的異構數據進行采集、統(tǒng)一存儲的過程，為不同地方的源數據入云和解決“數據孤島”問題提供了一個方法。

測量系統(tǒng)中的數據通過數據采集通道，集成到齒輪云測量平臺中，為云平臺中的服務提供支持。模塊化開發(fā)的齒輪云測量平臺通常需要將復雜的業(yè)務邏輯抽象為較小的、可復用的服務，并通過一定方式將微服務組織起來。終端系統(tǒng)開發(fā)完畢后，可持續(xù)交付組件到齒輪云測量平臺中，同時需要在服務注冊中心進行注冊。服務調用者通過服務網關來調用平臺中的服務。

2 基于云平臺的齒輪云測量系統(tǒng)數據動態(tài)集成

測量系統(tǒng)中的數據通過數據采集通道，集成到齒輪云測量平臺中，為云平臺中的服務提供支持。在齒輪云測量終端系統(tǒng)數據集成的過程中，需要對原始數據進行抽取-轉換-加載(Extract-Transform-Load，ETL)處理，為用戶提供高質量的數據服務。

2.1 數據采集

齒輪測量過程中遵循的數據分析流程一般為數據獲取、數據處理、傳輸、存儲、顯示以及反饋。數據在云平臺中的流動也是按照數據采集、數據處理、傳輸、存儲、可視化和數據應用等。終端系統(tǒng)通過以下幾種途徑進行數據的采集：

1)從指定網絡端口，進行實時監(jiān)控新增數據，多用于日志類數據的聚合、移動以及集中式數據存儲。

2)通過通信協(xié)議進行數據的采集，測量現場中的儀器、傳感器通過客戶端協(xié)議接入到大數據云平臺，進而完成數據采集傳輸。

3)對于數據文件，終端用戶以文件上傳的方式實現云端采集功能。

4)對于傳統(tǒng)關系型數據庫中的數據，云平臺通過Sqoop組件進行數據的采集。

系統(tǒng)進行數據采集時，云平臺數據流程如圖2所示。

圖2 云平臺數據流程

2.2 輕量級的數據交換格式JSON

齒輪領域因其零部件形狀尺寸復雜、參數誤差種類繁多以及各種參數彼此互有聯(lián)系卻各不相同等特征，會在齒輪設計、加工、測量和在役的過程中產生大量具有復雜關聯(lián)關系和具有多源異構特性的數據。使用“名稱/值”對的JSON文檔結構靈活的定義齒輪數據結構，將維度信息中的表結構轉換為基于JSON的文檔結構，將事件包含的維度信息通過嵌套文檔的方式保存[7]。例如表一所示的結構化表數據可以轉換為JSON格式數據，結果如圖3所示。

表1 關系型數據示例

圖3 關系型數據對應的JSON格式

齒輪云測量平臺采集到的數據主要有業(yè)務數據和測量行為數據，數據倉庫以此進行一系列的加工處理。本文使用hive將云平臺獲取的數據文件映射為數據倉庫中的表，并根據數據結構和粒度將數據倉庫分為原始數據層、明細數據層、服務數據層等，應用程序參照需求在不同數據層進行數據處理。

當云平臺從系統(tǒng)文件中采集到數據后，會在數據倉庫的原始數據層創(chuàng)建表，測量行為數據表中包含具體信息的字段為String類型，原始數據層中數據表信息字段的數據內容結構如圖4所示。

圖4 原始數據層內容字段的數據結構

2.3 云平臺中數據的解析轉換

在采集到的測量行為數據中，不同測量指標所對應的字段內容不同，例如齒輪累計偏差指標、齒廓偏差指標、徑向跳動指標等不同測量指標的參數不同，對應數據表中的字段也不同。對此，數據倉庫通過自定義UDF(user defined function)函數和自定義UDTF(user defined table-generating function)函數對測量行為數據進行解析。

進行數據解析前需要對原始數據層的數據表進行整體的分析，測量行為數據表中包含測量指標詳情的字段是String類型，其數據結構如圖4所示，由時間戳、分隔符“^”和JSON數據組成。JSON數據由JSON對象和JSON數組組成，內容主要由描述齒輪基本信息的基礎公共字段，和包含不同測量指標的功能字段組成，功能字段為JSON數組。

自定義UDF函數解析基礎公共字段，通過自定義Java類BaseFieldUDF中的方法實現。方法的輸入參數為包含測量指標詳情的String字符串和基礎公共字段中鍵值對中的key，將傳入的字符串用“^”切割，并通過程序中的判斷語句對傳入的數據做簡單的數據清洗，去除空json或結構不完整的字段，再取出時間戳和json數據。根據切割后獲取到的json數據，創(chuàng)建一個JSONObject對象，根據key值“base”得到基礎公共字段的json對象baseJson，循環(huán)遍歷基礎公共字段中的key向baseJson中取值，從而把基礎公共字段的值完整的解析出來。

自定義UDTF函數基于前面UDF函數，在原來的json有一個初步的解析之后，對不同的測量指標數據進行解析。自定義UDTF函數類FuncJsonUDTF，需要繼承通用抽象類GenericUDTF，重寫initialize()、process()和close()等方法。initialize()方法中指定輸出參數的名稱和參數類型：func_name，func_json。兩個都是string類型。當沒有數據需要處理的時候會調用close()方法，關閉資源。process()方法中輸入一條記錄，輸出若干條結果，輸出結果的數量取決于測量指標詳情部分的數組所包含的測量指標個數。

2.4 齒輪云測量終端系統(tǒng)數據動態(tài)集成

基于云平臺的齒輪云測量終端系統(tǒng)的信息交互本質上是數據的集成與交換，在基于云平臺的數據集成的過程中，機構i的業(yè)務j的源數據信息定義為固定長度的元組：

TSi,j_tuple=(TStype，TSname，TSTable，TSField，TSFieldT，TSExtend )，其中TSi,j_tuple表示機構i的業(yè)務j的源數據信息；TStype存放業(yè)務數據庫類型，例如hive、mysql、hbase、mongodb等；TSname存放數據庫名；TSTable存放數據庫表名；TSField存放數據庫表的字段名；TSFieldT存放數據庫表的字段類型；TSExtend存放備注信息。

云平臺上集成到目的地中的數據信息定義模型與源數據信息定義模型相似，源數據與目的地數據的對應關系為：

Transfer={TSi,j_tuple，TDi,j_tuple，RuleTSi,j →TDi,j}，其中TDi,j表示目的地數據信息；RuleTSi,j →TDi,j表示源數據信息向目的地數據轉換的規(guī)則。上述過程對應云平臺數據集成模型如圖5所示。

圖5 云平臺數據集成

3 齒輪云測量終端系統(tǒng)設計及開發(fā)流程

3.1 齒輪云測量終端系統(tǒng)設計

齒輪云測量終端系統(tǒng)包括進行數據交換的齒輪測量云終端、齒輪測量服務系統(tǒng)和齒輪測量云平臺。

齒輪測量云終端為終端用戶提供齒輪測量云檢索、齒輪信息數據云存儲、測量數據處理和測量結果的可視化表征等服務，基于瀏覽器或其他應用程序，調用統(tǒng)一的應用服務接口。

齒輪測量云平臺主要實現數據的集成功能，對異構數據源進行統(tǒng)一的管理，完成數據的共享。云平臺提供的功能服務：數據傳輸、應用中間件、分布式數據存儲、數據中心、大數據平臺、ETL、大數據并行計算。

齒輪測量服務系統(tǒng)主要負責系統(tǒng)業(yè)務功能實現和服務的組合，采用微服務架構，服務系統(tǒng)與指定的信息源進行連接及數據交換，并對從指定信息源獲取的齒輪測量信息進行數據封裝，接著發(fā)送到與之對應的數據庫和齒輪測量云終端。此外，把從齒輪測量云終端獲取的齒輪綜合評價結果保存到對應的齒輪測量數據庫中；其中，齒輪測量服務系統(tǒng)包括服務接口模塊、齒輪測量數據管理模塊、測量數據封裝模塊和測量數據發(fā)送模塊等。

3.2 齒輪云測量終端系統(tǒng)開發(fā)流程

齒輪云測量終端系統(tǒng)開發(fā)過程包括明確各環(huán)節(jié)用戶需求、理清功能原理和功能模塊設計思路、整體結構規(guī)劃、標準服務模塊設計、模塊接口定義和模塊化服務平臺的構建等，服務平臺的模塊化開發(fā)流程如圖6所示。

圖6 齒輪云測量終端系統(tǒng)開發(fā)流程

1)明確各環(huán)節(jié)用戶需求，面向不同用戶和不同服務場景。

2)理清功能原理和功能模塊設計思路，從可裝配、可重用性、一致性等特性來選擇對應的功能原理。

3)整體結構規(guī)劃，在盡可能少的結構模塊的情況下，提供盡可能多的服務種類。

4)標準服務模塊設計，抽象出可重用模塊，減輕系統(tǒng)模塊管理難度。

5)模塊接口定義，把不同的結構模塊串聯(lián)起來，使之成為一個柔性組合。

6)模塊化服務平臺構建，建立模塊間的關系，搭建一個可配置的服務平臺。

4 系統(tǒng)應用實現

齒輪云測量終端系統(tǒng)后臺代碼主要采用Java語言編寫，通過Spring Boot框架和Spring Cloud技術進行服務的開發(fā)和管理[8]，數據持久層使用MyBatis技術將Java的POJO和MySQL中的數據表進行映射。利用Vue.js框架進行頁面的開發(fā)。使用Hadoop來進行云計算平臺的搭建[9-10]，云平臺中Hadoop集群完全分布式網絡拓撲圖如圖7所示。

圖7 云平臺中Hadoop集群完全分布式網絡拓撲圖

齒輪云測量終端系統(tǒng)應用程序的核心業(yè)務由多個微服務構成，在系統(tǒng)交互頁面中可聚合不同數量的微服務，后臺服務利用網關對外提供接口以便服務的調用[11]。

4.1 用戶權限管理服務

系統(tǒng)中用戶對頁面內容的操作和訪問權限由用戶角色關系以及角色菜單關系控制，系統(tǒng)管理員可對用戶權限進行修改，用戶登錄后可以獲取接入云平臺的齒輪測量設備信息、傳感器信息、齒輪精度參數、測量指標以及國際或國家齒輪測量評價標準，同時可進行云平臺中資源的上傳與下載等一系列操作。

4.2 資源管理服務

對于系統(tǒng)已經授權的用戶而言，可以通過資源管理服務查看并管理相關的系統(tǒng)資源信息。主要包括系統(tǒng)中的設備資源、傳感器采集到的數據資源，用戶可以通過終端頁面對這些設備資源信息進行查看和編輯，如設備的名稱、編號、對應的狀態(tài)。

4.3 測量數據集成管理服務

測量數據集成管理服務是齒輪云測量終端系統(tǒng)的核心功能模塊，系統(tǒng)需要將云平臺數據采集通道中獲取的數據匯聚起來，分析處理后保存在數據庫中。此外系統(tǒng)為用戶提供指定時間段的實測數據查詢、誤差曲線繪制、數據文件上傳和下載等服務。

4.4 檢索服務

系統(tǒng)根據用戶給定的檢索條件，對其進行關鍵詞解析，通過倒排索引等技術在云數據中心相應的數據庫中進行資源過濾，最后按照一定的順序將檢索到的結果渲染到Web頁面上。

4.5 齒輪云測量終端系統(tǒng)界面與使用效果

測量人員可以在齒輪云測量終端系統(tǒng)中通過瀏覽器調用相應的服務。圖8為齒輪云測量終端系統(tǒng)數據中心前端界面。圖9為齒輪云測量平臺數據集成中的數據管理服務界面。圖10為測量指標分析。

圖8 齒輪云測量終端系統(tǒng)數據中心

圖9 齒輪云測量終端系統(tǒng)數據管理服務

圖10 測量指標分析

5 結束語

本文針對齒輪測量系統(tǒng)資源有限、分散、獨立，無法動態(tài)耦合互聯(lián)網平臺及測量資源，齒輪測量數據的異構性以及數據孤島等問題，開發(fā)了齒輪云測量終端系統(tǒng)。該系統(tǒng)通過云平臺從測量現場或系統(tǒng)文件采集到數據后，先對數據做簡單的清洗、規(guī)整，其次利用數據倉庫中的自定義函數對數據進行解析轉換，解析出各種測量指標，最后將數據統(tǒng)一存放在云數據中心中，供系統(tǒng)服務使用。本文為齒輪及族系協(xié)作測量和信息交流提供了技術支持和設計方案，提高了齒輪測量的數字化水平。