一種數據監(jiān)控設備的實時通道日志記錄方案設計

姚豪立 汪芳君 李天一 孫蘇欽 李章昊

摘 ?要：數據監(jiān)控設備通常具有豐富的采集模塊及通信模塊，因此在當前工業(yè)中起到至關重要的作用。然而，這些模塊經常在應用過程中出現(xiàn)問題，目前最常用的是通過拆卸設備來獲取控制信號，以判斷問題根源。文章介紹一種基于此類設備的實時通道日志方案，通過共享設備其中的一種或者兩種通信接口，把所需通道的調試數據實時展現(xiàn)出來，同時不影響設備正常應用功能。目前這個方法已經成功應用于多種設備，并且取得良好的使用效果。

關鍵詞：數據監(jiān)控設備；通道；日志；串口

中圖分類號：TP368.1 ? 文獻標識碼：A ? 文章編號：2096-4706（2023）16-0006-05

Design of a Real-time Channel Logging Scheme of Data Monitoring Equipment

YAO Haoli， WANG Fangjun， LI Tianyi， SUN Suqin， LI Zhanghao

（Zhejiang Water Meter Research Institute， Ningbo Water Meter （Group） Co.， Ltd.， Ningbo ?315032， China）

Abstract： Data monitoring equipment is usually rich in acquisition modules and communication modules， so it plays a vital role in the current industry. However， these modules often have problems during the application， and the most commonly used one is to disassemble the equipment to obtain control signals to determine the root cause of the problem. This paper introduces a real-time channel log scheme based on such type of equipment. By sharing one or both of the communication interfaces of the equipment， the debugging data of the required channel is displayed in real time without affecting the normal application function of the equipment. At present， this method has been successfully applied in a variety of equipments， and has achieved good use effect.

Keywords： data monitoring equipment; channel; log; serial port

0 ?引 ?言

數據監(jiān)控設備為集數據采集與遠程通信技術為一體的終端產品，該設備功能強大并且具有豐富的外圍接口，其中GPS、有線采集、無線通信、紅外、藍牙等功能往往需要占用監(jiān)控設備處理器的串口資源。處理器與外圍設備經過串口通信，實際應用過程中難免會出現(xiàn)運行問題，維護人員難以通過現(xiàn)象來分析原因，他們往往需要拆卸設備，通過截取其中的交互碼流數據，來判斷問題的根源。

本文提出了一種新的數據監(jiān)控設備實時通道日志記錄方案，可極為便利地獲取外圍設備操作的日志信息，有效地解決終端維護不便的問題，大大降低維護成本，提高維護效率。

1 ?方案介紹

以應用于水務終端的數據監(jiān)控設備為例，它通過NB-IoT、GPRS和4G等無線通信單元，可實現(xiàn)水務終端數據監(jiān)控設備的無線通信網絡與數據服務器的數據交換；通過GPS定位單元，實現(xiàn)設備的精確定位和跟蹤；有線采集單元則可使用RS485、M-Bus作為通信方式，實現(xiàn)水表的流量、流速、水壓等數據采集；此外，還可利用藍牙、紅外通信單元作為維護通道，實現(xiàn)手機端、上位機的調試維護，從而降低維護成本。

數據監(jiān)控設備系統(tǒng)框圖如圖1所示。設備外圍接口豐富，比如紅外通信、藍牙通信、GPS定位、有線采集、無線通信等單元，這些功能單元占用了監(jiān)控設備處理器的串口資源。監(jiān)控設備在控制外圍設備的通信過程中，經常會出現(xiàn)各種問題，維護人員難以通過現(xiàn)象來分析原因，在極端情況下他們往往需要拆卸設備，通過截取其中的串口交互碼流數據，來判斷問題的根源。例如當無線通信失敗時，維護人員看到的現(xiàn)象是水務平臺沒有接收到設備終端數據。而引起該現(xiàn)象的因素包括：通信模組與主控單元的通信原因、模組供電電壓原因、設備無線信號問題、運營商網絡服務問題，等等。問題的確定需要拆卸設備，監(jiān)控無線通信單元與數據監(jiān)控儀AT交互信息，例如使用AT+CSQ指令查看返回的信號強度。

傳統(tǒng)的方案中每個通道的監(jiān)控都需要不同監(jiān)控工裝進行不同操作，極大提高了運維人員操作煩瑣程度，且拆卸后的設備破壞了產品的密封性，需要返家重新更換外殼灌膠，既提高了維護成本，又降低了問題解決效率，帶來極壞的產品使用體驗。

這類設備產品通常存在以下特點：

1）通信速率低。低功耗設備單片機主頻低，支持波特率低，通常在1 200～9 600 bit/s之間，這樣會影響數據傳輸效率和實時性。

2）串口數量少。舉例產品僅有兩路串口可用于通信，其中串口1用于無線通信單元，串口2通過片選芯片用于其他四路通道進行通信，沒有監(jiān)控專用通信口。

3）密封要求高。防水要求較高，拆卸影響防水功能，因此如果采用傳統(tǒng)的拆卸方案，會影響產品防水性能，進而影響二次使用。

4）硬件存儲不足。鐵電存儲區(qū)空間有限，無法存儲大量日志數據，因此如果采用故障日志先存儲方案，不僅存不了太多日志信息，還會影響后期擴展空間。

本方案采用分時復用方案，將一個串口資源分配給多個應用程序，將紅外或者藍牙通信通道作為日志監(jiān)控通道，并按需要選擇無線通信、有線采集、GPS通道進行實時監(jiān)控。方案過程包括監(jiān)控日志存儲與讀取，即當需監(jiān)控的通道有信息交互時，把交互信息存入實時緩沖區(qū)，待紅外或者藍牙通道空閑時，從緩沖區(qū)讀出日志信息輸出到PC上位機或手機APP，通過維護軟件進行數據可視化后供維護人員查看。整體方案如圖2所示。

2 ?具體實現(xiàn)方案

由于日志系統(tǒng)是非常嚴謹的事情，因此本方案中采用了大量的安全機制來保證日志方案的可靠性和穩(wěn)定性。具體實現(xiàn)過程包括日志分組管理、日志收集、日志輸出和日志可視化等幾個部分，技術人員僅需通過PC上位機和手機APP，便可監(jiān)控內部通道日志信息。

針對本產品的特點，我們設計了幾項措施，以確保系統(tǒng)的可靠性和穩(wěn)定性：

1）設計日志分組及開關控制機制，減少日志記錄對系統(tǒng)的額外開銷。

2）采用數據實時輸出模式，設計一套日志數據緩存機制，以避免數據丟失。

3）設計維護通道相關的機制，以避免維護通道日志與常規(guī)功能沖突。

4）通過維護PC上位機和手機APP展示日志。

2.1 ?日志分組管理

本方案主要記錄內部通道交互信息。由于采用單片機方案的嵌入式設備無法大量輸出日志，因此將日志分為不同類型，按需輸出指定類型日志以減少系統(tǒng)壓力；在應用現(xiàn)場出現(xiàn)的問題，在其他環(huán)境中很難復現(xiàn)，通過維護人員的操作，調試日志輸出可使設計人員第一時間獲取盡可能多的信息，定位問題。

當需要在現(xiàn)場定位問題時，可以隨時修改日志輸出類型，配合現(xiàn)場運行情況，獲得更多日志信息[1，2]。

對此設計一種嵌入式日志管理方法，包括：根據通道及功能不同，將日志信息賦予不同類型；接收用戶的指令，解析出允許輸出哪些類型的日志；確定待處理日志的類型，根據允許輸出的日志類型，判斷是否輸出該日志；日常使用時全部關閉，降低運行功耗。

具體類別如表1所示。其中編號1、2、3、4、9、10屬于無線通信通道，編號5、6屬于有線采集通道，編號7、8屬于GPS定位通道。

2.2 ?緩沖區(qū)設計

本方案僅針對內部通道信息進行監(jiān)控，由于存儲資源受限，因此最理想的方案是監(jiān)控的日志數據不做物理存儲，而是實時輸出。由于維護通道與其他通道共用一個串口，當串口正處于其他功能通道通信時，無法及時輸出日志，容易丟失數據。采取的方式為首先將日志寫入緩存，在空閑時進行發(fā)送。由于接口緩存大小本身非常有限，所以此技術也會受到日志大小、日志產生速度的影響，并不能達到實時的日志記錄[3，4]。

當前傳統(tǒng)的技術方案是通過動態(tài)分配內存方式，即接收到一個數據分配一個內存保存數據。這種方式簡單但需要較多的系統(tǒng)資源，對輕量級應用不適合[5]。因日志數據長度不定長，為避免空間浪費，特別引入環(huán)形緩沖區(qū)機制，可以有效利用緩存，實現(xiàn)較為靈活的記錄[6]。

環(huán)形緩沖區(qū)是嵌入式系統(tǒng)中十分重要的一種數據結構，通常包含一個讀指針和一個寫指針。讀指針指向環(huán)形緩沖區(qū)中可讀的數據，寫指針指向環(huán)形緩沖區(qū)中可寫的緩沖區(qū)。通過移動讀指針和寫指針就可以實現(xiàn)緩沖區(qū)的數據讀取和寫入。在通常情況下，環(huán)形緩沖區(qū)的讀用戶僅僅會影響讀指針，而寫用戶僅僅會影響寫指針。

圖3、圖4和圖5是一個環(huán)形緩沖區(qū)的運行示意圖。圖3是環(huán)形緩沖區(qū)的初始狀態(tài)，此時讀指針和寫指針都指向緩沖區(qū)的入口地址1；圖4是向環(huán)形緩沖區(qū)中添加了一個數據后的情況，此時寫指針已經移動到數據塊2的位置，而讀指針沒有移動；圖5是環(huán)形緩沖區(qū)進行了讀取和添加后的狀態(tài)，此時環(huán)形緩沖區(qū)中已經添加了兩個數據，已經讀取了一個數據。

通過固定長度的環(huán)形緩存區(qū)接收和保存數據，是很好的選擇。其中核心是申請一段內存，通過特殊方法讓其首尾相連，形成一個閉環(huán)的內存地址。這樣既可以繼續(xù)處理源源不斷的數據，又不用再去申請新的內存空間暫存新的數據，效率大大提高。

但是對于環(huán)形緩存區(qū)需要注意的問題包括：環(huán)形緩沖區(qū)寫的速度和讀速度匹配性問題，即數據還未被讀取，便寫入數據，就會造成數據還未被讀取便被新的數據覆蓋，造成數據的丟失。同樣原理，讀的指針不能超過寫的位置，否則就會讀到已經被讀取過的數據，造成數據的重復。如果存儲空間設置得太大，會造成內存的浪費，有些內存一直處于空閑狀態(tài)，如果設置得太小，可能會造成讀的速度快于寫的速度，讀的過程中會有短暫的等待時間，造成效率不是最高。

由于緩存方案的重要性，我們在本方案中采用了大量安全機制，以確保緩存方案的可靠性，避免數據丟失和影響系統(tǒng)正常運行。

2.2.1 ?日志緩存協(xié)議

因為日志信息不定長，為便捷進行讀取存儲，在保證日志數據完整前提下記錄更多信息，設計日志緩存協(xié)議，日志根據協(xié)議進行緩存協(xié)議進行打包存儲。協(xié)議如表2所示。

為了確保日志完整性，當剩余空間不足以容納新日志信息時，存儲將被暫停。按照先進先出原則，讀取時從頭開始，每次只讀一個完整日志，以供日志輸出使用。

2.2.2 ?日志緩存寫入

設計一個日志環(huán)形緩沖區(qū)的存入邏輯，首先根據日志分組控制，判斷哪些類型的日志需要監(jiān)控，然后檢查日志緩存區(qū)域有效存儲空間是否足夠，如果未使用空間小于待記錄日志數據的長度（包括起始幀2字節(jié)、長度幀2字節(jié)、日志類型1字節(jié)、日志時間戳6字節(jié)、校驗幀1字節(jié)和結束幀1字節(jié)），則根據日志緩存協(xié)議將日志數據擴充成長度為L的完整碼流，最后使用環(huán)形緩沖區(qū)寫入接口將打包后的數據存入環(huán)形緩沖區(qū)，緩沖區(qū)有效存儲空間長度減少L。

2.2.3 ?日志緩存讀取

為了高效安全地從緩沖區(qū)中取出日志信息，設計一個日志環(huán)形緩沖區(qū)的讀取邏輯。首先，在滿足存入數據長度條件的情況下，遍歷緩沖區(qū)，尋找起始幀，然后依次取出后續(xù)數據內容，如果數據域長度、校驗位和結束幀均符合緩存協(xié)議，則取出日志信息記錄。接著，將得到的信息解包，獲取日志數據、日志類型和日志時間戳，以供日志輸出模塊使用。最后，更新緩存區(qū)指針，繼續(xù)檢查下一條日志信息，直到緩存區(qū)空間不足，結束讀取。

2.3 ?日志輸出

為了避免影響本地串口的日常工作，設計了一套串口通道共用機制，在不影響功能的前提下，充分考慮功耗。該機制采用了通信互斥鎖和空閑輸出機制，以減少對功耗的影響，并降低日志任務調用頻率，避免無效遍歷環(huán)形緩沖區(qū)（僅在打開日志監(jiān)控開關后才可遍歷）。具體操作流程如下：

1）流程開始，每隔200 ms處理一次日志輸出。

2）僅需要監(jiān)控時（日志監(jiān)控開關至少打開一個）跳轉步驟3），否則結束。

3）滿足本地串口為維護通道（紅外，藍牙）且空閑跳轉步驟4），否則結束。

4）從緩沖區(qū)取出完整日志數據，若無完整日志直接結束。

5）解包后提取日志信息解包后提取日志信息，包括類型、發(fā)生時間、內容。

6）日志相關信息根據維護協(xié)議二次組包。

7）將二次組包日志信息通過串口維護通道輸出給PC上位機、手機APP。

3 ?實驗結果分析

目前對于嵌入式設備而言，常規(guī)的監(jiān)控方式為通過232串口線連接至宿主設備，宿主設備直接輸出運行信息，顯然嵌入式設備的運行信息的安全性非常低[7]。

為了提高安全性，我們設計了一種日志傳輸協(xié)議，主控設備將日志及相關信息按照一定的協(xié)議打包，通過維護通道輸出。維護軟件采用相同的協(xié)議對收到的數據進行解包[8]，以防止直接監(jiān)控通道得到一串亂碼。為了查看實時日志輸出，需要搭配專用的維護PC上位機或手機APP，從而有效地防止信息泄露，大大提高了安全系數。

維護軟件支持藍牙和紅外連接終端設備，可以實時輸出需要監(jiān)控的日志類型。維護軟件的日志界面支持調試日志分組的開啟和關閉，以及日志的實時展示和一鍵導出。日志展示內容包括日志類型、發(fā)生時間和日志內容，如圖6、圖7所示，PC上位機與手機APP操作界面可以清晰地展示出來。

4 ?結 ?論

該方案一經推出，受到運維和開發(fā)人員一致好評，本方案極大地提高了維護的便捷性，處理現(xiàn)場問題時不必攜帶一堆設備安裝大量軟件，只需使用維護PC上位機或手機APP即可完成絕大多數維護工作，同時也減少了需要返廠破膠拆殼的情況。方案具有以下優(yōu)點：

1）降低維護難度。運維人員經過簡單培訓，便可輕松上手，極大降低人工成本。

2）提升維護效率，避免返廠處理，現(xiàn)場可快速記錄日志，大大降低處理時間。

3）簡化開發(fā)難度，集成化日志記錄功能，開發(fā)調試時無需大量外接設備。

4）提升客戶滿意度，提升產品口碑。

它具有良好的移植性，可以應用于絕大部分嵌入式產品，而且數據安全性較高，可以有效保護用戶數據的隱私。該方案可以為開發(fā)和維護人員提供便利，已經在批量產品中得到應用，運行穩(wěn)定，用戶反饋良好。

參考文獻：

[1] 張朋飛，周厚明.一種嵌入式日志管理系統(tǒng)及方法：2020111832990 [P].2021-02-02.

[2] 郭榮華，張建，胡成松.一種嵌入式系統(tǒng)及其日志管理方法：201911321118 [P].2022-04-12.

[3] 楊波波，李悅坤，陸發(fā)忠.一種嵌入式設備日志輸出記錄方法及系統(tǒng)：2020109824924 [P].2020-12-18.

[4] 宋恒利.一種嵌入式設備控制器的實時日志記錄方法：201510984551.0 [P].2017-07-04.

[5] 裴文祥，張建新，汪先超，等.一種高可靠性異步環(huán)形緩存區(qū)存儲、處理的實現(xiàn)方法：202111135622.1 [P].2021-12-31.

[6] 姚章俊，陳蜀宇，盧堯.一種高性能環(huán)形緩沖區(qū)的研究與實現(xiàn) [J].計算機工程，2012，38（8）：228-231.

[7] 汪俊偉.一種嵌入式設備運行信息的輸出方法、裝置及嵌入式設備：202011002664.3[P].2020-12-22.

[8] 李亞洲.基于串口通信的單片機日志系統(tǒng)設計[J].工業(yè)控制計算機，2009，22（11）：44-45.

作者簡介：姚豪立（1993—），男，漢族，浙江寧波人，嵌入式工程師，本科，研究方向：嵌入式系統(tǒng)設計；汪芳君（1981—），女，漢族，浙江寧波人，高級工程師，碩士，研究方向：無線遠程通信與控制；李天一（1989—），男，漢族，浙江寧波人，助理工程師，本科，研究方向：有線通信技術與設備應用；孫蘇欽（1994—），男，漢族，浙江寧波人，嵌入式工程師，本科，研究方向：無線遠程通信與控制；李章昊（1997—），男，漢族，陜西寶雞人，嵌入式工程師，本科，研究方向：嵌入式系統(tǒng)設計。