基于多線程的雷達數(shù)據(jù)實時處理系統(tǒng)*

勾亞彬 ，梁敬東 ，袁成松 ，徐 芬

(1.南京農(nóng)業(yè)大學(xué) 信息與科學(xué)技術(shù)學(xué)院，江蘇 南京210095；2.江蘇省氣象科技研究所，江蘇 南京210008)

實時系統(tǒng)的開發(fā)過程中通常需要解決這樣的問題：實時地或軟實時地對數(shù)據(jù)進行處理，并能夠及時地對用戶的操作做出響應(yīng)。由于數(shù)據(jù)的處理需要大量的計算，這勢必影響到系統(tǒng)對用戶操作的響應(yīng)。為了解決這一矛盾，多線程是必然的選擇[1]。實踐證明，實時系統(tǒng)中，開辟與用戶操作無關(guān)的、專門負責(zé)數(shù)據(jù)處理的線程可以解決這個問題。典型的應(yīng)用有激光雷達實時處理顯示系統(tǒng)[2]、遙測參數(shù)的實時判讀和傳輸監(jiān)控[3]、測震實時數(shù)據(jù)保護系統(tǒng)[4]、基于主從異步復(fù)制技術(shù)的容災(zāi)實時系統(tǒng)[5]與基于多線程的實時信息處理系統(tǒng)[6]。多線程技術(shù)在這些系統(tǒng)中的成功應(yīng)用，為多普勒天氣雷達實時處理系統(tǒng)的研發(fā)提供了良好的參考與借鑒。

在開發(fā)多普勒天氣雷達實時處理系統(tǒng)的過程中，如果系統(tǒng)并發(fā)開辟過多的產(chǎn)品處理線程，會造成系統(tǒng)本身甚至操作系統(tǒng)的崩潰，因此如何對系統(tǒng)中并發(fā)的線程進行控制，成為系統(tǒng)開發(fā)成功的關(guān)鍵。本文采用了并發(fā)地處理各雷達站點、串行生成各站點目標產(chǎn)品的折衷策略?？紤]到進一步研發(fā)雷達產(chǎn)品的必要性以及未來增設(shè)雷達站點的可能性，系統(tǒng)的設(shè)計采用了一個二維的多線程控制結(jié)構(gòu)，因而可以較容易地擴展系統(tǒng)的目標產(chǎn)品和能夠處理的雷達站點。

1 多普勒天氣雷達實時數(shù)據(jù)處理系統(tǒng)的設(shè)計

目前江蘇省氣象部門擁有5部多普勒天氣雷達，另有2部在建，雷達監(jiān)測網(wǎng)已經(jīng)建成。如何充分利用該資源是目前氣象科研工作者的一項重要工作。除了已有的雷達產(chǎn)品外，科研人員應(yīng)用雷達基數(shù)據(jù)研究開發(fā)出多種適合于業(yè)務(wù)使用的雷達產(chǎn)品。目前已自行研發(fā)的雷達產(chǎn)品的生成算法先進、穩(wěn)定、可靠，但在多算法、多數(shù)據(jù)集成工作上還略顯不足，研究成果的業(yè)務(wù)化效果不夠理想。為了對所有雷達站點數(shù)據(jù)進行實時產(chǎn)品處理，使得這些研究成果適合在業(yè)務(wù)中使用，本文設(shè)計開發(fā)了多普勒天氣雷達實時處理系統(tǒng)。該系統(tǒng)能夠?qū)Χ鄠€雷達站點的數(shù)據(jù)實施有效的監(jiān)控，并實時地將所有雷達站點的數(shù)據(jù)處理成多個雷達產(chǎn)品，同時便于業(yè)務(wù)人員掌握并控制雷達數(shù)據(jù)的處理，因此特別適合業(yè)務(wù)推廣。

系統(tǒng)的硬件結(jié)構(gòu)如圖1所示。目前需要處理的數(shù)據(jù)來自南京、徐州、連云港、蘇州與南通5個雷達站點，這些站點的數(shù)據(jù)通過網(wǎng)絡(luò)傳輸?shù)轿募?wù)器上。多普勒天氣雷達數(shù)據(jù)實時處理系統(tǒng)監(jiān)控文件服務(wù)器上的雷達數(shù)據(jù)，并發(fā)地開辟與站點數(shù)目對應(yīng)的產(chǎn)品處理線程，由用戶控制系統(tǒng)生成各雷達站點的目標產(chǎn)品。

系統(tǒng)的總體設(shè)計如圖2所示。由于目標產(chǎn)品的生成都依賴于雷達數(shù)據(jù)的讀取，需事先監(jiān)控雷達數(shù)據(jù)的傳輸是否已經(jīng)完成，雷達數(shù)據(jù)6 min到達一次，因此必須在6 min之內(nèi)，即在下一個雷達數(shù)據(jù)到達之前將所有站點的雷達數(shù)據(jù)實時處理成多個目標產(chǎn)品。其中包括雨量直方圖產(chǎn)品、CAPPI(等高平面位置顯示)產(chǎn)品、VIL(垂直累積液態(tài)含水量)產(chǎn)品、TREC風(fēng)場產(chǎn)品、OHP產(chǎn)品、Div(散度)產(chǎn)品、雨量預(yù)報產(chǎn)品(包括 1 h雨量、2 h雨量和 3 h雨量)以及與這些產(chǎn)品相關(guān)的圖片產(chǎn)品。所有目標產(chǎn)品的生成過程都由線程來實現(xiàn)，用戶通過多線程控制結(jié)構(gòu)來控制目標產(chǎn)品的生成，并在人機界面中進行消息的實時顯示以及對用戶選定的產(chǎn)品進行顯示。

由于各個產(chǎn)品處理線程運用自身已有的方式各取所需，因此對雷達數(shù)據(jù)的讀取可以串行進行，避免了各個產(chǎn)品處理部分之間數(shù)據(jù)訪問的沖突，同時也無需使用其他機制控制數(shù)據(jù)的訪問。如何實現(xiàn)并行處理各雷達站點、串行生成目標產(chǎn)品的策略以及各產(chǎn)品處理線程的執(zhí)行可視化等系統(tǒng)設(shè)計與實現(xiàn)的關(guān)鍵部分都是通過多線程控制結(jié)構(gòu)來實現(xiàn)的。

圖2 多普勒天氣雷達產(chǎn)品綜合處理平臺

2 多線程控制結(jié)構(gòu)

陣列邏輯控制器采用陣列邏輯的方法構(gòu)成組合邏輯控制電路，一種實現(xiàn)控制器的電路結(jié)構(gòu)是可編程邏輯陣列(PLA)結(jié)構(gòu)，如圖3所示，其中對門電路的輸入端作了簡化表示[7]。陣列中每個交叉點可以像寫ROM一樣進行設(shè)置，這種設(shè)置的過程稱為編程。

基于可編程邏輯陣列的啟發(fā)，本文設(shè)計了一個多線程控制結(jié)構(gòu)?？梢詫⑦@個控制結(jié)構(gòu)看作一個M行N列的二維數(shù)組，其中行定義了需要生成的M種雷達產(chǎn)品，列定義了需要監(jiān)控的N個雷達站點。這里用Control[M][N]表示這個二維數(shù)組，Control[i][j]則代表了是否可以開始第j個雷達站點的第i個產(chǎn)品處理過程。若Control[i][j]為true，則當(dāng)前可以開始雷達站點j的第i個產(chǎn)品處理過程；若 Control[i][j]為 false，則表明對雷達站點 j中的第i個產(chǎn)品已經(jīng)處理完畢或正在等待處理。需要注意的是第0行代表了雷達站點的數(shù)據(jù)是否已經(jīng)傳輸?shù)搅朔?wù)器上，只有當(dāng)?shù)?行為true時才能開始各項目標產(chǎn)品的處理，否則系統(tǒng)中不存在任何產(chǎn)品處理過程。通過圖4的多線程控制結(jié)構(gòu)可以很容易地實現(xiàn)并發(fā)處理各雷達站點、串行生成目標產(chǎn)品的策略。具體地只需要控制這個結(jié)構(gòu)使得每一列都只有一個為true，而各列之間的不同元素可以同時為true即可。系統(tǒng)的實際運行情況表明，不同時并發(fā)地將所有雷達站點的雷達數(shù)據(jù)處理成所有的目標產(chǎn)品，而是采用這種并發(fā)與串行相結(jié)合的方式，有效地控制了系統(tǒng)產(chǎn)品處理線程的數(shù)量，減輕了系統(tǒng)運行時對內(nèi)存和CPU的需求，同時也不影響人機之間的交互。

通過多線程控制結(jié)構(gòu)的狀態(tài)可以準確得到系統(tǒng)在某一時刻開辟了哪些產(chǎn)品處理線程。如果用當(dāng)前各站點正在處理的產(chǎn)品的索引來表示控制結(jié)構(gòu)的狀態(tài)，則圖5中控制結(jié)構(gòu)的4個狀態(tài)可以編碼為11111、12254、33445、56555。與可編程邏輯通過對圖3中的交叉點進行編程設(shè)置一樣，用戶可以對控制結(jié)構(gòu)中交叉點進行設(shè)置，即對多線程控制結(jié)構(gòu)進行編碼，控制系統(tǒng)生成用戶所指定的目標產(chǎn)品。

3 產(chǎn)品處理過程

系統(tǒng)的主要處理過程包含2個定時器。

數(shù)據(jù)檢測定時器：為各個雷達站點開辟各自相應(yīng)的數(shù)據(jù)檢測線程，每6 min進行一次數(shù)據(jù)檢測。當(dāng)檢測到雷達站點j的數(shù)據(jù)已經(jīng)傳輸完成，數(shù)據(jù)檢測線程將Control[0][j]設(shè)置為 true，以此通知產(chǎn)品處理定時器可以開始站點j的各項產(chǎn)品處理過程。

產(chǎn)品處理定時器：輪詢多線程并行控制結(jié)構(gòu)，以便為各個站點開辟目標產(chǎn)品的處理線程。如果站點j的產(chǎn)品 i-1已經(jīng)處理完成，即 Control[i-1][j]為 true，則說明可以開辟產(chǎn)品i的處理線程；否則需要等待下一次輪詢，直到 Control[i-1][j]為 true時，才能開始產(chǎn)品 i的處理。產(chǎn)品i處理完成之后，自動地將Control[i][j]設(shè)置為true，以表明當(dāng)前產(chǎn)品已經(jīng)處理完畢，以便進行下一個產(chǎn)品的處理過程。這里需要注意，為了避免開辟相同的產(chǎn)品處理線程，開辟產(chǎn)品處理線程i之前，應(yīng)先將Control[i-1][j]設(shè)置為false，以保證每一列要么全為false，要么只有一個true。

Div散度產(chǎn)品的處理過程中需要耗費巨大的內(nèi)存，不適合在多個站點之間并發(fā)處理，因此將Div散度產(chǎn)品視作一個關(guān)鍵產(chǎn)品，各站點之間串行生成Div散度產(chǎn)品，即使系統(tǒng)中每一時刻最多只有一個這樣的關(guān)鍵產(chǎn)品處理過程。由于整體上串行處理Div產(chǎn)品，當(dāng)各個站點都要進行Div產(chǎn)品處理時，將會產(chǎn)生各個站點對Div產(chǎn)品的競爭。開發(fā)過程中賦予每個站點一個Div產(chǎn)品的處理權(quán)，并在各個站點之間傳遞這個處理權(quán)，即只有當(dāng)前擁有處理權(quán)的站點才能進行Div產(chǎn)品的處理，從而使Div產(chǎn)品的處理在整體上進行串行處理。

為了提高產(chǎn)品生成過程的實時性，一旦站點j完成Div產(chǎn)品的生成，則立刻將Div產(chǎn)品的處理權(quán)傳遞給站點j+1；通過多線程控制結(jié)構(gòu)，站點j+1獲知自己已經(jīng)得到了Div產(chǎn)品的處理權(quán)，則立即開始Div產(chǎn)品的處理。這里存在一個潛在的問題，即一旦某個站點的數(shù)據(jù)傳輸因為某些原因而暫時中斷或停止，則這個站點的Div產(chǎn)品的處理權(quán)難以自動傳遞給下一個站點。為此，每個站點附加了一個計數(shù)器，通過這個計數(shù)器來指定限制某個站點掌握Div產(chǎn)品處理權(quán)的時間。只有當(dāng)前獲得處理權(quán)的站點才能進行計數(shù)器的計數(shù)，一旦計數(shù)器超過了預(yù)設(shè)的上限，則強制其交出處理權(quán)。這樣使每個站點不能無限制地擁有處理權(quán)，從而解決了由于數(shù)據(jù)傳輸中斷而引發(fā)的處理權(quán)難以傳遞的問題。

假設(shè)當(dāng)前系統(tǒng)需要將5個雷達站點的數(shù)據(jù)分別生成6個目標產(chǎn)品，圖5所示為從一次數(shù)據(jù)處理過程中選取的控制結(jié)構(gòu)的幾個狀態(tài)，其中產(chǎn)品6為一個關(guān)鍵產(chǎn)品。圖的底部是為各站點設(shè)置的計數(shù)器的計數(shù)值，這里設(shè)置計數(shù)器的上限是400。第1個狀態(tài)代表數(shù)據(jù)檢測線程檢測到雷達數(shù)據(jù)之后，剛剛開始進行各個雷達站點第一個產(chǎn)品的處理，此時第0個站點擁有對關(guān)鍵產(chǎn)品的處理權(quán)。由第2個狀態(tài)可以看出對各站點數(shù)據(jù)的并行處理過程是不同步的。對比第3個和第4個狀態(tài)圖可知雖然第4個雷達站點首先將除了關(guān)鍵產(chǎn)品6之外的其他產(chǎn)品處理完畢，但是卻不能最先處理產(chǎn)品6；第4個狀態(tài)圖可以解釋為由于站點0的計數(shù)器在其處理產(chǎn)品6之前已經(jīng)超過了設(shè)定的閾值，站點0被迫提早將產(chǎn)品6的處理權(quán)交給了站點1，因此站點1首先進行產(chǎn)品6的處理。由于系統(tǒng)中每一時刻只有一個站點擁有對關(guān)鍵產(chǎn)品的處理權(quán)，假設(shè)此時各站點的數(shù)據(jù)傳輸正常，且產(chǎn)品6的處理過程將在計數(shù)器到達閾值之前結(jié)束并傳遞產(chǎn)品6的處理權(quán)給下一個站點。如果將此時產(chǎn)品6的各站點處理權(quán)編碼為01000，則各站點對產(chǎn)品6的處理權(quán)循環(huán)編碼為 01000、00100、00010、00001、10000，1 所在的位為擁有處理權(quán)的站點。對應(yīng)的多線程并行控制結(jié)構(gòu)狀態(tài)的編碼為 56555、60655、50065、50006、60000， 每個狀態(tài)中只存在一個6。

本文結(jié)合一個類似可編程陣列控制邏輯的多線程并行控制結(jié)構(gòu)，完成了對江蘇省多普勒天氣雷達實時數(shù)據(jù)處理系統(tǒng)的設(shè)計與實現(xiàn)。系統(tǒng)在Windows下開發(fā)，目前并發(fā)處理5個站點雷達數(shù)據(jù)的時間平均只需1 min～2 min，其中包括16幅雷達產(chǎn)品圖片。與此同時，用戶可以方便地知道系統(tǒng)當(dāng)前時刻開辟了哪些產(chǎn)品處理線程，同時可以方便地對各站點所需生成的產(chǎn)品進行控制。系統(tǒng)的實際運行表明，系統(tǒng)運用時，橫向上至少可以對10個雷達站點的數(shù)據(jù)進行綜合處理，與此同時縱向上仍可以擴展添加新的雷達產(chǎn)品。由于可以方便地對控制結(jié)構(gòu)進行擴展，未來進一步的工作可以集中在各種雷達產(chǎn)品的研發(fā)上，提高各產(chǎn)品生成算法的效率以及系統(tǒng)的擴展性。

[1]BEVERIDGE J，WIENER R.Win32多線程編程設(shè)計[M].候捷，譯.武漢：華中科技大學(xué)出版社，2002.

[2]方欣，胡順星，趙培濤，等.ATS-1激光雷達實時處理顯示系統(tǒng)設(shè)計[J].計算機工程，2009，35(11)：276-279.

[3]趙文策，苗巖松.利用多線程技術(shù)實現(xiàn)遙測參數(shù)的實時判讀和傳輸監(jiān)控[J].導(dǎo)彈試驗技術(shù)，2009(1)：22-24.

[4]盛琰，畢卉娟.測震實時數(shù)據(jù)保護系統(tǒng)的建立及應(yīng)用[J].內(nèi)陸地震，2005，19(2)：181-184.

[5]楊朝紅，宮云戰(zhàn)，桑偉前，等.基于主從異步復(fù)制技術(shù)的容災(zāi)實時系統(tǒng)研究與實現(xiàn)[J].計算機研究與發(fā)展，2003，40(7)：1104-1109.

[6]張堅英，詹彩菊.基于多線程的實時信息處理系統(tǒng)的設(shè)計與實現(xiàn)[J].導(dǎo)彈試驗技術(shù)，2009(1)：37-39，53.

[7]胡越明.計算機組成和系統(tǒng)結(jié)構(gòu)[M].上海：上海科學(xué)技術(shù)文獻出版社，1999：219-223.