海量數(shù)據(jù)處理系統(tǒng)框架關(guān)鍵技術(shù)研究

于濤

（遼寧冶金職業(yè)技術(shù)學(xué)院，遼寧 本溪117000）

海量數(shù)據(jù)處理系統(tǒng)框架屬于逆向工程軟件的基礎(chǔ)部分，該框架主要包括數(shù)據(jù)采集、模型修補(bǔ)等相關(guān)方面。然而，該項(xiàng)技術(shù)在使用過程中，海量數(shù)據(jù)處理系統(tǒng)框架存在諸多問題，尤其是三維網(wǎng)格數(shù)據(jù)存儲(chǔ)環(huán)節(jié)較為薄弱，無法滿足人們工作使用需求。為此，如何加大海量數(shù)據(jù)的儲(chǔ)存與顯示功能是人們迫切解決的主要問題。

1 面向?qū)ο蠹夹g(shù)

海量數(shù)據(jù)與面向?qū)ο蠹夹g(shù)優(yōu)化結(jié)合以后，可以將海量三角網(wǎng)絡(luò)格模型視作整體對(duì)象，然后將較為抽象的邏輯數(shù)據(jù)，依照其封裝原理進(jìn)行操作，這樣就可以借助面向?qū)ο蟪绦蛟O(shè)計(jì)語言操作海量網(wǎng)格數(shù)據(jù)。當(dāng)前，網(wǎng)格數(shù)據(jù)對(duì)象基本分為兩個(gè)部分，一個(gè)部分是內(nèi)部狀態(tài)，另一個(gè)部分是對(duì)網(wǎng)格數(shù)據(jù)操作方法以及外部影響。其中面向?qū)ο笤O(shè)計(jì)程序主要是將網(wǎng)格數(shù)據(jù)作為最基本元素，通過代碼操作數(shù)據(jù)使其可以有效描述內(nèi)部狀態(tài)，該程序以數(shù)據(jù)為核心，利用代碼處理技術(shù)設(shè)計(jì)程序數(shù)據(jù)，從而將代碼操作與數(shù)據(jù)中的函數(shù)優(yōu)化結(jié)合，避免該程序受外界函數(shù)干擾，致使數(shù)據(jù)發(fā)生改變。由于各種設(shè)計(jì)方法具有良好的繼承性、封裝性與多態(tài)性，可以有效繼承網(wǎng)格數(shù)據(jù)，大量消除多余代碼，并在原有基礎(chǔ)上對(duì)現(xiàn)有代碼進(jìn)行擴(kuò)充，這樣海量數(shù)據(jù)處理系統(tǒng)框架模塊在構(gòu)建時(shí)，不需要從頭開始進(jìn)行重新構(gòu)建，減少軟件重新開發(fā)的時(shí)間，提高更新速度。設(shè)計(jì)人員在設(shè)計(jì)時(shí)應(yīng)以數(shù)據(jù)為中心，應(yīng)對(duì)原有系統(tǒng)模型框架進(jìn)行更多的細(xì)節(jié)處理，借助面向?qū)ο笙到y(tǒng)使其從小到大進(jìn)行升級(jí)，通過內(nèi)部傳遞技術(shù)與外部連接技術(shù)相結(jié)合的方法，促使海量數(shù)據(jù)處理系統(tǒng)再次開發(fā)，使其可以有效控制更為復(fù)雜的軟件程序。

2 網(wǎng)格區(qū)域劃分技術(shù)

技術(shù)人員在處理海量數(shù)據(jù)過程中，一般會(huì)對(duì)上百萬個(gè)三角面片進(jìn)行有效處理，然而計(jì)算機(jī)內(nèi)存數(shù)量有限，不能把許多數(shù)據(jù)全部存入的內(nèi)存系統(tǒng)當(dāng)中。針對(duì)這種情況，技術(shù)人員在處理網(wǎng)格數(shù)據(jù)時(shí)，需要對(duì)計(jì)算機(jī)中的某塊數(shù)據(jù)信息進(jìn)行有效處理。這就需要技術(shù)人員將海量網(wǎng)格數(shù)據(jù)中的某段區(qū)域數(shù)據(jù)信息進(jìn)行檢索，然后將檢索出來的數(shù)據(jù)信息，在網(wǎng)格數(shù)據(jù)中進(jìn)行壓縮。倘若技術(shù)人員需要某部分?jǐn)?shù)據(jù)時(shí)，應(yīng)將所有壓縮的數(shù)據(jù)信息進(jìn)行解壓縮。這樣就需要在網(wǎng)格數(shù)據(jù)處理過程中，對(duì)上百萬個(gè)三角面片海量數(shù)據(jù)予以壓縮處理，該種處理方法需要耗費(fèi)較長的時(shí)間，而且還會(huì)耗費(fèi)較大的人力物力，致使技術(shù)人員無法進(jìn)行等待操作，沒有任何處理意義。而海量網(wǎng)格區(qū)域劃分方法，則是將海量網(wǎng)格中的數(shù)據(jù)信息進(jìn)行有效處理，通過化整為零的形式，將不好處理的數(shù)據(jù)信息劃分成獨(dú)立的區(qū)域，以便各類數(shù)據(jù)信息可以有效進(jìn)行處理，即便計(jì)算機(jī)內(nèi)存數(shù)據(jù)線有所限制，不能將計(jì)算機(jī)內(nèi)存中儲(chǔ)存的全部數(shù)據(jù)信息進(jìn)行直接讀取，但是可以在小區(qū)域內(nèi)進(jìn)行數(shù)據(jù)分讀，這樣不但減少數(shù)據(jù)內(nèi)存占用量，還能縮短數(shù)據(jù)檢索時(shí)間。技術(shù)人員只需要明確所用小部分?jǐn)?shù)據(jù)信息的所在區(qū)域，然后對(duì)該區(qū)域進(jìn)行數(shù)據(jù)檢索，在檢索到所要數(shù)據(jù)信息后，將所要的數(shù)據(jù)信息壓縮后，然后再對(duì)該區(qū)域的數(shù)據(jù)信息予以壓縮，這樣該部分?jǐn)?shù)據(jù)信息在使用時(shí)，只需將其提取解壓縮就可以讀取出具信息。

3 數(shù)據(jù)壓縮技術(shù)

海量網(wǎng)格數(shù)據(jù)屬于極為龐大的，有上百萬個(gè)三角面片組成的三角網(wǎng)格模型，該模型所占計(jì)算機(jī)空間通常為上百兆，如此龐大的海量網(wǎng)格數(shù)據(jù)不利于數(shù)據(jù)信息儲(chǔ)存與傳輸。針對(duì)這種情況，技術(shù)人員會(huì)對(duì)海量網(wǎng)絡(luò)數(shù)據(jù)予以壓縮處理，從而減少海量數(shù)據(jù)儲(chǔ)存占有空間，也就是說數(shù)據(jù)壓縮技術(shù)是減少海量數(shù)據(jù)存儲(chǔ)空間。當(dāng)前，三角網(wǎng)格信息主要分為三個(gè)部分：拓?fù)湫畔?、幾何信息以及屬性信息。其中拓?fù)湫畔⒅饕菓?yīng)用于描述三角網(wǎng)格中三角片面與頂格之間的相互聯(lián)系；幾何信息是標(biāo)明三角網(wǎng)格中各頂點(diǎn)的坐標(biāo)位置；而屬性信息則是指三角網(wǎng)格中的其他信息，如法向量，頂點(diǎn)顏色等。

4 內(nèi)存訪問技術(shù)

由于海量數(shù)據(jù)處理系統(tǒng)中需要處理的數(shù)據(jù)信息較為龐大，而電腦內(nèi)存量有限，不能對(duì)海量數(shù)據(jù)進(jìn)行全部?jī)?chǔ)存。針對(duì)這種情況，倘若某時(shí)刻內(nèi)存中儲(chǔ)存的數(shù)據(jù)信息只有若干小塊，而其他的數(shù)據(jù)信息則會(huì)以文件形式儲(chǔ)存在計(jì)算機(jī)硬盤當(dāng)中，不利于數(shù)據(jù)快速查找。這時(shí)技術(shù)人員可以采用數(shù)據(jù)塊淘汰策略，也就是說技術(shù)人員在訪問某塊所需要的數(shù)據(jù)信息時(shí)，應(yīng)該先在計(jì)算機(jī)內(nèi)存中進(jìn)行查找，倘若計(jì)算機(jī)內(nèi)存中存在所需要的小塊數(shù)據(jù)信息，技術(shù)人員就可以直接對(duì)該項(xiàng)數(shù)據(jù)信息訪問。倘若在計(jì)算機(jī)內(nèi)存中找不到所需要的小塊數(shù)據(jù)信息，技術(shù)人員應(yīng)在計(jì)算機(jī)硬盤中將所需要的數(shù)據(jù)內(nèi)容重新調(diào)入到內(nèi)存當(dāng)中，但計(jì)算機(jī)內(nèi)存已滿無法再輸入任何數(shù)據(jù)信息，技術(shù)人員可以將內(nèi)存中不經(jīng)常使用的小塊數(shù)據(jù)移動(dòng)至計(jì)算機(jī)硬盤當(dāng)中進(jìn)行保存。

技術(shù)人員在同時(shí)訪問多個(gè)小塊數(shù)據(jù)文件時(shí)，就會(huì)需要對(duì)許多小塊數(shù)據(jù)進(jìn)行同時(shí)讀寫文件，然而計(jì)算機(jī)系統(tǒng)文件資源管理有限，只能同時(shí)打開幾百個(gè)文件，不能上千個(gè)小塊壓縮數(shù)據(jù)文件進(jìn)行同時(shí)打開訪問。由于文件訪問數(shù)量有限，而技術(shù)人員所需要用的文件資源數(shù)量已經(jīng)消耗殆盡，仍舊沒有找到所要用的文件內(nèi)容，這時(shí)技術(shù)人員應(yīng)將已經(jīng)打開的文件關(guān)閉，然后再去尋找所要用的文件并進(jìn)行打開。為了更加準(zhǔn)確的對(duì)所選擇的文件進(jìn)行淘汰，技術(shù)人員應(yīng)在電腦數(shù)據(jù)程序中設(shè)置一個(gè)淘汰策略，該種淘汰策略與內(nèi)存淘汰策略較為相近，就是將不經(jīng)常使用的文件進(jìn)行淘汰。然而這種打開關(guān)閉、打開關(guān)閉的選擇方法速度較慢，只適用于文件淘汰計(jì)算方法，對(duì)于劃分區(qū)域網(wǎng)格數(shù)據(jù)塊并不實(shí)用，會(huì)在網(wǎng)絡(luò)運(yùn)行中消耗大量的時(shí)間。這就需要技術(shù)人員在數(shù)據(jù)算法上盡可能減少同時(shí)訪問多個(gè)文件的情況，將文件淘汰方法轉(zhuǎn)變成緩沖技術(shù)使用內(nèi)存法，該種方法可以在讀取文件時(shí)一次性對(duì)某塊區(qū)域內(nèi)的數(shù)據(jù)進(jìn)行讀取緩沖，然后在緩沖區(qū)域內(nèi)尋找所要讀取的數(shù)據(jù)文件。而在編寫文件時(shí)，技術(shù)人員只需要將數(shù)據(jù)代碼編寫到緩沖區(qū)域內(nèi)，待緩沖區(qū)域?qū)憹M后，再將剩下的編程代碼寫到數(shù)據(jù)文件里，這樣就能減少數(shù)據(jù)文件讀取信息的時(shí)間，同時(shí)也減少文件開辟的時(shí)間，大大提高技術(shù)人員工作效率。

5 多線編程技術(shù)

在以往傳統(tǒng)數(shù)據(jù)操作過程中，數(shù)據(jù)系統(tǒng)進(jìn)行資源分配的單位被稱作進(jìn)程，其系統(tǒng)資源分配大多采用單線進(jìn)程，也就是指在某個(gè)時(shí)刻只能對(duì)某一個(gè)系統(tǒng)資源分配進(jìn)行流程控制。由于單線程進(jìn)程計(jì)算模式不適用于海量數(shù)據(jù)讀寫、壓縮等相關(guān)操作，針對(duì)這種情況windows xp 系統(tǒng)將傳統(tǒng)單線進(jìn)程模式轉(zhuǎn)變成支持多線程進(jìn)程模式。倘若多線程進(jìn)程模式在網(wǎng)格區(qū)域劃分過程中予以有效應(yīng)用，就能行原本大網(wǎng)格中依照實(shí)際需求劃分成若干個(gè)網(wǎng)格小區(qū)域，以便windows xp 系統(tǒng)在操作過程中能夠?qū)崿F(xiàn)多線程技術(shù)，還能對(duì)不同的小區(qū)域數(shù)據(jù)予以同時(shí)操作，有效完成數(shù)據(jù)代碼的編寫與壓縮等相關(guān)任務(wù)。當(dāng)前海量數(shù)據(jù)處理系統(tǒng)最大的特點(diǎn)就是計(jì)算機(jī)容量較大，技術(shù)人員需要花費(fèi)較長的時(shí)間進(jìn)行數(shù)據(jù)操作，為了減少技術(shù)人員較長時(shí)間的操作等待，可以采用多線程編程技術(shù)，并對(duì)海量數(shù)據(jù)工作臺(tái)的后臺(tái)予以有效相關(guān)處理，以便前臺(tái)縣城能夠更加快速靈敏的反應(yīng)操作人員指令需求。

6 快速顯示技術(shù)

海量數(shù)據(jù)信息處理系統(tǒng)中的三維數(shù)據(jù)顯示屬于三維化可視必要環(huán)節(jié)，不論是處理三維數(shù)據(jù)，還是在三維數(shù)據(jù)處理過程中對(duì)其進(jìn)行再處理，都需要將數(shù)據(jù)處理程序展示給用戶觀察，只有在交互過程中才能繼續(xù)有效實(shí)施。通常海量三角網(wǎng)格模型是由上百萬個(gè)三角片面組成，面對(duì)如此龐大的三角片面，即便一個(gè)簡(jiǎn)單的平移計(jì)算機(jī)屏幕模型或者是旋轉(zhuǎn)計(jì)算機(jī)屏幕模型等相關(guān)操作，都需要間隔數(shù)10 秒的等待時(shí)間。針對(duì)這種情況，技術(shù)人員可以將顯示列表技術(shù)與數(shù)據(jù)分塊技術(shù)相結(jié)合，以此優(yōu)化數(shù)據(jù)程序運(yùn)行功能。技術(shù)人員在調(diào)試顯示列表過程中，應(yīng)將其函數(shù)術(shù)語一一羅列在執(zhí)行表當(dāng)中，然后采用顯示列表方式對(duì)其進(jìn)行數(shù)據(jù)繪圖，可以有效提升繪圖時(shí)間。倘若技術(shù)人員將顯示列表轉(zhuǎn)變成適合圖形應(yīng)用的硬件格式，則在原有基礎(chǔ)上提供其繪圖性能，繼而提高技術(shù)人員日常辦公效率，縮短繪圖辦公時(shí)間。

7 結(jié)論

由于海量數(shù)據(jù)襲擊較為龐大，計(jì)算機(jī)內(nèi)存較為有限，致使設(shè)計(jì)人員在日常設(shè)計(jì)應(yīng)用中需要浪費(fèi)較大的時(shí)間與精力，通過面向?qū)ο蠹夹g(shù)、網(wǎng)格區(qū)域劃分技術(shù)、數(shù)據(jù)壓縮技術(shù)、內(nèi)存訪問技術(shù)、多線編程技術(shù)以及快速顯示技術(shù)，能夠改變以往計(jì)算機(jī)內(nèi)存較小無法對(duì)大量數(shù)據(jù)模型進(jìn)行處理的困局，促使海量數(shù)據(jù)信息處理框架能夠適應(yīng)當(dāng)前網(wǎng)絡(luò)環(huán)境需求。