基于云計算平臺的政務(wù)大數(shù)據(jù)信息資源共享模型構(gòu)建研究

李志文

摘要：本研究旨在基于云計算平臺構(gòu)建一種高效的政務(wù)大數(shù)據(jù)信息資源共享模型，以滿足日益增長的信息共享需求。在這個模型中，考慮到數(shù)據(jù)資源的分塊傳輸、共享任務(wù)調(diào)度、性能優(yōu)化等關(guān)鍵要素，進行了一系列實驗來評估模型的性能。實驗結(jié)果表明，本文提出的共享模型相較于常見的資源共享模型在吞吐量和抗噪聲能力方面表現(xiàn)出明顯的優(yōu)勢，適用于政務(wù)大數(shù)據(jù)信息資源的高效共享。

關(guān)鍵詞：云計算平臺；政務(wù)大數(shù)據(jù)；信息資源共享；共享任務(wù)調(diào)度

中圖分類號：TP393? ? ? 文獻標(biāo)識碼：A

文章編號：1009-3044（2023）36-0056-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）

信息技術(shù)的快速發(fā)展令政府部門產(chǎn)生了大量的政務(wù)大數(shù)據(jù)信息資源，這些數(shù)據(jù)資源包含了有關(guān)公共服務(wù)、政策決策和社會管理等各個領(lǐng)域的重要信息[1]。政府大數(shù)據(jù)信息資源的積累為政府工作提供了有力支持，也為社會發(fā)展和公眾生活提供了更多便利。然而，這些寶貴的數(shù)據(jù)資源通常分散在不同的部門和系統(tǒng)中，難以有效整合和共享。因此，政府大數(shù)據(jù)信息資源的共享問題已經(jīng)成為信息化建設(shè)中的一項重要挑戰(zhàn)[2]。政務(wù)大數(shù)據(jù)信息資源共享具有廣泛的應(yīng)用前景，它可以幫助政府更好地理解社會現(xiàn)象，制定更智能的政策，提供更優(yōu)質(zhì)的公共服務(wù)，同時也能促進社會創(chuàng)新和經(jīng)濟發(fā)展。然而，政府大數(shù)據(jù)信息資源的共享不僅涉及數(shù)據(jù)的安全和隱私問題，還需要解決數(shù)據(jù)資源分散、格式不一、存儲方式多樣等問題。因此，為了實現(xiàn)政府大數(shù)據(jù)信息資源的高效共享，需要一種可行的共享模型和相應(yīng)的技術(shù)支持。

1 云計算平臺下的資源共享模型概述

1.1 云計算平臺的基本特點

云計算平臺的核心特點包括：1）彈性伸縮性：云計算平臺允許根據(jù)需求動態(tài)分配計算和存儲資源，使政府部門能夠靈活地應(yīng)對不同工作負(fù)載和數(shù)據(jù)規(guī)模的需求；2）資源集中管理：所有計算和存儲資源都集中在云計算數(shù)據(jù)中心，由云服務(wù)提供商負(fù)責(zé)管理和維護，政府部門無需負(fù)責(zé)硬件設(shè)備的采購和維護；3）自服務(wù)性：云計算平臺為政府部門提供了自助服務(wù)的能力，用戶可以根據(jù)需要自行申請和配置資源，無需等待煩瑣的審批流程[3]。

1.2 云計算下的資源共享模型設(shè)計

在云計算平臺下，政務(wù)大數(shù)據(jù)信息資源的共享模型應(yīng)包括以下關(guān)鍵要素：1）數(shù)據(jù)資源分塊和傳輸：數(shù)據(jù)資源應(yīng)該根據(jù)需求被分成適當(dāng)大小的塊，并通過高速網(wǎng)絡(luò)傳輸?shù)皆朴嬎闫脚_的虛擬節(jié)點；2）共享任務(wù)調(diào)度方法：為了有效地分配共享任務(wù)，需要設(shè)計合理的調(diào)度方法，考慮任務(wù)的優(yōu)先級、時間開銷等因素，以確保資源的高效利用；3）性能優(yōu)化策略：為了提高模型的性能，應(yīng)考慮優(yōu)化策略；4）模型構(gòu)建流程：模型的構(gòu)建過程需要明確的設(shè)計和實施流程，包括資源塊的劃分、數(shù)據(jù)傳輸、任務(wù)調(diào)度和性能優(yōu)化等步驟[4]。

2 模型設(shè)計

政務(wù)大數(shù)據(jù)信息資源的共享模型需要有效地將大量數(shù)據(jù)資源分塊并傳輸?shù)皆朴嬎闫脚_，以實現(xiàn)高效的共享。

2.1 數(shù)據(jù)資源分塊概述

數(shù)據(jù)資源分塊的目標(biāo)是將政務(wù)大數(shù)據(jù)劃分為適當(dāng)大小的塊，以便更好地管理和傳輸[5]。以下是數(shù)據(jù)資源分塊的關(guān)鍵步驟和考慮因素：

1）塊大小的確定：根據(jù)數(shù)據(jù)的性質(zhì)和傳輸性能，確定適當(dāng)?shù)膲K大小。例如，對于文本數(shù)據(jù)，可以以文件、段落或句子為單位分塊；對于圖像或視頻數(shù)據(jù)，可以以幀或分辨率為單位分塊。數(shù)據(jù)塊的大小的確定要考慮能否充分利用云計算平臺的資源，避免太小的塊導(dǎo)致傳輸開銷增加，也避免太大的塊導(dǎo)致傳輸性能瓶頸。

2）數(shù)據(jù)塊標(biāo)識：每個數(shù)據(jù)塊應(yīng)該具有唯一的標(biāo)識符，以便在傳輸和存儲過程中進行跟蹤和管理。這可以是唯一的數(shù)字、哈希值或其他形式的標(biāo)識。

3）數(shù)據(jù)塊完整性：每個數(shù)據(jù)塊應(yīng)包含足夠的信息以確保數(shù)據(jù)的完整性和可恢復(fù)性?？梢允褂萌哂嘈畔⒒蛐ｒ灪蛠頇z測和糾正傳輸中的錯誤。

2.2 數(shù)據(jù)塊分塊

首先對政務(wù)大數(shù)據(jù)信息資源數(shù)據(jù)進行分塊，并對數(shù)據(jù)塊進行塊標(biāo)識和具體定義。其中，對政務(wù)大數(shù)據(jù)信息資源數(shù)據(jù)進行數(shù)據(jù)分塊的結(jié)果如圖1所示。

2.3 共享任務(wù)調(diào)度方法

在完成政務(wù)大數(shù)據(jù)信息資源的數(shù)據(jù)塊分類和標(biāo)識之后，進一步設(shè)計共享任務(wù)的調(diào)度方法，通過任務(wù)需求分析、資源分配與管理、數(shù)據(jù)塊訪問控制等關(guān)鍵步驟，以及監(jiān)控、故障處理和性能優(yōu)化等策略，實現(xiàn)高效的政務(wù)數(shù)據(jù)資源共享。該機理通過動態(tài)任務(wù)隊列管理和任務(wù)調(diào)度策略來滿足不同任務(wù)的優(yōu)先級和資源需求，同時通過數(shù)據(jù)塊緩存與預(yù)取、自動伸縮和報告審計等措施，確保數(shù)據(jù)安全、合規(guī)和高性能，從而有效支持政府機構(gòu)在云計算環(huán)境下的數(shù)據(jù)共享需求。共享任務(wù)調(diào)度具體流程如圖2所示。

2.4 性能優(yōu)化策略

在完成共享任務(wù)調(diào)度方法的設(shè)計后，進一步選擇以資源利用最大化為目標(biāo)函數(shù)，進行政務(wù)大數(shù)據(jù)信息資源共享模型的性能優(yōu)化。以資源利用最大化為優(yōu)化目標(biāo)能夠充分利用云計算平臺的資源，提高資源的利用效率，同時確保政務(wù)大數(shù)據(jù)信息資源共享模型的高性能。

以下是基于政務(wù)大數(shù)據(jù)信息資源的目標(biāo)函數(shù)構(gòu)建：

[Maximize U]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （1）

[U=α·1Ni=1N（1-RiCPUj-MiRAMj-SiStoragej）]? ? ? ? （2）

其中，CPUj表示第j臺計算節(jié)點的CPU利用率，CPUj ?[0， 1] 之間；RAMj表示第j臺計算節(jié)點的內(nèi)存利用率，RAMj? [0， 1]；Storagej表示第j臺計算節(jié)點的存儲利用率，Storagej? [0， 1]；Ti表示第j個任務(wù)的執(zhí)行時間，以秒為單位；Ri表示第i個任務(wù)所需的 CPU 資源；Mi表示第i個任務(wù)所需的內(nèi)存資源；Si表示第i個任務(wù)所需的存儲資源；N表示任務(wù)的總數(shù)量；ɑ表示資源利用的權(quán)重。各目標(biāo)函數(shù)考慮了每個任務(wù)所需的 CPU、內(nèi)存和存儲資源，以及每臺計算節(jié)點的可用資源。權(quán)重用于調(diào)整資源利用的重要性。

對于每臺計算節(jié)點j，需要確保其 CPU、內(nèi)存和存儲資源不會超過其容量：

[Ri≤CPUj， Mi≤RAMj， Si≤Storagej， ?i，j]? ? ? ?（3）

確保任務(wù)的執(zhí)行時間Ti大于等于零：

[Ti≥0， ?i]? ? ? ? ? ? ? ? ? ? ? ?（4）

任務(wù)i的資源需求必須滿足其執(zhí)行所需的 CPU、內(nèi)存和存儲資源：

[Ri≤CPUj， Mi≤RAMj， Si≤Storagej， ?i，j]? ? ? ? （5）

確保每個任務(wù)i只分配給一個計算節(jié)點j進行執(zhí)行：

[jxij=1， ?i]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （6）

確保計算節(jié)點上的任務(wù)數(shù)量不超過其容量：

[iRi×xij≤CPUjiMi×xij≤RAMj ?jiSi×xij≤Storagej]? ? ? ? ? ? ? ? ? ? ? （7）

確保任務(wù)分配變量xij為二進制變量（任務(wù)要么被分配，要么不被分配）：

[xij∈{0，1}， ?i，j]? ? ? ? ? ? ? ? ? ? ? ? ? ?（8）

2.5 煙花算法優(yōu)化策略

煙花算法具備出色的全局搜索能力和適用于多目標(biāo)問題的特性，能夠有效地在復(fù)雜的資源分配和任務(wù)調(diào)度問題中找到均衡的解決方案，所以使用煙花算法求解基于云計算平臺的政務(wù)大數(shù)據(jù)信息資源共享模型的性能優(yōu)化策略，以資源利用最大化為目標(biāo)函數(shù)，最大化資源的綜合利用，提高政府機構(gòu)的資源效率和數(shù)據(jù)共享服務(wù)性能。

適應(yīng)度值函數(shù)是在優(yōu)化問題中用于衡量解的質(zhì)量的關(guān)鍵，是煙花算法的重要部分，用于對解進行排序和選擇，能夠反映解的性能，其根據(jù)問題需求的不同而變化，適應(yīng)度值越大越好，可以通過適當(dāng)?shù)臋?quán)重和歸一化來調(diào)整，以滿足問題的優(yōu)化方向和范圍要求。本算法使用優(yōu)化目標(biāo)函數(shù)作為實用度值函數(shù)，其表達(dá)式如下：

[Fitness（x）=U=α1Ni=1N（1-RiCPUj-MiRAMj-SiStoragej）]? （9）

Step1：初始化：隨機生成一組初始煙花，設(shè)置x=100，每個煙花表示一種資源分配和任務(wù)調(diào)度方案，確保每個解的資源分配和任務(wù)調(diào)度滿足約束條件。

Step2：目標(biāo)函數(shù)評估：對于每個煙花x，將x代入適應(yīng)度值函數(shù)計算其資源利用度U，根據(jù)目標(biāo)函數(shù)計算其適應(yīng)度值，并根據(jù)適應(yīng)度值對煙花進行排序，形成前沿集合。

Step3：迭代優(yōu)化：重復(fù)以下步驟，直到滿足停止條件，即訓(xùn)練過程中適應(yīng)度值趨于收斂。

煙花的發(fā)射和爆炸：對于每個煙花，根據(jù)其適應(yīng)度值和前沿集合中的其他解，計算其發(fā)射方向和距離；發(fā)射煙花，生成新的解，并計算其適應(yīng)度值；如果新的解更優(yōu)，替換原始解。

Step4：輸出最優(yōu)解：根據(jù)最終的前沿集合，選擇具有最高資源利用度U的解作為最優(yōu)解，作為資源分配和任務(wù)調(diào)度的最佳策略。

Step5：收斂和停止：結(jié)束迭代，輸出最優(yōu)解。

3 實驗方法和評估

3.1 實驗設(shè)置和模擬環(huán)境介紹

操作系統(tǒng)：64位Windows 10操作系統(tǒng)；使用PyCharm調(diào)試和運行Python代碼；Python 3.9.7版本，用于實現(xiàn)算法和模擬環(huán)境；使用TensorFlow 2.6.0作為深度學(xué)習(xí)框架搭建基于云計算的政務(wù)大數(shù)據(jù)信息資源共享模型，包括計算節(jié)點、任務(wù)隊列和資源需求等；任務(wù)生成：隨機生成不同類型和大小的任務(wù)，模擬政務(wù)大數(shù)據(jù)信息資源共享模型中的任務(wù)需求。

3.2 共享任務(wù)分配性能實驗

根據(jù)前面對資源利用率最大化目標(biāo)函數(shù)的構(gòu)建和求解，以資源利用率、響應(yīng)時間和任務(wù)完成率作為性能優(yōu)化的評價指標(biāo)。其中，資源利用率是衡量計算節(jié)點的 CPU、內(nèi)存和存儲資源的利用程度。這個指標(biāo)應(yīng)該顯著提高，以確保資源得到充分利用；響應(yīng)時間：衡量任務(wù)完成所需的時間，可以是任務(wù)隊列中任務(wù)的平均響應(yīng)時間。目標(biāo)是降低響應(yīng)時間，以提高任務(wù)執(zhí)行的效率。

1）資源利用率

平均CPU利用率為77.5%，內(nèi)存利用率為67.5%，存儲利用率為57.5%。這表明系統(tǒng)的資源利用率相對較高，但仍有改進的空間，尤其是存儲資源的利用率較低。

2）響應(yīng)時間

將系統(tǒng)信息處理分為四個不同類型的任務(wù)，分析其響應(yīng)時間。其中，任務(wù)1代表政府機構(gòu)或相關(guān)部門提交的一種常規(guī)性、較簡單的任務(wù)，包括數(shù)據(jù)查詢、報告生成或其他類似的操作；任務(wù)2代表政府機構(gòu)提交的稍復(fù)雜一些的任務(wù)，包括數(shù)據(jù)分析、資源分配決策、政策建議等；任務(wù)3代表相對較簡單但需要快速響應(yīng)的任務(wù)，包括實時數(shù)據(jù)監(jiān)控、事件響應(yīng)等；任務(wù)4代表政府機構(gòu)提交的較復(fù)雜、計算密集型或需要較長時間處理的任務(wù)。

從表2可以看出，任務(wù)的平均響應(yīng)時間在22毫秒到35毫秒之間，表明系統(tǒng)的響應(yīng)速度較快，任務(wù)能夠及時完成。

4 結(jié)語

本文構(gòu)建和優(yōu)化了政務(wù)大數(shù)據(jù)信息資源共享模型，基于云計算平臺，以滿足政府機構(gòu)在信息資源管理和共享方面的需求。通過對模型的構(gòu)建和性能優(yōu)化進行深入研究，得出以下結(jié)論：

1）模型構(gòu)建：本文構(gòu)建了一個基于云計算平臺的政務(wù)大數(shù)據(jù)信息資源共享模型。該模型包括計算節(jié)點、任務(wù)隊列和資源需求等關(guān)鍵組成部分，能夠有效地支持政府機構(gòu)在信息資源管理方面的需求。

2）共享任務(wù)調(diào)度：提出了一種基于數(shù)據(jù)塊的任務(wù)調(diào)度方法，充分考慮了數(shù)據(jù)塊的特性和資源分配的優(yōu)化。該方法能夠在資源利用率和任務(wù)執(zhí)行效率之間取得平衡，提高了資源的綜合利用。

3）性能優(yōu)化策略：采用了煙花算法作為優(yōu)化策略，并針對資源利用最大化制定了目標(biāo)函數(shù)。通過模擬實驗，我們證明了該策略的有效性，顯著提高了系統(tǒng)的資源利用率、任務(wù)響應(yīng)速度。

最后通過實驗驗證，本文所提出的模型和優(yōu)化策略在不同任務(wù)負(fù)載下表現(xiàn)出了良好的性能和穩(wěn)定性。但本文研究仍存在進一步改進和拓展的空間。未來的工作可以關(guān)注算法參數(shù)的優(yōu)化、更復(fù)雜場景下的性能評估以及安全性和隱私保護等方面，以進一步提升政務(wù)大數(shù)據(jù)信息資源共享模型的效能。

參考文獻：

[1] 李翔.云計算平臺下政務(wù)大數(shù)據(jù)信息資源共享模型構(gòu)建[J].微型電腦應(yīng)用，2023，39（6）：137-140.

[2] 趙偉，侯聰聰，白晨.基于網(wǎng)絡(luò)平臺的科技信息資源共享博弈模型構(gòu)建與驗證[J].中國科技資源導(dǎo)刊，2022，54（6）：12-19.

[3] 盛守一.基于區(qū)塊鏈技術(shù)的供應(yīng)鏈信息資源共享模型構(gòu)建研究[J].情報科學(xué)，2021，39（7）：162-168.

[4] 卞咸杰.大數(shù)據(jù)時代檔案信息資源共享平臺數(shù)據(jù)挖掘模型的研究與實現(xiàn)[J].檔案管理，2020（4）：21-24.

[5] 張詩軍，蔡文海，王海吉.基于信息資源規(guī)劃的企業(yè)級共享數(shù)據(jù)模型構(gòu)建方法[J].計算機應(yīng)用與軟件，2010，27（11）：154-156.

【通聯(lián)編輯：張薇】