基于大數(shù)據(jù)技術的計算機軟件系統(tǒng)開發(fā)與應用

歐陽之光

【摘要】大數(shù)據(jù)技術是當前計算機軟件系統(tǒng)開發(fā)過程中應用優(yōu)勢較為顯著的技術之一。文章以基于大數(shù)據(jù)技術的計算機軟件系統(tǒng)開發(fā)與應用為核心，闡述了大數(shù)據(jù)技術時代計算機軟件系統(tǒng)開發(fā)機遇，從總體架構、軟件邏輯分層、軟件設計、軟件開發(fā)幾個方面，論述了大數(shù)據(jù)技術在計算機軟件系統(tǒng)開發(fā)中的應用方案。并從應用環(huán)境、系統(tǒng)集成、應用測試幾個方面，探究了基于大數(shù)據(jù)技術的計算機軟件系統(tǒng)實踐應用措施。

【關鍵詞】大數(shù)據(jù)技術;計算機軟件系統(tǒng);邏輯分層

中圖分類號：TN92 ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A ? ? ? ? ? ? ? ? DOI：10.12246/j.issn.1673-0348.2021.22.030

近幾年，大數(shù)據(jù)技術的應用逐漸成為產(chǎn)業(yè)升級的重要力量。以Spark、Hadoop為代表的大數(shù)據(jù)處理平臺的出現(xiàn)，為異構數(shù)據(jù)的有效應用提供了充足支持。與此同時，互聯(lián)網(wǎng)成為社會發(fā)展的基礎構件，社會各個行業(yè)對計算機軟件的應用需求日益增加，以往計算機軟件系統(tǒng)面臨著動態(tài)變化數(shù)據(jù)無法有效管理、異構數(shù)據(jù)共享難度大等問題?；诖耍源髷?shù)據(jù)技術的應用為基礎，分析計算機軟件系統(tǒng)的開發(fā)與應用方案具有非常重要的現(xiàn)實意義。

1. 大數(shù)據(jù)時代計算機軟件系統(tǒng)開發(fā)機遇

傳統(tǒng)計算機軟件開發(fā)方法存在缺陷，無法滿足各行各業(yè)對應用軟件功能的延伸需求，加劇了長周期、高成本計算機軟件開發(fā)與用戶高質量軟件應用需求之間的矛盾。而通過應用大數(shù)據(jù)技術，以數(shù)據(jù)為核心，以數(shù)據(jù)邏輯揭示傳統(tǒng)計算機軟件系統(tǒng)中的業(yè)務邏輯，解決當前計算機軟件系統(tǒng)開發(fā)過程中遇到的難題，壯大計算機軟件系統(tǒng)開發(fā)方法體系。同時基于大數(shù)據(jù)技術計算機軟件系統(tǒng)開發(fā)方法，可以面向計算機軟件系統(tǒng)實踐應用，將確定的方法應用到軟件系統(tǒng)開發(fā)中，將方法可行性檢驗貫徹到需求調研、系統(tǒng)拓展、設計開發(fā)、信息共享等多個環(huán)節(jié)，縮短計算機軟件開發(fā)周期的同時，降低計算機軟件開發(fā)成本，解決軟件開發(fā)與用戶需求之間的矛盾。

2. 大數(shù)據(jù)技術在計算機軟件系統(tǒng)開發(fā)中的應用方案

2.1 總體架構

基于大數(shù)據(jù)的計算機軟件系統(tǒng)是一種立足于大數(shù)據(jù)環(huán)境下，用于繁瑣數(shù)據(jù)管理、復雜系統(tǒng)構建的有效解決方案。其核心為“數(shù)據(jù)”，包括數(shù)據(jù)注冊中心、數(shù)據(jù)服務云、數(shù)據(jù)異常控制中心、數(shù)據(jù)權限中心、多終端通用瀏覽器等幾個部分。

核心部件——數(shù)據(jù)注冊中心負責完成系統(tǒng)數(shù)據(jù)的統(tǒng)一標識、定義、管控，并通過數(shù)據(jù)權限中心進行數(shù)據(jù)使用權、所有權的系統(tǒng)管理。同時向數(shù)據(jù)端提供計算機軟件系統(tǒng)運轉所需的多種類別數(shù)據(jù)集。軟件系統(tǒng)用戶可以通過數(shù)據(jù)注冊中心完成數(shù)據(jù)的登記注冊，由數(shù)據(jù)注冊中心直接將已登記的數(shù)據(jù)轉化為邏輯數(shù)據(jù)資源池，為后期數(shù)據(jù)的快速查找、定位提供支持。若中心元數(shù)據(jù)注冊信息量較大，可以自動引入分布式部署方式，提高軟件運行效率。

數(shù)據(jù)服務云包括數(shù)據(jù)存儲云、網(wǎng)絡數(shù)據(jù)云、物理世界采集云幾個部分，負責根據(jù)計算機軟件系統(tǒng)運轉需求，進行不同類型數(shù)據(jù)集的提供。數(shù)據(jù)異?？刂浦行闹饕撠煍?shù)據(jù)的異常檢測、完備性檢測、維護恢復、異?？刂?。在計算機軟件系統(tǒng)內出現(xiàn)不正常事件、沖突時，數(shù)據(jù)異常處理中心可以立足分布式環(huán)境，進行沖突問題的及時處理，并完成數(shù)據(jù)冗余時的一致性管理任務，保證多數(shù)據(jù)節(jié)點負載均衡。

數(shù)據(jù)權限中心除了與數(shù)據(jù)注冊中心協(xié)同開展數(shù)據(jù)合法性鑒定、用戶身份認證、用戶授權、應用授權、數(shù)據(jù)加密解密、數(shù)據(jù)權限分級等數(shù)據(jù)權限管理外，還可以對用戶軟件系統(tǒng)注冊數(shù)據(jù)進行合法性檢測，并進行數(shù)據(jù)訪問權限、等級的自動標識，保證用戶通過軟件系統(tǒng)訪問的數(shù)據(jù)均為“屬主授權”數(shù)據(jù)，從源頭解決軟件系統(tǒng)數(shù)據(jù)所有權保護問題。

多終端通用瀏覽器負責子模塊協(xié)同、數(shù)據(jù)共享，并通過客戶端聚合服務模式進行圖像計算、處理、存儲。多終端通用瀏覽器又可稱之為數(shù)據(jù)應用單元，需在數(shù)據(jù)資源池上建立。并根據(jù)用戶功能需求差異，進行不同數(shù)據(jù)單元的應用。比如，數(shù)據(jù)服務單元、數(shù)據(jù)可視化單元、數(shù)據(jù)加密解密單元等。

2.2 軟件邏輯分層

在基于大數(shù)據(jù)技術的計算機軟件系統(tǒng)總體架構確定后，需要進行軟件功能的邏輯分層。即以信息傳輸信息為對象，進行與網(wǎng)絡端口對接層面提取。進而根據(jù)信息分類別存儲端口、數(shù)據(jù)提取端口、網(wǎng)絡傳輸端口對接需要，進行邏輯數(shù)據(jù)庫的建立。具體包括提取海量數(shù)據(jù)、跟蹤海量數(shù)據(jù)兩個環(huán)節(jié)。

在提取海量數(shù)據(jù)環(huán)節(jié)，軟件系統(tǒng)開發(fā)者需要立足大數(shù)據(jù)技術應用環(huán)境下文件處理需求旺盛這一特點，以海量數(shù)據(jù)信息處理任務為對象，利用模糊處理方法，預先判斷海量數(shù)據(jù)安全性，及時將潛在風險數(shù)據(jù)劃定到細化分析模塊進行二次深入分析，保證最終數(shù)據(jù)抽取結果與計算機軟件系統(tǒng)運行邏輯需求相符。邏輯層結構中文件流提取程序為：被索引文件→詞法分析邏輯→查詢語句;而字節(jié)流提取程序為：詞法分析邏輯→查詢語句語法分析邏輯→索引查找邏輯→評分排序邏輯→查詢結果。

在跟蹤海量數(shù)據(jù)環(huán)節(jié)，軟件系統(tǒng)開發(fā)者應立足大數(shù)據(jù)技術應用環(huán)境下的網(wǎng)絡安全目標，引入數(shù)據(jù)跟蹤定位程序，結合前期分析獲得的數(shù)據(jù)安全性結果進行數(shù)據(jù)來源自動搜尋。同時以邏輯層數(shù)據(jù)庫為對象，進行風險數(shù)據(jù)跟蹤定位，縮減數(shù)據(jù)處理、任務分析范圍，剖析數(shù)據(jù)跟蹤環(huán)境中風險源及其對網(wǎng)絡安全影響，自動形成安全性較高的軟件系統(tǒng)控制方案。

2.3 軟件設計

基于大數(shù)據(jù)技術的計算機軟件系統(tǒng)設計包括系統(tǒng)數(shù)據(jù)庫設計以及若干應用功能模塊設計。在數(shù)據(jù)庫設計時，需要進行數(shù)據(jù)集、數(shù)據(jù)類與數(shù)據(jù)項、數(shù)據(jù)的設計。其中一個數(shù)據(jù)集表包含若干個數(shù)據(jù)類表，而一個數(shù)據(jù)類表包含若干個數(shù)據(jù)項表，一個數(shù)據(jù)項表則包含若干個數(shù)據(jù)表，每一個數(shù)據(jù)表均具有對應的數(shù)據(jù)字典。比如，數(shù)據(jù)集表的數(shù)據(jù)字典局部為如下：

表1：數(shù)據(jù)集表的數(shù)據(jù)字典（局部）

數(shù)據(jù)項名 數(shù)據(jù)項含義 數(shù)據(jù)類型 取值含義

projectCode 項目代碼 Varchar（100） 平臺子系統(tǒng)代碼

flag 項目標志 Int（11） 0/1，表示禁用/啟用

在計算機軟件系統(tǒng)數(shù)據(jù)庫設計時，可以利用三級碼表，闡釋表之間的從屬關系。同時選定一個系統(tǒng)的參數(shù)運算節(jié)點，依據(jù)數(shù)據(jù)排列特征，進行文本提取階段參數(shù)節(jié)點的選擇?？紤]到節(jié)點使用階段大數(shù)據(jù)技術環(huán)境時刻遭受網(wǎng)絡安全威脅，應從數(shù)據(jù)節(jié)點、管理信息節(jié)點兩個方面，布置網(wǎng)絡串口，以便實現(xiàn)遠方數(shù)據(jù)讀取、文件存儲問題的高效率解決。在數(shù)據(jù)庫設計完畢后，需要進行數(shù)據(jù)注冊中心、數(shù)據(jù)服務云、數(shù)據(jù)異?？刂浦行?、數(shù)據(jù)權限中心、多終端通用瀏覽器。各模塊設計思路大體一致。以數(shù)據(jù)注冊中心為例，其功能包括數(shù)據(jù)集、數(shù)據(jù)項、數(shù)據(jù)類、數(shù)據(jù)注冊以及元數(shù)據(jù)管理。設計時，可以借鑒面向對象的程序設計思路，直接引入手動注冊方式，錄入原始數(shù)據(jù)信息，由數(shù)據(jù)表直接與導入數(shù)據(jù)關聯(lián)，對表中數(shù)據(jù)所有者信息進行手動錄入。注冊序列為：數(shù)據(jù)所有者注冊——登錄驗證——驗證成功——登錄——獲取元數(shù)據(jù)信息。

2.4 軟件開發(fā)

在軟件開發(fā)時，需要以大數(shù)據(jù)技術環(huán)境下信息快速提取判斷為目標，在Windows 10系統(tǒng)中進行腳本測試代碼的構建。在腳本測試代碼構建時，需要綜合考慮技術環(huán)境中待開發(fā)軟件與系統(tǒng)自身防御系統(tǒng)兼容性、代碼與系統(tǒng)程序文件兼容性以及海量運算任務處理等因素，在網(wǎng)絡環(huán)境中劃定常規(guī)數(shù)據(jù)范圍，促使軟件投入運行后可在網(wǎng)絡環(huán)境下自動更新。在具體開發(fā)過程中，可以利用QVT-R進行數(shù)據(jù)變換過程描述。即以中間層語言Midcore作為媒介，從QVT-R生成Midcore代碼。部分如下：

Domain customerJoinOrder{

Source Customers {

...

Format=“CSV”

}

考慮到軟件開發(fā)時所選擇語言為高抽象層次聲明式描述語言，而中間層語言描述數(shù)據(jù)變換過程具有命令式特點，需要利用若干個操作命令算子組合進行轉換過程描述。因此，可以直接將開發(fā)語言特定表達映射為對應的操作算子。比如，開發(fā)語言中的“key”定義數(shù)據(jù)的唯一性，通過將“key”語句映射轉化為中間層語言的去重操作，就可以避免抽象的聲明式對應關系向具化、固定數(shù)據(jù)操作轉化難題。

3. 基于大數(shù)據(jù)技術的計算機軟件系統(tǒng)應用實踐

3.1 應用環(huán)境

在基于大數(shù)據(jù)技術的計算機軟件系統(tǒng)應用實踐前，需要配備CPU達到Xeon E5-260、頻率超2.0GHz的硬件，硬件內存為16G+2TB。同時準備jdk1.7.0_15版本的Red Hat Linux 64bit軟件，進行系統(tǒng)操作。

3.2 系統(tǒng)集成

在基于大數(shù)據(jù)技術的計算機軟件系統(tǒng)應用實踐過程中，需要利用數(shù)據(jù)注冊中心對已達成的應用功能模塊進行注冊記錄。同時通過數(shù)據(jù)注冊中心，進行應用的禁止使用/啟動操作，完成計算機軟件系統(tǒng)的“搭建”。或者通過對單一應用系統(tǒng)進行禁止使用/啟動，完成計算機軟件系統(tǒng)的“插播”。比如，對計算機軟件系統(tǒng)進行啟用，完成信息系統(tǒng)到數(shù)據(jù)注冊中心的集成。進而對計算機軟件系統(tǒng)下的應用功能進行啟用，實現(xiàn)軟件系統(tǒng)應用功能單元的集成。

3.3 應用測試

在計算機軟件系統(tǒng)中，創(chuàng)建一個用戶名，并賦予用戶軟件管理員角色，為其添加角色類型與密碼信息。同時進入數(shù)據(jù)權限中心，授予管理員用戶數(shù)據(jù)訪問權限。進入軟件注冊頁面，輸入管理員信息，選擇不同功能單元查看信息并選擇，確定功能無誤后，點擊注銷并退出當前用戶登錄。

現(xiàn)有計算機軟件系統(tǒng)無法應對大數(shù)據(jù)時代信息的爆炸式增長，面臨著異構數(shù)據(jù)分析難度大、海量數(shù)據(jù)管理難度大、動態(tài)數(shù)據(jù)挖掘難度大等問題。而通過大數(shù)據(jù)技術在計算機軟件系統(tǒng)開發(fā)中的應用，可以有效解決上述問題。因此，計算機軟件系統(tǒng)開發(fā)者可以根據(jù)系統(tǒng)應用需求，合理應用大數(shù)據(jù)技術，進行軟件邏輯分層，完成計算機軟件的科學開發(fā)，從根本上解決海量數(shù)據(jù)特別是異構數(shù)據(jù)管理難題。

參考文獻：

[1]趙德明.基于大數(shù)據(jù)時代背景探討計算機軟件技術應用開發(fā)面臨的機遇和挑戰(zhàn)[J].信息系統(tǒng)工程，2019（11）：57-61.

[2]李天爽.計算機軟件開發(fā)技術的發(fā)展及運用[J].電腦編程技巧與維護，2021（04）：30-31.

[3]劉潔.基于計算機軟件開發(fā)的Java編程語言分析[J].電子技術與軟件工程，2021（09）：41-42.

[4]呂志峰.不同編程語言對計算機軟件開發(fā)的影響研究[J].無線互聯(lián)科技，2021（12）：32-33.

[5]張士剛.計算機軟件開發(fā)中數(shù)據(jù)庫安全設計的應用實踐分析[J].發(fā)明與創(chuàng)新（職業(yè)教育），2021（07）：238-239.

[6]莊委功.大數(shù)據(jù)背景下計算機軟件開發(fā)技術的應用及發(fā)展趨勢[J].科技創(chuàng)新與應用，2020（29）：147-148.