大數(shù)據(jù)系統(tǒng)軟件工程關(guān)鍵技術(shù)處理及應(yīng)用

張軍 杜剛

（1.海軍裝備部 四川省成都市 610000 2.中國西南電子技術(shù)研究所 四川省成都市 610036）

5G 時(shí)代到來、移動(dòng)互聯(lián)網(wǎng)發(fā)展和群眾信息化意識(shí)增強(qiáng)，使軟件工程面臨著大數(shù)據(jù)時(shí)代帶來的開發(fā)壓力。在數(shù)據(jù)體量激增、數(shù)據(jù)處理技術(shù)不斷迭代的新局面下，正視大數(shù)據(jù)系統(tǒng)軟件工程的關(guān)鍵技術(shù)和相關(guān)應(yīng)用，可提升軟件工程管理水平和針對(duì)性優(yōu)化短板，這已經(jīng)成為大數(shù)據(jù)系統(tǒng)軟件工程技術(shù)的當(dāng)務(wù)之急。正是在大數(shù)據(jù)這個(gè)時(shí)代背景下，深入分析大數(shù)據(jù)系統(tǒng)軟件工程的關(guān)鍵技術(shù)和相關(guān)應(yīng)用，可以確保大數(shù)據(jù)系統(tǒng)軟件工程開發(fā)朝著服務(wù)化、開源化和群體性發(fā)展，才可為大數(shù)據(jù)系統(tǒng)軟件工程開發(fā)提供有益的參考。

1 大數(shù)據(jù)系統(tǒng)軟件工程的關(guān)鍵技術(shù)

軟件開發(fā)在以大數(shù)據(jù)為基礎(chǔ)的互聯(lián)網(wǎng)信息技術(shù)有著極其重要的地位，而大數(shù)據(jù)有效處理又可對(duì)大數(shù)據(jù)系統(tǒng)軟件應(yīng)用起到關(guān)鍵性作用，同時(shí)密集型數(shù)據(jù)科研不僅是大數(shù)據(jù)系統(tǒng)軟件開發(fā)基礎(chǔ)，也是大數(shù)據(jù)軟件應(yīng)用性能的關(guān)鍵[1]。從上述分析來看，除軟件服務(wù)工程技術(shù)和眾包軟件服務(wù)工程技術(shù)等傳統(tǒng)關(guān)鍵技術(shù)外，密集型數(shù)據(jù)處理技術(shù)也應(yīng)為大數(shù)據(jù)系統(tǒng)軟件工程的關(guān)鍵技術(shù)。

1.1 軟件服務(wù)工程技術(shù)

將軟件服務(wù)工程技術(shù)應(yīng)用于大數(shù)據(jù)系統(tǒng)軟件工程，其以工程化方式進(jìn)行程序開發(fā)，不僅需符合大數(shù)據(jù)時(shí)代特征，而且需兼具服務(wù)工程的特征。在軟件服務(wù)工程技術(shù)應(yīng)用中，開發(fā)人員應(yīng)用軟件通常是系統(tǒng)程序的設(shè)計(jì)語言或(和)數(shù)據(jù)系統(tǒng)，且隨著當(dāng)前大數(shù)據(jù)時(shí)代的到來，使大數(shù)據(jù)系統(tǒng)軟件的功能應(yīng)用需求增多，導(dǎo)致軟件服務(wù)工程技術(shù)的應(yīng)用也逐步深化。

（1）從本質(zhì)上來看，軟件服務(wù)工程技術(shù)仍然是一種軟件開發(fā)技術(shù)，但由于應(yīng)用于大數(shù)據(jù)系統(tǒng)軟件工程開發(fā)，因此在開發(fā)實(shí)踐中必須以保服務(wù)、建功能為軟件開發(fā)的根本。即軟件服務(wù)工程技術(shù)應(yīng)用的核心仍然是服務(wù)程序功能實(shí)現(xiàn)，但程序功能實(shí)現(xiàn)必須極易大數(shù)據(jù)的邏輯特征，根據(jù)大數(shù)據(jù)系統(tǒng)軟件工程的具有應(yīng)用功能調(diào)整開發(fā)形式，確保應(yīng)用數(shù)據(jù)大數(shù)據(jù)系統(tǒng)軟件系統(tǒng)的安全性和穩(wěn)定性。

（2）大數(shù)據(jù)系統(tǒng)軟件工程的軟件服務(wù)工程技術(shù)除需保障確保應(yīng)用軟件系統(tǒng)的安全性和穩(wěn)定性外，對(duì)數(shù)據(jù)進(jìn)行有效處理是關(guān)鍵，其旨在實(shí)現(xiàn)軟件的多維功能。傳統(tǒng)軟件服務(wù)工程技術(shù)應(yīng)用于程序開發(fā)時(shí)，大都基于局域網(wǎng)內(nèi)部開發(fā)程序，此時(shí)開發(fā)出的傳統(tǒng)軟件偏向于服務(wù)局域網(wǎng)內(nèi)部用戶，故很難受到外界惡意程序、木馬病毒的干擾[2]。然而由于大數(shù)據(jù)時(shí)代的到來，使大數(shù)據(jù)系統(tǒng)軟件工程呈現(xiàn)出多樣化的應(yīng)用需求，這導(dǎo)致大數(shù)據(jù)系統(tǒng)軟件工程開發(fā)也出現(xiàn)了多維應(yīng)用功能需求。如需要依托大數(shù)據(jù)信息擴(kuò)展業(yè)務(wù)管理需要，這就需要程序員開發(fā)中應(yīng)用軟件服務(wù)工程技術(shù)進(jìn)行應(yīng)用功能擴(kuò)展，如提供私人訂制化的服務(wù)程序，實(shí)現(xiàn)大數(shù)據(jù)軟件系統(tǒng)的應(yīng)用功能與用戶需求的深度貼合。但軟件服務(wù)工程技術(shù)應(yīng)用于大數(shù)據(jù)系統(tǒng)軟件工程的開發(fā)周期較長，故開發(fā)出的大數(shù)據(jù)系統(tǒng)軟件并不適用于中小型企業(yè)，但基于私人定制式的軟件服務(wù)工程技術(shù)可為實(shí)現(xiàn)軟件系統(tǒng)的功能優(yōu)化提供新的思路。

1.2 眾包軟件服務(wù)工程技術(shù)

在大數(shù)據(jù)時(shí)代，大數(shù)據(jù)系統(tǒng)軟件工程必須具備集中處理信息數(shù)據(jù)的功能，這使大數(shù)據(jù)系統(tǒng)軟件應(yīng)用過程中可生成大量數(shù)據(jù)信息，因此大數(shù)據(jù)系統(tǒng)軟件工程必須實(shí)現(xiàn)信息數(shù)據(jù)集中化處理功能。作為眾包軟件服務(wù)工程技術(shù)應(yīng)用于大數(shù)據(jù)系統(tǒng)軟件工程也不例外，必須實(shí)現(xiàn)信息數(shù)據(jù)集中化處理功能。目前，眾包軟件服務(wù)工程技術(shù)已被廣泛應(yīng)用于大數(shù)據(jù)系統(tǒng)軟件工程，作為大數(shù)據(jù)系統(tǒng)軟件工程的程序開發(fā)關(guān)鍵環(huán)節(jié)，其必須借助于軟件系統(tǒng)信息數(shù)據(jù)的邏輯特征(如流式數(shù)據(jù)、密集型數(shù)據(jù))來實(shí)現(xiàn)軟件服務(wù)平臺(tái)構(gòu)建，從而實(shí)現(xiàn)信息數(shù)據(jù)集中化處理[3]。從眾包軟件服務(wù)工程技術(shù)應(yīng)用于大數(shù)據(jù)系統(tǒng)軟件工程的最大價(jià)值來看，其可以群體信息服務(wù)方式來實(shí)現(xiàn)大數(shù)據(jù)的集中化處理，使大數(shù)據(jù)系統(tǒng)軟件工程的應(yīng)用服務(wù)功能增強(qiáng)。

目前，大數(shù)據(jù)系統(tǒng)軟件工程開發(fā)中，眾包軟件服務(wù)工程技術(shù)的核心在于：如何將軟件應(yīng)用過程中可生成大量數(shù)據(jù)信息進(jìn)行分析，從而實(shí)現(xiàn)其利于價(jià)值。眾包軟件服務(wù)工程技術(shù)不僅具有服務(wù)性軟件開發(fā)技術(shù)的特點(diǎn)，其可服務(wù)對(duì)象包含了多層級(jí)管理平臺(tái)和運(yùn)營管理層，也就是說其有著服務(wù)對(duì)象群體性的特點(diǎn)，這是眾包軟件服務(wù)工程技術(shù)的最大應(yīng)用優(yōu)勢。另外在眾包軟件服務(wù)工程技術(shù)的應(yīng)用環(huán)節(jié)，無論針對(duì)的是管理平臺(tái)還是運(yùn)營管理層，系統(tǒng)軟件均可生存密集型數(shù)據(jù)和流式密集型數(shù)據(jù)，這些數(shù)據(jù)均決定著軟件服務(wù)壽命，而眾包軟件服務(wù)工程技術(shù)的群體性處理數(shù)據(jù)優(yōu)勢可得到體現(xiàn)。由于眾包軟件服務(wù)工程技術(shù)具有集中化處理數(shù)據(jù)的特點(diǎn)，故可在程序開發(fā)中，程序人員可針對(duì)性處理數(shù)據(jù)，可以確保大數(shù)據(jù)系統(tǒng)軟件的運(yùn)行更穩(wěn)定。但是，眾包軟件服務(wù)工程技術(shù)應(yīng)用中需要明確的一點(diǎn)是，密集型數(shù)據(jù)是對(duì)系統(tǒng)數(shù)據(jù)內(nèi)容的邏輯描述，編譯過程中需語義化單位矢量，對(duì)數(shù)據(jù)所屬領(lǐng)域進(jìn)行定義，才可真正體現(xiàn)出眾包軟件服務(wù)工程技術(shù)在大數(shù)據(jù)系統(tǒng)軟件工程開發(fā)中的應(yīng)用優(yōu)勢。

1.3 密集型數(shù)據(jù)處理技術(shù)

密集型數(shù)據(jù)處理技術(shù)是基于密集型數(shù)據(jù)科研范式的一種數(shù)據(jù)信息處理技術(shù)。在科學(xué)研究中，公認(rèn)的科研模型和規(guī)律被稱之為范式，故密集型數(shù)據(jù)處理技術(shù)是一種基于數(shù)據(jù)常規(guī)科學(xué)理論基礎(chǔ)的程序編譯技術(shù)。在軟件開發(fā)的關(guān)系型數(shù)據(jù)庫模型中主要分為四個(gè)范式，即實(shí)驗(yàn)歸納、歸納總結(jié)、計(jì)算機(jī)仿真和數(shù)據(jù)密集數(shù)據(jù)，可見密集型數(shù)據(jù)處理技術(shù)為第四范式。在大數(shù)據(jù)系統(tǒng)軟件工程中，需尤其關(guān)注密集型數(shù)據(jù)處理技術(shù)，其必須強(qiáng)調(diào)大數(shù)據(jù)儲(chǔ)存技術(shù)的應(yīng)用價(jià)值，需保障軟件工程關(guān)鍵技術(shù)的應(yīng)用環(huán)節(jié)，實(shí)現(xiàn)數(shù)據(jù)儲(chǔ)存和信息處理能力的短時(shí)提升。

但是，密集型數(shù)據(jù)處理技術(shù)應(yīng)用于大數(shù)據(jù)系統(tǒng)軟件工程中時(shí)，其最大應(yīng)用難點(diǎn)在于，可能使傳統(tǒng)軟件開發(fā)范式的數(shù)理式編譯與密集型數(shù)據(jù)處理技術(shù)的探究式編譯之間存在脫離性特征，故在應(yīng)用密集型數(shù)據(jù)處理技術(shù)處理軟件信息時(shí)，大部分軟件工程開發(fā)師都很難完成基礎(chǔ)平臺(tái)數(shù)據(jù)的有效處理，在很難實(shí)現(xiàn)大數(shù)據(jù)系統(tǒng)軟件工程數(shù)據(jù)的有效處理[4]。同時(shí)，在當(dāng)前密集型數(shù)據(jù)處理技術(shù)應(yīng)用過程中，大多數(shù)軟件工程開發(fā)師對(duì)數(shù)據(jù)信息的分析仍然停留在第三范式，以大量數(shù)據(jù)分析實(shí)踐為基礎(chǔ)的第四范式仍然不夠，故密集型數(shù)據(jù)處理技術(shù)仍然是大數(shù)據(jù)系統(tǒng)軟件工程開發(fā)中最關(guān)鍵的環(huán)節(jié)。如對(duì)系統(tǒng)原始數(shù)據(jù)模型的推演明顯不足，不能體現(xiàn)出密集型數(shù)據(jù)處理技術(shù)的應(yīng)用服務(wù)能力和服務(wù)價(jià)值方面的優(yōu)化。

2 關(guān)鍵技術(shù)在大數(shù)據(jù)系統(tǒng)軟件工程中的應(yīng)用

2.1 提升數(shù)據(jù)信息質(zhì)量

在當(dāng)前的大數(shù)據(jù)時(shí)代，數(shù)據(jù)信息采集質(zhì)量是軟件開發(fā)質(zhì)量的關(guān)鍵因素。應(yīng)用各類信息軟件和數(shù)據(jù)工程處理技術(shù)，可進(jìn)一步提升大數(shù)據(jù)系統(tǒng)軟件工程的信息數(shù)據(jù)采集質(zhì)量，進(jìn)而提升軟件開發(fā)質(zhì)量。在大數(shù)據(jù)背景之下的大數(shù)據(jù)系統(tǒng)軟件工程中，需要利用信息處理技術(shù)來實(shí)現(xiàn)信息數(shù)據(jù)處理必須需要?dú)v經(jīng)六個(gè)環(huán)節(jié)，即信息數(shù)據(jù)的抽樣調(diào)查、信息數(shù)據(jù)樣本的聚類分析、信息數(shù)據(jù)的邏輯修改、數(shù)據(jù)模型的優(yōu)化構(gòu)建和信息數(shù)據(jù)的處理效果測評(píng)[5]。在信息數(shù)據(jù)處理的這六個(gè)環(huán)節(jié)中，最重要的就是信息數(shù)據(jù)的邏輯修改、數(shù)據(jù)模型的優(yōu)化構(gòu)建這兩個(gè)作業(yè)管理環(huán)節(jié)，即必須在信息數(shù)據(jù)的邏輯歸納基礎(chǔ)上，對(duì)基礎(chǔ)信息數(shù)據(jù)進(jìn)行邏輯修訂，并基于數(shù)據(jù)的邏輯范式進(jìn)行數(shù)據(jù)模型的優(yōu)化構(gòu)建，而其中所涉及的程序編碼和變量轉(zhuǎn)換等等問題均是其中的關(guān)鍵。提升數(shù)據(jù)信息采集質(zhì)量可為企業(yè)解決信息數(shù)據(jù)收集問題，這六個(gè)環(huán)節(jié)的實(shí)施可最終使軟件運(yùn)行為用戶決策提供準(zhǔn)確性、全面性的數(shù)據(jù)信息保障。

2.2 優(yōu)化信息通信質(zhì)量

優(yōu)化信息通信質(zhì)量對(duì)于大數(shù)據(jù)軟件工程開發(fā)成效而言是關(guān)鍵。如對(duì)客戶信息的分析，其借助大數(shù)據(jù)軟件處理技術(shù)可以最大限度的留存客戶信息，可將客戶信息最大限度歸納總結(jié)，將客源損失度降到最低。再如，企業(yè)也可應(yīng)用大數(shù)據(jù)軟件工程進(jìn)行行業(yè)發(fā)展規(guī)律分析，通過對(duì)所在行業(yè)發(fā)展規(guī)律、發(fā)展?jié)撃?、發(fā)展價(jià)值等方面進(jìn)行有效評(píng)估，可利于企業(yè)合理規(guī)劃的制定，這對(duì)于企業(yè)發(fā)展規(guī)劃而言，優(yōu)化信息通信質(zhì)量對(duì)于企業(yè)長遠(yuǎn)發(fā)展有著至關(guān)重要的意義。提升大數(shù)據(jù)系統(tǒng)軟件工程的信息通信質(zhì)量，可為用戶找準(zhǔn)自身定位和解決信息中的潛在問題，實(shí)現(xiàn)信息數(shù)據(jù)利用效率。如通訊運(yùn)營商應(yīng)用大數(shù)據(jù)系統(tǒng)軟件工程技術(shù)，可實(shí)現(xiàn)實(shí)時(shí)消費(fèi)記錄監(jiān)測，可為通訊用戶的發(fā)展情況進(jìn)行客觀評(píng)估，為制定更加合理的用戶管理測量奠定數(shù)據(jù)基礎(chǔ)。

2.3 優(yōu)化數(shù)據(jù)虛擬技術(shù)

虛擬化技術(shù)是大數(shù)據(jù)軟件工程中常見的應(yīng)用技術(shù)，其可將數(shù)據(jù)信息虛擬化為數(shù)字資源，并用于軟件運(yùn)行的數(shù)據(jù)資源分配。虛擬化技術(shù)以大數(shù)據(jù)軟件平臺(tái)的數(shù)據(jù)處理技術(shù)為支撐，可為用戶提供更好的服務(wù)，大范圍大數(shù)據(jù)軟件工程需應(yīng)用虛擬化技術(shù)提升信息傳輸速率，同時(shí)也更利于用戶數(shù)據(jù)維護(hù)，故在大數(shù)據(jù)軟件工程中虛擬化技術(shù)已經(jīng)得到廣泛而深入的應(yīng)用。如VR 技術(shù)可是數(shù)據(jù)信息呈現(xiàn)物體立體圖像，虛擬技術(shù)在大數(shù)據(jù)軟件工程的支持下，可使大數(shù)據(jù)軟件所具備的功能更加豐富。

綜上所述，在大數(shù)據(jù)背景下，軟件工程在大數(shù)據(jù)系統(tǒng)軟件開發(fā)中既存在難題也存在機(jī)遇，明確軟件服務(wù)工程技術(shù)、眾包軟件服務(wù)工程技術(shù)和密集型數(shù)據(jù)處理技術(shù)這三個(gè)方面的大數(shù)據(jù)系統(tǒng)軟件工程關(guān)鍵技術(shù)，可為大數(shù)據(jù)系統(tǒng)軟件工程的開發(fā)和應(yīng)用均帶來有益幫助，可結(jié)節(jié)軟件應(yīng)用的信息質(zhì)量問題和信息通信問題。