大數(shù)據(jù)系統(tǒng)中的軟件工程管理方法探究

摘要：文章在闡述了項(xiàng)目管理和軟件工程項(xiàng)目管理有關(guān)理論和方法的基礎(chǔ)上，通過分析研究大數(shù)據(jù)系統(tǒng)下軟件工程的管理模式就是通過一個(gè)規(guī)范、嚴(yán)謹(jǐn)?shù)捻?xiàng)目管理組織機(jī)構(gòu)和制訂的項(xiàng)目管理成功標(biāo)準(zhǔn)來貫徹、實(shí)施和完成項(xiàng)目的管理。文章重點(diǎn)分析了軟件服務(wù)中大數(shù)據(jù)的產(chǎn)生、大數(shù)據(jù)環(huán)境下系統(tǒng)架構(gòu)的設(shè)計(jì)模式和工程的高效管理方法。

關(guān)鍵詞：大數(shù)據(jù)系統(tǒng)；軟件工程；項(xiàng)目管理；高效管理方法；系統(tǒng)架構(gòu) 文獻(xiàn)標(biāo)識(shí)碼：A

中圖分類號：TP393 文章編號：1009-2374（2016）34-0093-02 DOI：10.13535/j.cnki.11-4406/n.2016.34.046

1 概述

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，網(wǎng)絡(luò)上產(chǎn)生海量大規(guī)模的數(shù)據(jù)，這些海量數(shù)據(jù)在金融、農(nóng)業(yè)、醫(yī)療、商業(yè)等領(lǐng)域都有極其重要的應(yīng)用。因此，通過對大數(shù)據(jù)研究從互聯(lián)網(wǎng)的海量數(shù)據(jù)中挖掘出有價(jià)值的信息資源。雖然大數(shù)據(jù)有極其重要的研究價(jià)值，但是海量數(shù)據(jù)處理給軟件設(shè)計(jì)帶來了巨大挑戰(zhàn)。大數(shù)據(jù)時(shí)代的到來，使傳統(tǒng)的軟件工程面臨新的機(jī)遇與挑戰(zhàn)。眾所周知，傳統(tǒng)的軟件生產(chǎn)模式一般以正向工程開始，然后進(jìn)行軟件維護(hù)、逆向工程與再工程等，而大數(shù)據(jù)時(shí)代的軟件生產(chǎn)模式則以逆向工程開始。由于軟件資源的大量積累以及大規(guī)模軟件重用技術(shù)的發(fā)展與應(yīng)用，軟件數(shù)據(jù)挖掘與軟件集約化生產(chǎn)會(huì)變得越來越重要，傳統(tǒng)意義下一切從頭開始的軟件項(xiàng)目會(huì)變得越來越少。

互聯(lián)網(wǎng)的數(shù)據(jù)正以指數(shù)級速度增長，2010年，全球產(chǎn)生的數(shù)據(jù)超過1ZB；截至2015年，平均每年產(chǎn)生9ZB的數(shù)據(jù)；數(shù)據(jù)的產(chǎn)生主要來源于傳感器、移動(dòng)終端和電腦終端；所有這些數(shù)據(jù)在涉及人類基因組學(xué)、醫(yī)療保健、石油和天然氣、搜索、監(jiān)控、金融等諸多領(lǐng)域提供了大量潛在的研究價(jià)值。IDC認(rèn)為能夠使用大數(shù)據(jù)解決方案將蓬勃發(fā)展實(shí)時(shí)業(yè)務(wù)決策，而那些無法接受和利用這種轉(zhuǎn)變的，在市場競爭中處于劣勢，且將越來越多地發(fā)現(xiàn)自己面對潛在的故障組織。大數(shù)據(jù)技術(shù)描述新一代的技術(shù)和架構(gòu)，通過對大數(shù)據(jù)進(jìn)行科學(xué)組織、分析其中的數(shù)據(jù)價(jià)值。

大數(shù)據(jù)是涉及數(shù)據(jù)存儲(chǔ)、可變復(fù)雜的大型數(shù)據(jù)及數(shù)據(jù)的進(jìn)一步可視化處理過程；大數(shù)據(jù)架構(gòu)需要具備同時(shí)處理數(shù)據(jù)存儲(chǔ)要求和分析海量數(shù)據(jù)的大型服務(wù)器的處理能力。其中挖掘潛在模式和隱秘關(guān)系的過程稱之為大數(shù)據(jù)分析。挖掘的潛在信息對公司來說能夠幫助獲得更豐富、更深刻的見解，并能夠幫助公司在競爭中占有絕對的優(yōu)勢。這也是大數(shù)據(jù)的價(jià)值所在，更加精確地執(zhí)行和分析數(shù)據(jù)中的潛在價(jià)值。本文將討論大數(shù)據(jù)時(shí)代軟件生產(chǎn)模式的變化、特征及其發(fā)展趨勢。除新的概念外，還將重點(diǎn)介紹一些軟件管理方法以及工業(yè)實(shí)踐經(jīng)驗(yàn)。我們正處于一個(gè)軟件工業(yè)大變革的前夜。隨著軟件資源的大量積累與有效利用，軟件生產(chǎn)的集約化與自動(dòng)化程度都將迅速提高，軟件生產(chǎn)質(zhì)量與效率的大幅度改進(jìn)將成為可能。

2 軟件服務(wù)產(chǎn)生的大數(shù)據(jù)

互聯(lián)網(wǎng)應(yīng)用在各行業(yè)的廣泛推廣和使用，使得互聯(lián)網(wǎng)應(yīng)用服務(wù)產(chǎn)生海量的數(shù)據(jù)，主要包括流式密集數(shù)據(jù)和歷史密集數(shù)據(jù)。比如，國內(nèi)最大的電子商務(wù)阿里巴巴數(shù)據(jù)中心目前已經(jīng)積累超過100PB的數(shù)據(jù)；中國移動(dòng)通信公司目前建立包含辦公自動(dòng)化、企業(yè)標(biāo)準(zhǔn)化等超過1萬業(yè)務(wù)流程。傳統(tǒng)的軟件工程中程序設(shè)計(jì)思想是“程序=數(shù)據(jù)結(jié)構(gòu)+算法”，主要考慮程序的效率和正確性，忽視了程序中產(chǎn)生的數(shù)據(jù)，這將大大縮短程序的生命周期。在軟件理論漫長的發(fā)展過程中，眾多學(xué)者一致認(rèn)為軟件就是健壯的程序和詳細(xì)的文檔，其中核心部分就是完備的文檔，包括需求文檔、工程數(shù)據(jù)、通用規(guī)范等，整個(gè)軟件設(shè)計(jì)過程更加關(guān)注文檔質(zhì)量和標(biāo)準(zhǔn)化開發(fā)模式。因此，在這一共同協(xié)議下，促使軟件設(shè)計(jì)更加規(guī)范和標(biāo)志，進(jìn)而從整體上提升軟件質(zhì)量。

隨著系統(tǒng)業(yè)務(wù)的擴(kuò)容和用戶的使用，要求軟件能夠處理大規(guī)模數(shù)據(jù)的能力。許多大型互聯(lián)網(wǎng)企業(yè)越來越重視軟件服務(wù)中流式數(shù)據(jù)和密集型數(shù)據(jù)，數(shù)據(jù)主要來源于用戶體驗(yàn)。如圖1所示，行業(yè)對數(shù)據(jù)的處理要求越來精細(xì)，技術(shù)很具有挑戰(zhàn)性，其中如何將大數(shù)據(jù)基礎(chǔ)設(shè)施作為服務(wù)、大數(shù)據(jù)平臺(tái)作為服務(wù)、數(shù)據(jù)價(jià)值作為服務(wù)以及大數(shù)據(jù)分析作為服務(wù)，已經(jīng)是大數(shù)據(jù)環(huán)境軟件工程的研究主要難題。

從軟件發(fā)展創(chuàng)新模式來分析，服務(wù)消費(fèi)者、服務(wù)提供方及PaaS平臺(tái)三方產(chǎn)生海量線上流式數(shù)據(jù)和離線密集型數(shù)據(jù)。比如，TB級的用戶交流數(shù)據(jù)和PB級的用戶行為操作數(shù)據(jù)、TB級的系統(tǒng)日志數(shù)據(jù)等，這些海量數(shù)據(jù)對軟件開發(fā)、維護(hù)、管理有著至關(guān)重要的作用，同時(shí)這些數(shù)據(jù)對軟件服務(wù)周期也有決定性的作用。本實(shí)質(zhì)上來說，這些數(shù)據(jù)只是在規(guī)模和量上來衡量，對其的研究缺乏標(biāo)識(shí)，尤其缺少語義化的處理。因此，對如此海量數(shù)據(jù)的處理，需要從不同的研究方式和創(chuàng)新思維對數(shù)據(jù)進(jìn)行組織和處理，形成面向領(lǐng)域內(nèi)的智能知識(shí)主體。以知識(shí)為中心，數(shù)據(jù)為驅(qū)動(dòng)，提供一系列數(shù)據(jù)服務(wù)平臺(tái)，從而體現(xiàn)出現(xiàn)代軟件工程是以大數(shù)據(jù)為中心開展的。

3 大數(shù)據(jù)時(shí)代軟件工程管理模式

根據(jù)大數(shù)據(jù)時(shí)代背景下，軟件工程的發(fā)展從經(jīng)典的CS模式發(fā)展到BS模式以及現(xiàn)在的以面向服務(wù)的軟件工程，簡稱為軟件服務(wù)工程。該設(shè)計(jì)模式中以服務(wù)為基礎(chǔ)的單位，能夠快速構(gòu)建應(yīng)用和共享服務(wù)，能夠按需分配，同時(shí)也能很好地適應(yīng)分布式程序開發(fā)。這種模式特點(diǎn)是將資源虛擬化、應(yīng)用服務(wù)化，向外提供統(tǒng)一服務(wù)接口，能夠很好地解決大數(shù)據(jù)環(huán)境下動(dòng)態(tài)、分布變化的情況和異構(gòu)系統(tǒng)數(shù)據(jù)以及系統(tǒng)整合問題。這種面向服務(wù)的軟件設(shè)計(jì)模式在大數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)等新興領(lǐng)域得到廣泛的使用。

項(xiàng)目管理是在一定的費(fèi)用、品質(zhì)及進(jìn)度約束下，為達(dá)到客戶和其他利益相關(guān)者的需求、目的和目標(biāo)所要進(jìn)行的大量活動(dòng)的規(guī)劃、監(jiān)督和指導(dǎo)。項(xiàng)目管理有兩個(gè)重要的研究領(lǐng)域：系統(tǒng)工程與項(xiàng)目控制。從圖1中看出，兩個(gè)領(lǐng)域有重疊部分，系統(tǒng)工程為重疊部分提供技術(shù)層面的輸入，項(xiàng)目控制主要提供規(guī)劃、費(fèi)用及進(jìn)度方面的輸入。工程的管理主要是通過文檔來體現(xiàn)的，其中主要包括系統(tǒng)文檔樹和系統(tǒng)工程管理計(jì)劃（SEMP）。

系統(tǒng)文檔樹就是以一種樹形結(jié)構(gòu)化形式描述項(xiàng)目所需的，面向系統(tǒng)工程的一系列文檔以及在自定向下的結(jié)構(gòu)化形式中各個(gè)系統(tǒng)工程文件之間的相互關(guān)系。系統(tǒng)文檔樹是由系統(tǒng)工程師在提案階段基于工作說明書（SOW）和合同數(shù)據(jù)需求清單（CDRL）準(zhǔn)備，以便后續(xù)的成本和進(jìn)度確定所需的文本化的任務(wù)。系統(tǒng)文檔樹由項(xiàng)目經(jīng)理批準(zhǔn)并在項(xiàng)目生命周期內(nèi)維護(hù)更新。系統(tǒng)工程管理計(jì)劃（SEMP）是描述項(xiàng)目在系統(tǒng)工程方面的任務(wù)與進(jìn)度需求以及這些系統(tǒng)工程任務(wù)如何被管理與實(shí)現(xiàn)的文檔。項(xiàng)目管理計(jì)劃（SEMP）是由系統(tǒng)工程師基于工作說明書（SOW）和合同數(shù)據(jù)需求清單（CDRL）在提案過程中描述系統(tǒng)工程過程以及系統(tǒng)工程需求如何被計(jì)劃、組織、集成、監(jiān)測、控制和測量。SEMP應(yīng)該由項(xiàng)目經(jīng)理批準(zhǔn)并在項(xiàng)目生命周期內(nèi)維護(hù)更新。系統(tǒng)工程管理計(jì)劃基于SOW及合同數(shù)據(jù)編制，包括三類關(guān)鍵要素：開發(fā)項(xiàng)目規(guī)劃與控制、系統(tǒng)工程過程以及工程專業(yè)集成。

第一，開發(fā)項(xiàng)目規(guī)劃與控制。開發(fā)項(xiàng)目規(guī)劃與控制描述在管理開發(fā)項(xiàng)目中必須實(shí)現(xiàn)的系統(tǒng)工程任務(wù)，包括：SOW（工作說明書）；組織；進(jìn)度計(jì)劃；程序、設(shè)計(jì)和測試準(zhǔn)備評審；技術(shù)性能測量；風(fēng)險(xiǎn)管理。

第二，軟件系統(tǒng)工程過程。系統(tǒng)工程過程描述用于系統(tǒng)開發(fā)的系統(tǒng)工程過程，包括：運(yùn)行需求；功能分析；系統(tǒng)分析與權(quán)衡策略；系統(tǒng)測試與評估策略。

第三，軟件工程專業(yè)集成：工程專業(yè)集成描述多個(gè)專業(yè)工程領(lǐng)域如何被繼承到主系統(tǒng)設(shè)計(jì)與開發(fā)中，包括：可靠性工程、可維護(hù)性工程、可用性（RMA）工程；可生產(chǎn)性工程；安全性工程；人因工程。

4 結(jié)語

互聯(lián)網(wǎng)的快速發(fā)展使得軟件的更新迭代更加頻繁，大數(shù)據(jù)時(shí)代的到來更是對軟件的性能和安全的重要考驗(yàn)。如何在大數(shù)據(jù)環(huán)境下，構(gòu)建一個(gè)高效、安全、健壯的軟件，除了需要技術(shù)的支持，更多地需要一套科學(xué)工程理論、技術(shù)標(biāo)準(zhǔn)、軟件管理方法的融合。由于軟件資源的大量積累以及大規(guī)模軟件重用技術(shù)的發(fā)展與應(yīng)用，軟件數(shù)據(jù)挖掘與軟件集約化生產(chǎn)會(huì)變得越來越重要，傳統(tǒng)軟件無法滿足當(dāng)前的需求，大數(shù)據(jù)環(huán)境下提出一般軟件工程的管理模式對時(shí)下的軟件工程開發(fā)是非常有幫

助的。

參考文獻(xiàn)

[1] 王符偉.大數(shù)據(jù)時(shí)代下軟件工程關(guān)鍵技術(shù)分析[J].電子技術(shù)與軟件工程，2015，（23）.

[2] 朱懷英，展之桂.大數(shù)據(jù)應(yīng)用的現(xiàn)狀與展望[J].工業(yè)c，2016，（17）.

[3] 孟雪井，李宏飛，楊亞飛.大數(shù)據(jù)背景下統(tǒng)計(jì)軟件在數(shù)據(jù)分析中的應(yīng)用[J].現(xiàn)代經(jīng)濟(jì)信息，2016，（8）.

[4] 于興文.基于大數(shù)據(jù)的創(chuàng)新型“歸一”軟件設(shè)計(jì)思路[J].科教導(dǎo)刊（旬刊），2015，（11）.

[5] 汪子陽.軟件工程技術(shù)發(fā)展思索[J].電腦迷，2016，（1）.

[6] 李幼平，楊鵬.共享文化大數(shù)據(jù)的新機(jī)制[J].中國計(jì)算機(jī)學(xué)會(huì)通訊，2013，9（5）.

作者簡介：張宇航（1981-），男，遼寧本溪人，本溪廣播電視大學(xué)講師，工學(xué)碩士，研究方向：計(jì)算機(jī)。

（責(zé)任編輯：蔣建華）