大數(shù)據(jù)時代軟件開發(fā)與維護技術要點及運用實踐關鍵要素探究

姚楠

【關鍵詞】大數(shù)據(jù)；軟件工程；維護；技術

引言

事實上我國開展軟件開發(fā)的企業(yè)數(shù)量比較龐大，但往往不同企業(yè)其各自的實力也存在差異性，一般技術領域的企業(yè)，其在開展軟件開發(fā)及維護技術實踐應用時，都會綜合具體工作內(nèi)容和大數(shù)據(jù)時代的信息特點，后由相關管理人員整理并分析收集到的信息，繼而找準自身企業(yè)的發(fā)展方向，同時在此基礎上制定合理的發(fā)展計劃，穩(wěn)固企業(yè)的市場地位，有效提升企業(yè)的營業(yè)業(yè)績，力爭獲取到最高的經(jīng)濟效益。

一、概述

（一）大數(shù)據(jù)

眾所周知，沃爾瑪?shù)摹捌【婆c尿布”屬于大數(shù)據(jù)行業(yè)的一大典型案例，隨著社會的數(shù)據(jù)信息化發(fā)展，完全證明了大數(shù)據(jù)時代的到來。20世紀80年代初期，美國社會思想家阿爾文·托夫勒撰寫的《第三次浪潮》掀起了人類社會發(fā)展的三次浪潮，第一次浪潮以“農(nóng)業(yè)文明”為核心，第二次浪潮以“大數(shù)據(jù)”為核心，第三次浪潮則以“信息化”為主，期間第一次提出了“大數(shù)據(jù)”的概念。被世人熟知的麥肯錫咨詢公司作為全球著名的咨詢公司在2011年5月發(fā)表的《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個前沿》報告中，明確指認大數(shù)據(jù)時代的來臨。繼大數(shù)據(jù)的概念提出之后，人們經(jīng)過反復實踐，并且在其技術不斷發(fā)展的過程中對“大數(shù)據(jù)”做出了嚴格且權(quán)威性的定義。一般來說，大數(shù)據(jù)的規(guī)模基本都能達到10TB左右，目前已經(jīng)實現(xiàn)了PB級的數(shù)據(jù)量。維基百科對“大數(shù)據(jù)”一詞給出的概念是：用來描述傳統(tǒng)數(shù)據(jù)處理應用軟件沒有辦法完整地完成較之龐大的或是復雜性較高的數(shù)據(jù)集。然而，論及“大數(shù)據(jù)”這一概念時，其并非只是代表龐大的數(shù)據(jù)規(guī)模，而是同時涵蓋了處理和應用這些數(shù)據(jù)的具體活動。IBM總結(jié)出了大數(shù)據(jù)的具有“5V”特征，即數(shù)據(jù)價值高、數(shù)據(jù)真實性高、處理速度快、數(shù)據(jù)類別多樣、數(shù)據(jù)體量大。各個大數(shù)據(jù)技術的分類之間并非平行關系存在，而是以縱向、層級狀結(jié)構(gòu)存在的。

（二）軟件工程

原本當前并不存在對軟件工程具有權(quán)威性的定義。且“軟件”一詞也是在20世紀60年代初期才出現(xiàn)的，此前大都為關于“程序”的概念，直至后來在經(jīng)過發(fā)展之后人們所認知的關乎程序的文檔同樣發(fā)揮著很重要的作用，之后“軟件”一詞才問世。歷經(jīng)數(shù)年的發(fā)展，直到今天，軟件已經(jīng)并非僅借以某個程序個體或程序員合作方才可以完成，即便可以完成，其效率也往往不盡如人意，同時其程序運行的可靠性比較差，也可以認為根本就沒有辦法完成。為此，1968年“軟件工程”這一概念被在大西洋公約學術會議上提出來，換言之，即按照特定的工程方法全面完成軟件系統(tǒng)的設計開發(fā)、運行維護及優(yōu)化等整體性工作內(nèi)容，也是借助“計算機科學”“數(shù)學管理科學”等一系列原理，運用工程方法來完成軟件工程的制作，故其當屬一門交叉性學科。大致可以認為其包含有四個核心要素：①軟件工程目標；②軟件工程范型；③軟件工程過程；④軟件工程原則。

二、大數(shù)據(jù)與軟件工程的結(jié)合方式

如果立足于宏觀角度來思考，軟件工程的概念往往要比大數(shù)據(jù)的概念覆蓋范圍更寬，同時大數(shù)據(jù)技術及其應用也同時覆蓋了軟件工程的內(nèi)容。即便大數(shù)據(jù)各類技術及其應用均隸屬垂直領域范疇，但軟件工程則涉及的是橫向領域，其側(cè)重點在軟件產(chǎn)品和軟件系統(tǒng)工程的實現(xiàn)或管理方面。然而，不管是針對大數(shù)據(jù)產(chǎn)品或是大數(shù)據(jù)系統(tǒng)的完成和落地，均擺脫不了軟件工程方法論的支撐。也就是說，包括軟件工程的技術方法始終貫穿于大數(shù)據(jù)的開發(fā)應用過程中，且大數(shù)據(jù)這個概念也不過是出現(xiàn)在軟件工程的發(fā)展過程中。一定程度上來說，軟件工程開發(fā)具備一定的綜合性，且又被廣泛應用于各學科及各領域，介此，大數(shù)據(jù)技術的應用也就成了軟件工程重點關注及研究的內(nèi)容，又或者可以認為軟件工程是大數(shù)據(jù)技術實踐開發(fā)應用過程中各個環(huán)節(jié)的重要支撐。事實上，開發(fā)和應用大數(shù)據(jù)的過程是在依賴于完整的數(shù)據(jù)鏈條的基礎上實現(xiàn)的，采取有效的算法來分析數(shù)據(jù)當中潛在的規(guī)律，且必須保證要根據(jù)變化著的環(huán)境對算法進行升級，基于基礎開發(fā)的原理，合理調(diào)整數(shù)據(jù)的分布情況，繼而實現(xiàn)大數(shù)據(jù)技術和軟件工程方法的有效結(jié)合。同時還要在開放的環(huán)境當中共享網(wǎng)絡與通信技術數(shù)據(jù)，此間會同時提升軟件的技術水平。此二者之間互相發(fā)生作用的同時，又能有效提升軟件效率和軟件效益，力爭滿足客戶需求。軟硬件是軟件開發(fā)過程中的必備條件，其作用是支持對應的數(shù)據(jù)流，隨著數(shù)據(jù)流的持續(xù)增長，軟件對于軟硬件的要求也會隨之提高。對于工程技術人員來說，在分析和研究數(shù)據(jù)流的過程中，也會有專家和學者在線服務或研究。然而，數(shù)據(jù)流始終都是重點，其中也包含了針對數(shù)據(jù)流使用方法的研究以及對支持數(shù)據(jù)流的軟硬件的研究。此外，如果立足于軟件工程的開發(fā)角度來思考，不管是服務端或用戶端，軟件在運行過程中都會不可避免地生成大批量的數(shù)據(jù)流，且此過程會產(chǎn)生大批量的數(shù)據(jù)信息，而最終這些數(shù)據(jù)流往往一定程度上會影響到軟硬件的使用壽命。所以，實際基于海量數(shù)據(jù)環(huán)境下的軟件工程開發(fā)，第一步必須要做好對應的數(shù)據(jù)流管理工作，特別重視數(shù)據(jù)流的分析和研究，還要更進一步地研究原始數(shù)據(jù)，使軟件的使用周期得以延長。

三、大數(shù)據(jù)時代的軟件服務工程

所謂軟件服務工程，即面向服務的軟件工程，一定意義上可以將其理解為傳統(tǒng)軟件工程的拓展。近年來，軟件工程經(jīng)過不斷發(fā)展慢慢演變成了當今時代的一大主流，而其具體原則主要體現(xiàn)在其服務功能上。另外，軟件服務工程也可以理解為包括軟件、服務、工程三者之間的交叉融合，又或是將其理解為軟件工程和服務工程之間的雙向融合等。從實踐情況來看，需基于軟件服務工程基礎原則、開發(fā)技術和應用方法，充分利用與之對應的軟件服務設施平臺，來開發(fā)出更高水平的軟件服務系統(tǒng)，以滿足實際應用需求。對于軟件開發(fā)者而言，通常都是依據(jù)實際需求的變化在不斷實踐的過程中以服務社會為主要目標。在開發(fā)初期，建構(gòu)良好的軟件框架，并且充分發(fā)揮編程語言作用，提前建構(gòu)編程思路，保證開發(fā)軟件可以更好地服務于應用，有序維持軟件的穩(wěn)定運行。開發(fā)者在實際服務的過程當中必須要嚴格應用分布式應用程序，并利用虛擬操作的方式為用戶提供高質(zhì)量的服務[1]。實踐應用過程中介入大數(shù)據(jù)技術，可以完成實時的數(shù)據(jù)編程，以便主動協(xié)調(diào)數(shù)據(jù)。軟件工程師在共享信息的同時又可以互相交流學習，結(jié)合用戶反饋協(xié)同開發(fā)軟件，確保能夠優(yōu)化升級軟件系統(tǒng)，并且進一步提高軟件性能。開源軟件作為最近幾年比較成功的習作模式，它所采用的常規(guī)性研究方法，在應用價值方面體現(xiàn)得并不高。對比開源軟件來說，群體軟件工程又是一種分布式的軟件模型，它可以借助網(wǎng)絡完成任務的分配，同時也可以做到創(chuàng)造性的查詢，借以眾包的形式來成功地克服實際開發(fā)中遇到的各種難題。與此同時，眾包開發(fā)又可以貫穿于整個開發(fā)過程。眾包開發(fā)的含義即一種分布式的生產(chǎn)和開發(fā)的模式，并且是一種解決問題的具體方案。借此方式可以實現(xiàn)開源軟件與商業(yè)軟件基于網(wǎng)絡系統(tǒng)的任務分配和責任劃分。軟件工程技術發(fā)展速度和國內(nèi)科技水平呈正相關關系，即國內(nèi)科技水平可以促進軟件工程技術的快速發(fā)展。與此同時，也為軟件服務工程提供了拓展的路徑。基于大數(shù)據(jù)時代背景下的軟件工程開發(fā)要求我們必須加速大數(shù)據(jù)技術與軟件工程技術的有機融合，并在創(chuàng)新的基礎上進一步提升編程處理海量網(wǎng)絡數(shù)據(jù)信息的能力，促進軟件安全效能的提升，并且進一步提高軟件開發(fā)的穩(wěn)定性及可操作性，以最終完成軟件工程系統(tǒng)整合集成度的開發(fā)和應用[2]。

四、數(shù)據(jù)密集型科研第四范式

詹姆士·格雷是美國著名的關系數(shù)據(jù)庫研究專家，他曾立足于科學哲學的層面劃分人類科研模式為三個階段：初期實驗科學階段，科學理論階段，模擬計算科學階段，后又將此三個階段分別系統(tǒng)性地稱為第一、二、三范式。隨著模擬連同實驗生成的海量數(shù)據(jù)，一般由軟件來對這些各類儀器及模擬實驗生成的海量數(shù)據(jù)進行科學處理，之后又將經(jīng)過處理獲取到的信息及知識儲存在計算機中。緊跟著再由科研人員仔細分析和研究這些儲存在計算機當中的小批量數(shù)據(jù)，而并非直接性借助儀器或模擬的方法展開研究?；诖?，從以往應用于數(shù)據(jù)密集型科研當中的獨特技術及其表現(xiàn)出來的不同于往日的科研特點，詹姆士·格雷又在2007年，于科研報告當中正式提出這種數(shù)據(jù)密集型科研模式，同時也包括由計算機中獨立區(qū)別的思想，之后第四范式的新型科研模式便誕生了。經(jīng)過整理后的報告命名為“吉姆·格雷論e-Science：一種科研模式的變革”，后來也被作為2009年微軟描述數(shù)據(jù)密集型的首篇論文集《e-Science：科學研究的第四種范式》。時下有不少計算機領域研究的專業(yè)從業(yè)人員均給予了數(shù)據(jù)密集型科研第四范式較高的關注和深入的研究，積極找出了行之有效的方式和方法，為此，關于第四范式的研究成了當今時代大數(shù)據(jù)技術背景下開發(fā)軟件工程技術的核心所在[3]。

信息時代這一大背景，為許多學科的拓展提供了有效支持，其中包括實驗、計算科學和理論分析在內(nèi)的各種研究都在當今這個數(shù)據(jù)信息大面積發(fā)展的情勢下表現(xiàn)出與之前較大的差異性，因此，既要要求軟件工程技術必須積極迎合科研第四范式，同時又將其發(fā)揮的作用及其占據(jù)的地位提升了一個階層。以往傳統(tǒng)的軟件工程范式?jīng)]有辦法很好地將目的和探索銜接起來，也沒有辦法更好地保證數(shù)據(jù)信息的實際應用效率和管理目標的實現(xiàn)?；跀?shù)據(jù)密集型科研第四范式相關理論可以得知，借助此范式的軟件工程技術模塊，可以同時分析其余范式下的數(shù)據(jù)信息，有效提高了數(shù)據(jù)信息處理的效率和質(zhì)量?；诘谒姆妒侥Ｊ较?，需要首先評估集成密集型數(shù)據(jù)軟件的服務價值，必須要在以往數(shù)據(jù)統(tǒng)計方法應用的基礎上，創(chuàng)新出大數(shù)據(jù)信息統(tǒng)計及信息分析的新方法，便于推進后期的軟件工程技術發(fā)展和進步。另外，還需要更新以往軟件工程技術的研究理念，特別重視大數(shù)據(jù)的處理和分析能力的培養(yǎng)提升，革新軟件產(chǎn)業(yè)的面貌，在此過程中提高大數(shù)據(jù)的數(shù)據(jù)分析能力[4]?；诘谒姆妒揭部梢允蛊涓玫胤沼诘谝?、三范式。當然，目前我國關于第四范式的研究依然處在初級階段，對此要求相應的軟件工程開發(fā)人員必須要在研究已有的數(shù)據(jù)模型的基礎上，加快第三范式向第四范式轉(zhuǎn)換的速度，并且充分發(fā)揮出基于應用層面的服務價值。

五、大數(shù)據(jù)時代軟件開發(fā)與維護技術的應用

（一）數(shù)據(jù)分析軟件

在這個大數(shù)據(jù)時代背景下，人們在工作中往往要面對大批量的數(shù)據(jù)信息，所以，當前工作技術人員所面臨的首要問題，即通過什么樣的手段來提高數(shù)據(jù)的捕獲效率及數(shù)據(jù)分析的效率。現(xiàn)實當中，各企業(yè)可以充分運用數(shù)據(jù)分析軟件來有序篩選并整理用戶信息，并且對前期獲取到的用戶反饋信息數(shù)據(jù)及收集到的用戶需求數(shù)據(jù)進行整合，在此基礎上制定出較之科學的維護計劃，以能夠很好地維護企業(yè)和用戶之間的關系[5]。

借助數(shù)據(jù)分析軟件來分析數(shù)據(jù)，除了有助于提高工程技術人員的工作效率以外，更有助于提升企業(yè)運營的經(jīng)濟效益，或者輔助相關管理人員及時發(fā)現(xiàn)工作中存在的問題，并提出優(yōu)化方案，以免影響企業(yè)的發(fā)展。實際軟件工程開發(fā)和研究工作進行當中，一定要特別重視數(shù)據(jù)分析工作的內(nèi)容，對于管理人員來說，借此技術可以獲取到極具代表性的數(shù)據(jù)樣本信息，進而綜合這些信息和市場的發(fā)展方向來調(diào)整工作計劃，提高所擬定計劃的實用性。

（二）通信技術軟件

事實上，現(xiàn)階段我國通信技術行業(yè)的空前繁榮某種意義上象征著我國的軟件開發(fā)及維護技術研究工作步入了新的歷史階段，為此恰恰會產(chǎn)生巨大的社會影響力，比如，現(xiàn)階段通信技術軟件已經(jīng)被廣泛應用于各個社會領域中。

通信技術軟件的應用，可以輔助企業(yè)做好推廣，提高企業(yè)影響力。通信技術工作人員可以借助通信技術軟件來收集和分析用戶信息，繼而辨析用戶的實際需求，保證自身制定的工作計劃能夠匹配用戶實需，并且受到用戶認可，供給用戶對應的服務，此過程更有助于提升工作效率，也可以收獲更多的用戶。另外，日常工作中，運用軟件通信技術，既可以及時發(fā)現(xiàn)工作人員實際工作中存在的缺陷，也可以實現(xiàn)相應的軟件跟蹤服務，在確保有效提高售后工作質(zhì)量的基礎上，輔助他們制定出科學合理的問題解決方案，進一步推進企業(yè)進步和發(fā)展[6]。

（三）商業(yè)經(jīng)營軟件

企業(yè)經(jīng)營管理人員可以運用商業(yè)經(jīng)營軟件獲取到更多的精確性用戶信息，同時他們又可以將這些信息參數(shù)作為制定企業(yè)發(fā)展計劃的核心參考數(shù)據(jù)。例如，計算機企業(yè)在推行軟件前要先查詢用戶信息，但如果沿用以往傳統(tǒng)的查詢方式，除了要耗費大量人力，消耗大量時間以外，更有可能還會造成文件信息丟失，這樣不僅對企業(yè)發(fā)展不利，同時還會對企業(yè)發(fā)展產(chǎn)生負面影響，但如果應用商業(yè)經(jīng)營軟件，就能有效地避免這種情況出現(xiàn)。

結(jié)束語

綜上，軟件開發(fā)及維護技術的實踐，可以為大批量數(shù)據(jù)處理提供有效的處理方法，提升所整理數(shù)據(jù)的應用價值。而此次研究也積累相應的實踐經(jīng)驗，為理論體系的完善提供良好參考。在下階段的發(fā)展中，還需加強技術創(chuàng)新、人員素養(yǎng)培訓、配套硬件開發(fā)等工作，充分發(fā)揮軟件技術的應用優(yōu)勢，以促進社會經(jīng)濟的健康發(fā)展。