吳笑宇
(江蘇省沭陽高級中學,沭陽 223600)
目前,由于計算機互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,帶動了許多行業(yè)的發(fā)展,其中電子商務(wù)行業(yè)借此時機快速崛起。電商包含兩種含義,一是狹義電商,就是我們理解的電商,它指的是將交易過程中的各種交易活動電子化,是一種電子化的交易方式。而廣義電商指的是,通過互聯(lián)網(wǎng),將所有的商業(yè)活動都進行電子化。二者相比,廣義電商的概念更加的大,影響范圍也更加的廣。電商分為很多種模式,比如企業(yè)對企業(yè)(B2B),企業(yè)對消費者(B2C),消費者對消費者(C2C),線上對線下(O2O)等。目前全國比較著名的電商平臺有阿里巴巴,京東,蘇寧,Amazon,eBay等。
雙十一購物節(jié),是指每年的11月11日全網(wǎng)的網(wǎng)購促銷日。它第一次出現(xiàn)是在2009年11月11日,當時天貓商城舉辦了一次促銷活動,這便是雙十一的起源。參加第一次雙十一狂歡節(jié)的商家并不是很多,促銷的力度也遠不如現(xiàn)在,但是其效果卻非常不錯。后來每年的11月11日就都成為了淘寶的“春節(jié)”。隨后又有更多的電商企業(yè)選擇在這一天進行大力的促銷活動,雙十一也就此成為中國電商行業(yè)的年度盛事。
雙十一的成功除了商業(yè)層面的成功,更重要的是有強大的技術(shù)力量作為支撐。本文將探究雙十一背后那些先進的計算機互聯(lián)網(wǎng)技術(shù)。下面看一下2017年淘寶雙十一的幾項數(shù)據(jù):2017年雙十一開場,僅3分01秒成交額就超過百億元大關(guān),這一數(shù)字是2014年淘寶雙十一全天的成交額。根據(jù)阿里巴巴官方公布的數(shù)據(jù),2017年雙十一的總成交額是1682億元,再次刷新了歷史記錄。在這些華麗的數(shù)據(jù)背后,是各種技術(shù)的舞臺。下面我們就簡單的介紹幾項雙十一用到的技術(shù)。
云計算是當前互聯(lián)網(wǎng)環(huán)境下的新型計算模式,為用戶提供透明的服務(wù)。用戶只需要將待計算的數(shù)據(jù)發(fā)送至由各地數(shù)百萬臺計算機組成的“云”上,就可以非??旖莘奖愕牡玫接嬎憬Y(jié)果。而云計算的內(nèi)部處理是非常復(fù)雜的,簡單來說就是云內(nèi)部將計算任務(wù)進行細分,分配給不同的計算機共同計算,最終將結(jié)果集進行整合,返回結(jié)果。云計算采用的是分布式的技術(shù)結(jié)構(gòu),擁有超強的計算能力,每秒可計算約10萬億次。因此,人們可以利用云計算技術(shù)預(yù)測氣候的變化以及市場的發(fā)展趨勢。目前,國內(nèi)以阿里云為代表的云平臺深得企業(yè)和個人用戶的信賴。
雙十一除了應(yīng)用了云計算技術(shù),還應(yīng)用了大數(shù)據(jù)技術(shù)。大數(shù)據(jù)是海量數(shù)據(jù)集的簡稱,但并不是所有的海量數(shù)據(jù)都可以稱為大數(shù)據(jù)。大數(shù)據(jù)很難僅僅靠單臺計算機進行計算處理,它需要采用分布式方案進行處理,所以大數(shù)據(jù)與云計算技術(shù)密不可分。大數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)包括結(jié)構(gòu)化數(shù)據(jù),非結(jié)構(gòu)化數(shù)據(jù)以及半結(jié)構(gòu)化數(shù)據(jù)。目前非結(jié)構(gòu)化數(shù)據(jù)已經(jīng)逐漸成為了數(shù)據(jù)的主要部分。
并不是所有的海量數(shù)據(jù)都是大數(shù)據(jù),那么具有哪些特點的數(shù)據(jù)才能夠稱為大數(shù)據(jù)呢?大數(shù)據(jù)具有以下特點:
(1)大容量
在如今信息時代,我們每時每刻都在制造數(shù)據(jù)。短信,微信,照片,微博,甚至我們每一次點擊,每一個滑動,每一次通話,每一次刷卡都會制造出大量的行為數(shù)據(jù)。這些數(shù)據(jù)被收集到各個運營商和企業(yè)中,最終匯聚成海量的數(shù)據(jù)。人類從第一次破譯基因密碼到完成30億對堿基的排序用了10年,而現(xiàn)在世界范圍內(nèi)的基因機器可以在短短幾分鐘內(nèi)完成此項工作。
(2)多樣性
數(shù)據(jù)不再僅僅是我們以往認知中的文字,數(shù)字等符號。隨著傳感器,智能設(shè)備以及社交協(xié)作技術(shù)的飛速發(fā)展,數(shù)據(jù)的來源和數(shù)據(jù)的形式也愈來愈多。數(shù)據(jù)可以來自于網(wǎng)頁,搜索引擎,社交軟件,論壇貼吧等。在大數(shù)據(jù)的時代,數(shù)據(jù)的格式也不局限于文本這樣單一的格式,圖像,視頻,音頻,位置信息這樣的非結(jié)構(gòu)化數(shù)據(jù)逐漸成為數(shù)據(jù)的主體。
(3)價值密度低
在海量的數(shù)據(jù)中,并非所有數(shù)據(jù)都是有價值的,數(shù)據(jù)的價值密度和數(shù)據(jù)總量并不成正比。真實情況是,在海量數(shù)據(jù)中,有價值的數(shù)據(jù)所占比例很小。比如在一段連續(xù)數(shù)小時的監(jiān)控錄像中,有價值的時間可能只有一兩秒。大數(shù)據(jù)的價值大多是需要從海量的數(shù)據(jù)中挖掘出的。而如何挖掘出有價值,有意義的數(shù)據(jù)是目前大數(shù)據(jù)技術(shù)中的一道難題。
(4)處理速度快
處理速度是大數(shù)據(jù)技術(shù)與傳統(tǒng)數(shù)據(jù)挖掘相比最明顯的差別。大數(shù)據(jù)是通過互聯(lián)網(wǎng)和云計算技術(shù)進行數(shù)據(jù)交換和數(shù)據(jù)傳播。比傳統(tǒng)的通過報紙,檔案等方式傳播更加快速和準確。如果我們細心的話,我們可以發(fā)現(xiàn)我們在網(wǎng)購平臺中看到的購物頁面是不相同的,這就是通過對我們的喜好和搜索習慣,計算出更加適合我們購買的產(chǎn)品。這些實時的分析計算,都需要強大的運算處理能力作為支撐。
數(shù)字圖像處理技術(shù),是將圖像信號轉(zhuǎn)換為計算機可以識別計算的數(shù)字信號,通過計算機的處理,再由數(shù)字信號轉(zhuǎn)換為圖像信號的技術(shù)。這項技術(shù)可以達到圖像數(shù)據(jù)變換,美化圖像,圖像特征提取等目的。在電子商務(wù)行業(yè)中,用戶可以通過上傳自己想要購買的商品圖片,通過數(shù)字圖像處理技術(shù)進行識別和匹配,反饋給用戶想要的結(jié)果。
除以上技術(shù)之外,雙十一還應(yīng)用了很多其他的計算機技術(shù),比如人工智能技術(shù),在此不做詳細的介紹。
云計算結(jié)合了分布式技術(shù),并行計算,負載均衡技術(shù),虛擬化技術(shù)等計算機和網(wǎng)絡(luò)技術(shù),是很多資源結(jié)合在一起的計算系統(tǒng)。它是基于互聯(lián)網(wǎng)的新型計算模式,它能夠把大量的信息和數(shù)據(jù)集中在一起協(xié)同工作。它的核心是高效安全的分布式架構(gòu),下文將分析分布式技術(shù)。
4.1.1 分布式技術(shù)探究
分布式計算的主要流程是把一個較大的計算任務(wù)劃分為多個子任務(wù),然后將這些子任務(wù)分配給許多計算機去進行計算處理。在分布式架構(gòu)中,每個子系統(tǒng)被稱為一個“服務(wù)”。由于系統(tǒng)間的耦合度比較低,所以每個服務(wù)都具有很強的獨立性。
分布式架構(gòu)和傳統(tǒng)計算模式相比具有非常明顯的優(yōu)勢:
(1)充分利用大范圍的計算機,可以選擇較為合適的計算機處理子任務(wù),這樣使得資源能夠被更大化的利用。
(2)通過分布式架構(gòu),可以使任務(wù)被較為均衡的負載在多臺計算機上,能夠減輕每一臺計算機的壓力。
(3)它的計算能力很強,性價比較高。
4.1.2 分布式架構(gòu)和集群計算、并行計算的區(qū)別
集群計算還是在單機上進行計算,當遇到瓶頸時,通過增加服務(wù)器來解決問題。但是每個服務(wù)器提供的服務(wù)是相同的。并行計算是將大任務(wù)轉(zhuǎn)化為小任務(wù),但是與分布式不同的是,并行計算是利用多核處理器在單臺計算機上進行計算,所以計算機一旦崩潰,所有服務(wù)全部停止。
在大數(shù)據(jù)的場景下,數(shù)據(jù)的來源非常多,所以采集數(shù)據(jù)的方式也越來越多。本文主要分析大數(shù)據(jù)的采集過程。
4.2.1 系統(tǒng)日志采集
對于很多大型的公司,每天都會產(chǎn)生大量的日志數(shù)據(jù),在這些日志中,會存在很多有價值的數(shù)據(jù),這些企業(yè)于是就要使用基于分布式的采集方式從日志文件中采集數(shù)據(jù)。
4.2.2 網(wǎng)絡(luò)數(shù)據(jù)采集
網(wǎng)絡(luò)數(shù)據(jù)采集和日志采集的數(shù)據(jù)源不同,它是利用爬蟲技術(shù)對網(wǎng)站的信息進行爬取。網(wǎng)絡(luò)數(shù)據(jù)采集可以采集多種數(shù)據(jù)格式,如今很多中小型企業(yè)對爬蟲技術(shù)非常熱衷,因為它的成本較低。
雙十一背后的深層技術(shù)為雙十一巨大的流量和交易訂單的安全性提供了有力的保障,同時這些技術(shù)在電商行業(yè)的應(yīng)用也反向推動了高端互聯(lián)網(wǎng)技術(shù)的發(fā)展,客觀上促進了生產(chǎn)。消費方式逐漸向虛擬化,高效化,全球化發(fā)展。
往大方向看,這些技術(shù)在經(jīng)濟生活中其他很多方面也有廣泛的應(yīng)用。比如“金融云”就是利用了云計算技術(shù)將金融產(chǎn)品的服務(wù)推到多個分支機構(gòu)組成的云網(wǎng)絡(luò)中;“制造云”融合與發(fā)展了現(xiàn)有的信息化制造技術(shù)和云計算,物聯(lián)網(wǎng)等新興信息技術(shù)。在航空航天領(lǐng)域,數(shù)字圖像處理技術(shù)也扮演著重要的角色。
相信未來,這些技術(shù)還會有更加廣闊的發(fā)展和應(yīng)用前景。