突破目前固有的以自我“平臺”為核心的模式,把數(shù)據(jù)挖掘與數(shù)據(jù)處理權(quán)交給用戶和開發(fā)者,將是移動(dòng)互聯(lián)網(wǎng)和智能手機(jī)產(chǎn)業(yè)鏈獲得騰飛的新起點(diǎn)。
改變移動(dòng)互聯(lián)網(wǎng)以“平臺”為中心的生態(tài)鏈模式,讓每個(gè)用戶都具有類似“平臺”一樣的數(shù)據(jù)挖掘、分析、處理能力,使用戶成為移動(dòng)互聯(lián)網(wǎng)的主導(dǎo)力量,讓“平臺”遵從用戶的真正需求,不僅是移動(dòng)互聯(lián)網(wǎng)生態(tài)鏈運(yùn)行模式的變革,更是未來信息世界控制主體的革命。
得平臺者得天下
“三駕馬車”
盡管成功的機(jī)會(huì)林林總總,移動(dòng)互聯(lián)網(wǎng)最大的戰(zhàn)略機(jī)會(huì)卻是平臺。所謂平臺,實(shí)質(zhì)是信息的增值通道。誰掌握平臺,誰就掌握通往移動(dòng)互聯(lián)網(wǎng)財(cái)富之路的話語權(quán)。從操作系統(tǒng)、瀏覽器到應(yīng)用商店,平臺正變得廣泛而重要。憑借“智能終端+應(yīng)用商店”,蘋果成為大家熱捧的典范。
目前,在各應(yīng)用商店中,蘋果App Store發(fā)展最好、應(yīng)用數(shù)量最多。據(jù)2012年全球開發(fā)者大會(huì)披露的數(shù)據(jù),App Store應(yīng)用下載量已突破300億次,應(yīng)用程序數(shù)量達(dá)到65萬款,穩(wěn)居應(yīng)用業(yè)務(wù)平臺第一。其次是谷歌的Android平臺,應(yīng)用下載量達(dá)100億次,應(yīng)用程序數(shù)量也達(dá)到50萬款。美國應(yīng)用程序研究公司Flurry最新研究報(bào)告顯示,從2011年第二季度到2012年第二季度期間,開發(fā)者對蘋果iOS、谷歌Android、微軟Windows Phone(WP)的支持比例發(fā)生變化,微軟所獲支持由1%增至4%,蘋果iOS則由71%降至67%,Android由27%增至28%。
“平臺”爭奪戰(zhàn)
最先向三大“平臺”叫板的手機(jī)終端廠商是韓國的三星。三星采用Android系統(tǒng)應(yīng)用商店,僅在中國就提供超過8萬個(gè)應(yīng)用程序,下載量累計(jì)近6000萬次;還建立全球首家基于高清電視平臺的應(yīng)用程序商店Samsung Apps,在全球范圍內(nèi)能夠提供1000多款智能電視應(yīng)用程序,下載量也突破1000萬次。其他還有聯(lián)想樂Phone自帶的聯(lián)想“樂園”、摩托羅拉中的“Moto智件園”等。終端廠商主導(dǎo)應(yīng)用商店的優(yōu)勢是擁有渠道和品牌,劣勢是做硬件出身,缺乏運(yùn)營資源和能力。
近來互聯(lián)網(wǎng)界大腕也進(jìn)入智能手機(jī)制造業(yè)。百度推出云手機(jī);盛大推出Bambook手機(jī);阿里巴巴成立專業(yè)公司,自主開發(fā)手機(jī)操作系統(tǒng)阿里云OS?;ヂ?lián)網(wǎng)企業(yè)采取OTT(通過互聯(lián)網(wǎng)向用戶提供各種應(yīng)用服務(wù))業(yè)務(wù)模式,將業(yè)務(wù)產(chǎn)品直接搭載在移動(dòng)互聯(lián)網(wǎng)上,利用自己的主線應(yīng)用產(chǎn)品(社交、搜索、電商等)匯聚用戶資源,搶占互聯(lián)網(wǎng)第一界面并通過數(shù)據(jù)采集、分析等技術(shù)手段獲知用戶上網(wǎng)行為,再通過輔助產(chǎn)品(如娛樂)的推薦使用,增加用戶黏性,以產(chǎn)品帶產(chǎn)品的運(yùn)營機(jī)制,向用戶提供組合產(chǎn)品供其選擇。騰訊應(yīng)用中心作為國內(nèi)最大的互聯(lián)網(wǎng)企業(yè)應(yīng)用商店之一,總下載量已超過40億次。淘寶以基礎(chǔ)平臺(B2B、C2C、B2C網(wǎng)購平臺)匯聚優(yōu)質(zhì)商家,為用戶提供服務(wù)及商品;通過“圈子”、“頑兔”等Pinterest(興趣圖譜)產(chǎn)品,引入第三方服務(wù)商,為商家和消費(fèi)者提供垂直化服務(wù),增加用戶黏性,建設(shè)電子商務(wù)生態(tài)體系。
由于谷歌Android系統(tǒng)的開放性,越來越多的第三方應(yīng)用商店相繼誕生,國內(nèi)目前有近100家左右,但大多數(shù)呈現(xiàn)出嚴(yán)重雷同缺點(diǎn)。
目前,國內(nèi)較為成功的是電信運(yùn)營商推出并運(yùn)營的應(yīng)用商店。中國移動(dòng)應(yīng)用商店(Mobile Market,下稱移動(dòng)MM)形成“銷售-付費(fèi)-分成”的快速產(chǎn)業(yè)鏈,以綜合應(yīng)用門戶的形象,為用戶提供服務(wù)。截止2011年底,上架應(yīng)用超過10萬款,注冊客戶達(dá)1.38億,累計(jì)下載超過6億次。中國聯(lián)通也推出應(yīng)用商店“沃”商店。
與國際應(yīng)用商店“巨頭”相比,中國應(yīng)用平臺建設(shè)仍處于“諸候割據(jù)”的紛亂時(shí)期,成為移動(dòng)互聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展的一個(gè)結(jié)構(gòu)性缺失。
來自中國市場的廣博潛力
據(jù)美國市場研究公司Canalys的數(shù)據(jù),2012年一季度全球智能手機(jī)出貨量為1.46億部,中國市場占比達(dá)到22%,成為全球最大的智能手機(jī)市場。美國科技博客網(wǎng)站App Annie統(tǒng)計(jì)指出,中國正成為應(yīng)用下載量增長最快的國家,2011年的下載量增幅高達(dá)298%,成為全球第二大移動(dòng)應(yīng)用市場。
據(jù)國外媒體報(bào)道,蘋果預(yù)計(jì)中國市場的應(yīng)用下載收入將在今年增長98%達(dá)到1.71億美元,并預(yù)測在2012年中國的應(yīng)用程序下載量可能超越美國,成為蘋果在全球最大的市場。在此形勢下,蘋果向中國市場做出最新的示好舉措,推出中文版Siri,在OS X中集成網(wǎng)易、騰訊、新浪、優(yōu)酷、土豆、百度搜索等中國最熱門的應(yīng)用。中國正以廣博的市場潛力,吸引全球移動(dòng)互聯(lián)網(wǎng)生態(tài)鏈的各方諸侯。
壟斷數(shù)據(jù)挖掘權(quán)的平臺困擾重重
“信息爆炸”與“知識匱乏”共生
有價(jià)值的信息被大量無用信息淹沒
移動(dòng)互聯(lián)網(wǎng)克服傳統(tǒng)通信技術(shù)的時(shí)間和空間障礙,為人們進(jìn)一步打開獲取信息與知識的大門,加快信息傳播的速度,但是也帶來問題和“副作用”。首先是“信息爆炸”現(xiàn)象更為嚴(yán)重。
信息爆炸是指人們對當(dāng)代社會(huì)大量出現(xiàn)并加速增長的各種信息現(xiàn)象的描述,表現(xiàn)為新聞信息飛速增加、娛樂信息急劇攀升、廣告信息鋪天蓋地、科技信息飛速遞增、個(gè)人接受嚴(yán)重“超載”。其結(jié)果是移動(dòng)互聯(lián)網(wǎng)上真正有價(jià)值的信息被大量無用信息所淹沒,求知的人不得不耗費(fèi)大量時(shí)間和精力來對待信息“洪水”。有分析說,目前搜索和收集信息所花費(fèi)的成本已超過信息本身的價(jià)值。
信息爆炸并不意味著知識爆炸,信息只是形成知識的原始素材。人們理解數(shù)據(jù)和信息后,以高度活用的形式編排記憶的系統(tǒng)信息才形成知識。在移動(dòng)互聯(lián)網(wǎng)時(shí)代,大量無關(guān)的沒用的冗余信息嚴(yán)重干擾受眾對有用信息的準(zhǔn)確分辨和正確選擇,使人們從浩如煙海的信息中迅速而準(zhǔn)確地獲取自己最需要的信息與知識變得非常困難。
知識匱乏并不意味著在移動(dòng)互聯(lián)網(wǎng)上知識供應(yīng)總量低于過去,也不意味著知識增長速度放慢,而表現(xiàn)為信息與知識的增長失衡。移動(dòng)互聯(lián)網(wǎng)的發(fā)展如果處理不當(dāng),可能會(huì)出現(xiàn)“信息雖發(fā)達(dá),知識卻貧乏”的困局。醫(yī)治和控制移動(dòng)互聯(lián)網(wǎng)環(huán)境下的“信息爆炸”與“知識匱乏”,是移動(dòng)互聯(lián)網(wǎng)時(shí)代人們面臨的嚴(yán)峻挑戰(zhàn)。應(yīng)該看到,以“平臺”為中心的移動(dòng)互聯(lián)網(wǎng)商業(yè)模式,不是減緩信息與知識的增長失衡,反而是加劇此種失衡。移動(dòng)應(yīng)用商店中大量的“僵尸應(yīng)用”便是典型現(xiàn)象。
用戶是“僵戶應(yīng)用”現(xiàn)象的最大受害者
“僵尸應(yīng)用”主要是指移動(dòng)應(yīng)用商店中那些從未被下載過、沒有任何用戶評價(jià)的APP(應(yīng)用程序)。日前有研究報(bào)告稱,蘋果App Store共計(jì)有65萬個(gè)應(yīng)用,其中“僵尸”約為40萬個(gè),即有三分之二的應(yīng)用程序在“沉睡”;Android應(yīng)用商店中辦公商務(wù)類應(yīng)用有近一半的下載次數(shù)不超過100次,80%以上的軟件從未獲得過用戶評價(jià)。大量沉默的“僵尸應(yīng)用”占據(jù)應(yīng)用商店,必將導(dǎo)致商店臃腫,給運(yùn)營者帶來管理難度,也讓更多好的應(yīng)用被淹沒,成為新的“僵尸”。
面對愈演愈烈、積重難返的“僵尸現(xiàn)象”,最大的受害者是被移動(dòng)互聯(lián)網(wǎng)生態(tài)鏈各方諸侯尊稱為“上帝”的用戶。用戶面對浩如煙海的平臺應(yīng)用程序,往往只能借助于搜索手段。搜索結(jié)果會(huì)出現(xiàn)兩種情況:一是搜索到應(yīng)用平臺希望推廣的應(yīng)用,但大多是采用競價(jià)排名的商業(yè)模式而推薦;二是搜索到的是不滿足用戶需求的“跟風(fēng)”應(yīng)用,浪費(fèi)用戶時(shí)間和精力,也讓用戶無所適從;三是使用之后才發(fā)現(xiàn)問題,又需要重新搜索、下載。這些給用戶帶來重復(fù)下載、被迫選擇收費(fèi)應(yīng)用、浪費(fèi)流量和時(shí)間等諸多困擾。
移動(dòng)互聯(lián)網(wǎng)“平臺”必須良性融入社會(huì)
移動(dòng)互聯(lián)網(wǎng)平臺模式尚處于初級階段
移動(dòng)互聯(lián)網(wǎng)平臺模式處于初級階段的表現(xiàn)主要有:
發(fā)展目標(biāo)是初級的,只想盡快吸引用戶,占領(lǐng)市場,爭取用戶量和業(yè)務(wù)量。下載量成為最可炫耀的業(yè)績。
用于發(fā)展的資源和手段是初級的,主要是以平臺擴(kuò)充和終端升級為主。
參與發(fā)展的各主要方面的關(guān)系是初級的。實(shí)施發(fā)展的企業(yè)和用戶的關(guān)系是失衡的,其目標(biāo)存在較大差異。這從“僵尸應(yīng)用”現(xiàn)象可見一斑。
發(fā)展的結(jié)果也是初級的。業(yè)務(wù)及收入快速增長,但也形成諸多“發(fā)展困境”,諸如有害信息泛濫、網(wǎng)絡(luò)及信息安全漏洞頻出、無序應(yīng)用造成網(wǎng)絡(luò)擁塞或質(zhì)量下降等等。
當(dāng)前移動(dòng)互聯(lián)網(wǎng)以“平臺”為中心的模式,尚未達(dá)到可持續(xù)發(fā)展的境界,因?yàn)榫蘖康臒o用和不良信息極大地增加社會(huì)成本;網(wǎng)絡(luò)、信息以及終端嚴(yán)峻的安全威脅,破壞社會(huì)良性發(fā)展的基礎(chǔ)結(jié)構(gòu);少數(shù)人占有大部分網(wǎng)絡(luò)資源不但造成社會(huì)資源巨大浪費(fèi),也形成新的信息社會(huì)的不公平現(xiàn)象。
移動(dòng)互聯(lián)網(wǎng)必須尋求一條可持續(xù)發(fā)展的道路,需要將移動(dòng)互聯(lián)網(wǎng)的目標(biāo)與社會(huì)、經(jīng)濟(jì)、人民生活的發(fā)展目標(biāo)和諧一致,不能僅為產(chǎn)業(yè)或企業(yè)的利益而造成社會(huì)成本的增加。移動(dòng)互聯(lián)網(wǎng)也需要構(gòu)建自己的“低碳式”可持續(xù)發(fā)展模式。
僵尸現(xiàn)象是“平臺”壟斷數(shù)據(jù)挖掘權(quán)的產(chǎn)物
根源在于應(yīng)用商店游戲規(guī)則的逐利性?!敖┦瑧?yīng)用”在很大程度上是APP游戲規(guī)則的產(chǎn)物。目前,移動(dòng)應(yīng)用的推廣方式極為單一,主要是應(yīng)用排行榜,榜單位置有限,無法容納更多應(yīng)用。最受詬病的是推廣費(fèi)用高昂,單一的排行榜推廣方式和有限的榜單位置大大抬高推廣費(fèi)用。移動(dòng)互聯(lián)網(wǎng)市場存在大量希望快速擴(kuò)大用戶規(guī)模的應(yīng)用,這些應(yīng)用只能依賴平臺的排行榜渠道推廣。花錢買推薦早已成為市場的通用規(guī)則。有些應(yīng)用商店首頁優(yōu)質(zhì)推薦位置在2011年年中就已漲到每天1.2萬元。手機(jī)應(yīng)用開發(fā)者難堪重負(fù)。
同質(zhì)化競爭以及應(yīng)用推廣中的馬太效應(yīng)。移動(dòng)應(yīng)用的同質(zhì)化競爭以及應(yīng)用推廣中的馬太效應(yīng)導(dǎo)致強(qiáng)者恒強(qiáng)、弱者消亡,也是“僵尸應(yīng)用”現(xiàn)象的主要原因。一個(gè)應(yīng)用取得成功通常會(huì)帶來一大批跟風(fēng)模仿者,而這些功能相同的應(yīng)用中,只有用戶體驗(yàn)最好的極少數(shù)能夠占據(jù)用戶手機(jī)桌面存活下來,剩下的都難逃成為“僵尸”的厄運(yùn)。移動(dòng)應(yīng)用推廣則是下載量越大,排名越靠前,而排名越靠前,則下載量越大。同一類應(yīng)用中只有排名靠前的少數(shù)應(yīng)用能夠吸引用戶眼球。
應(yīng)用開發(fā)者的噩夢和“水軍”刷票生意的興隆。從全情投入躊躇滿志到錢財(cái)耗盡心灰意冷,繁榮的應(yīng)用商店竟成為開發(fā)者的“噩夢”。如果不想成為“僵尸應(yīng)用”,就得花錢推廣,這已成為鐵一般的定律。
然而,在推廣方式的選擇上卻有截然不同的兩條路:一是針對目標(biāo)市場進(jìn)行市場營銷和廣告投放的正規(guī)道路;一是雇傭“水軍”在應(yīng)用商店刷榜的違規(guī)道路。在顯而易見的“投入產(chǎn)出比”面前,越來越多的應(yīng)用開發(fā)公司選擇后者。據(jù)透露,1000萬元以上的刷量和刷票合同并不少見;有些刷量公司甚至開設(shè)大客戶專用通道。如果沒有充裕資金做后盾,淹沒在應(yīng)用海洋中將是必然的結(jié)局。
統(tǒng)計(jì)顯示,截至2011年11月底,中國手機(jī)應(yīng)用開發(fā)者總數(shù)約100萬人,其中盈利的僅占13.7%,虧損的占64.5%,持平的為21.8%。由此可見,應(yīng)用商店現(xiàn)有的排名機(jī)制以及算法規(guī)則,已嚴(yán)重傷害開發(fā)者的積極性,最終必將傷害到整個(gè)應(yīng)用商店的創(chuàng)新能力和生命力。
“大數(shù)據(jù)”不是靈丹妙藥
隨移動(dòng)互聯(lián)網(wǎng)發(fā)展而來的海量數(shù)據(jù),對“平臺”運(yùn)營商顯然已造成巨大負(fù)擔(dān)。但是,以“平臺”為中心的運(yùn)營模式念念不忘的,仍是如何借助“大數(shù)據(jù)”的理念和技術(shù),牢牢把握住數(shù)據(jù)挖掘及數(shù)據(jù)分析處理的核心權(quán)力,進(jìn)一步推出具有黏性較強(qiáng)的龐大用戶群的業(yè)務(wù),實(shí)現(xiàn)市場和盈利的提升,比如蘋果App Store《植物大戰(zhàn)僵尸》這樣的明星產(chǎn)品,9天內(nèi)就吸金100萬美元,讓眾多廠商和創(chuàng)業(yè)者分外眼紅。
從2011年起,全球?qū)ヂ?lián)網(wǎng)所帶來的“信息爆炸”和“數(shù)據(jù)洪流”有了全新認(rèn)識。2011年5月,麥肯錫發(fā)布報(bào)告,指出數(shù)據(jù)已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域,逐漸成為重要的生產(chǎn)因素;而人們對于大數(shù)據(jù)的運(yùn)用預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來。“大數(shù)據(jù)”時(shí)代已經(jīng)降臨。
大數(shù)據(jù)具有多樣性、體量大和速度高的特征。多樣性是指數(shù)據(jù)應(yīng)包含結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù),文本、語音、圖像、社交網(wǎng)絡(luò)、地理位置等等,數(shù)據(jù)類型十分豐富;體量大是指聚合在一起供分析的數(shù)據(jù)量非常龐大;速度高則是指數(shù)據(jù)處理的速度必須很快。人們意識到,淹沒在數(shù)據(jù)的海洋中需要更智慧的收集、處理和分析信息,并讓信息為業(yè)務(wù)目標(biāo)服務(wù);同時(shí),實(shí)現(xiàn)更快更智慧的決策和行動(dòng)。
因此,所有平臺運(yùn)營商,都紛紛表態(tài)要以“大數(shù)據(jù)”的視角,以云計(jì)算為依托,優(yōu)化“平臺”結(jié)構(gòu)和流程,力圖在原有生態(tài)模式下,將產(chǎn)業(yè)鏈主導(dǎo)權(quán)收入囊中,一邊極力吸引用戶進(jìn)入其業(yè)務(wù)應(yīng)用平臺,一邊讓作為“上帝”的用戶游離在外。面對洶涌澎湃的“大數(shù)據(jù)”時(shí)代,用戶只能等待產(chǎn)業(yè)鏈上各路英豪的數(shù)據(jù)挖掘與處理,將他們認(rèn)為有用和有利的數(shù)據(jù)或業(yè)務(wù)“奉獻(xiàn)”給用戶,這就是當(dāng)今移動(dòng)互聯(lián)網(wǎng)的經(jīng)典“橋段”。
用戶在“信息爆炸”環(huán)境下是否能用最高效率、最低成本獲得所需知識和服務(wù);在追求業(yè)務(wù)流量和收入同時(shí),是否有效阻止而不是放任不良信息的泛濫;在以大用戶群和高盈利為主要追逐目標(biāo)前提下,是否能讓中小開發(fā)者從“僵尸應(yīng)用”的噩夢中解脫;讓以盈利為主的的排行榜模式,變?yōu)橛脩艉椭行¢_發(fā)者都能順暢使用應(yīng)用程序和在“平臺”展示的良性氛圍。這些企望,在目前“平臺”運(yùn)營商的“大數(shù)據(jù)”戰(zhàn)略中難以尋覓。
因此,突破目前固有的以自我“平臺”為核心的模式,把數(shù)據(jù)挖掘與數(shù)據(jù)處理權(quán)交給用戶和開發(fā)者,將是移動(dòng)互聯(lián)網(wǎng)和智能手機(jī)產(chǎn)業(yè)鏈獲得騰飛的新起點(diǎn)。
向用戶端轉(zhuǎn)移
讓用戶真正成為移動(dòng)互聯(lián)網(wǎng)生態(tài)鏈的主導(dǎo)者
在各方巨頭把持“平臺”核心權(quán)力的情況下,“大數(shù)據(jù)”無力改變用戶和中小開發(fā)者的弱勢地位和命運(yùn)。因?yàn)闊o論“平臺”上的應(yīng)用有多少,“平臺”運(yùn)營商都不能保證這些應(yīng)用是用戶恰好需要的。
然而,“信息爆炸”的環(huán)境與超級互聯(lián)的社會(huì),將迫使我們開發(fā)全新產(chǎn)品,用戶依靠數(shù)據(jù)挖掘、預(yù)測分析工具幫助來議定最佳的交易變得非常重要,用戶甚至更希望從數(shù)據(jù)中獲取實(shí)時(shí)、實(shí)用的應(yīng)用。在“大數(shù)據(jù)”時(shí)代,移動(dòng)互聯(lián)網(wǎng)生態(tài)鏈面臨著前未有的持續(xù)創(chuàng)新壓力,要求徹底改進(jìn)產(chǎn)品、服務(wù)和流程,并將用戶端持有數(shù)據(jù)挖掘及分析處理機(jī)制與能力作為主要改革方向之一。
在“大數(shù)據(jù)”趨勢下,圍繞數(shù)據(jù)價(jià)值產(chǎn)生的關(guān)聯(lián)應(yīng)用復(fù)雜多變,不管是電信運(yùn)營商、互聯(lián)網(wǎng)企業(yè)、第三方運(yùn)營商、終端廠商還是用戶,都必須改變角色定位,以數(shù)據(jù)價(jià)值為核心,跨入意識、技術(shù)、產(chǎn)品、服務(wù)和應(yīng)用于一體的大服務(wù)時(shí)代。必須從數(shù)據(jù)集成、管理向數(shù)據(jù)挖掘、分析與展現(xiàn)等方向進(jìn)行全方位延伸;用戶與“平臺”各方都需要擁有主動(dòng)意識,以挖掘數(shù)據(jù)價(jià)值最大化為目標(biāo),不能坐等應(yīng)用需求;要向用戶端注入數(shù)據(jù)挖掘及分析處理機(jī)制與能力,提升用戶在生態(tài)鏈中的主導(dǎo)地位。
用戶端實(shí)現(xiàn)“大數(shù)據(jù)”挖掘的技術(shù)探索尚屬空白
數(shù)據(jù)挖掘是從大量有噪聲的數(shù)據(jù)中提取出有用知識的過程,可分為數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘、挖掘結(jié)果的解釋和表達(dá)三個(gè)階段?;谠朴?jì)算架構(gòu)下的數(shù)據(jù)挖掘系統(tǒng)模塊分別獨(dú)立地存在于不同的云塊,數(shù)據(jù)在各種云塊間進(jìn)行傳遞,從而在保證各模塊之間有效連接的基礎(chǔ)上達(dá)到一種松散耦合狀態(tài)。
這種數(shù)據(jù)挖掘體制,應(yīng)包括數(shù)據(jù)層、數(shù)據(jù)服務(wù)層、應(yīng)用程序云、知識云、算法云和用戶瀏覽器等。數(shù)據(jù)層表示數(shù)據(jù)挖掘系統(tǒng)需要數(shù)據(jù)的來源,數(shù)據(jù)既可源于云端,也可源于數(shù)據(jù)庫;數(shù)據(jù)服務(wù)層將不規(guī)范的含有噪聲的數(shù)據(jù),經(jīng)過篩選、轉(zhuǎn)換、加工轉(zhuǎn)換成為符合數(shù)據(jù)挖掘算法規(guī)定的有用數(shù)據(jù);而應(yīng)用程序云是云計(jì)算平臺下數(shù)據(jù)挖掘系統(tǒng)的核心模塊;知識云用來存儲(chǔ)數(shù)據(jù)挖掘相關(guān)知識,并具有知識查詢、更新、修改等管理工具;算法云存儲(chǔ)各種數(shù)據(jù)挖掘算法,當(dāng)用戶端提交挖掘請求時(shí),由應(yīng)用程序云向算法云提交相應(yīng)請求,算法云選擇相應(yīng)算法對所需數(shù)據(jù)進(jìn)行挖掘;用戶瀏覽器則是各種終端設(shè)備,用戶可以通過瀏覽器等軟件訪問云計(jì)算平臺程序。
目前,大數(shù)據(jù)挖掘大多利用一些非傳統(tǒng)的數(shù)據(jù)篩選工具(包括但不限于Hadoop)對大量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)集合進(jìn)行挖掘,以便提供有用的數(shù)據(jù)洞察。數(shù)據(jù)挖掘的模式可引入分布式存儲(chǔ)模式,以適合大數(shù)據(jù)的挖掘;引入建立在Hadoop上的數(shù)據(jù)倉庫基礎(chǔ)構(gòu)架,可以存儲(chǔ)、查詢和分析Hadoop中大規(guī)模數(shù)據(jù);引入數(shù)據(jù)分析中間件,提供數(shù)據(jù)處理、數(shù)據(jù)探索、數(shù)據(jù)建模及應(yīng)用等一系列功能,開發(fā)多種數(shù)據(jù)挖掘算法和統(tǒng)計(jì)建模方法。因此,在用戶端通過云計(jì)算平臺提供的海量數(shù)據(jù)挖掘方法,提高了挖掘的效率和精度,更利于挖掘應(yīng)用的推廣。
以上是目前“大數(shù)據(jù)”挖掘與分析處理的基本技術(shù)方案,都是在電信運(yùn)營商或互聯(lián)網(wǎng)運(yùn)營商“平臺”上實(shí)現(xiàn)“大數(shù)據(jù)”挖掘與分析處理的基礎(chǔ)架構(gòu)和實(shí)現(xiàn)路徑,而在用戶端要實(shí)現(xiàn)上述“大數(shù)據(jù)”挖掘的各項(xiàng)功能,在理論和技術(shù)上尚屬空白。
何廷潤:國家無線電頻譜管理研究所高級顧問
本文責(zé)任編輯:肖自強(qiáng)
xiaozq@sem.tsinghua.edu.cn