“數(shù)據(jù)科學(xué)應(yīng)用技術(shù)”專輯導(dǎo)讀

“數(shù)據(jù)科學(xué)應(yīng)用技術(shù)”專輯導(dǎo)讀

2017年6月，第十一屆夏季達(dá)沃斯論壇以“第四次工業(yè)革命將帶來什么？”為主題，探討了如何以創(chuàng)新引領(lǐng)經(jīng)濟(jì)轉(zhuǎn)型升級(jí)．在全球經(jīng)濟(jì)漫長的低迷中，全球經(jīng)濟(jì)新動(dòng)能正在孕育，亮點(diǎn)頻現(xiàn)：以數(shù)字化、網(wǎng)絡(luò)化和機(jī)器自組織為標(biāo)志的第四次工業(yè)革命正蓬勃興起，大數(shù)據(jù)無疑已成為新一輪科技和工業(yè)革命的基礎(chǔ)性資源．作為戰(zhàn)略資源的大數(shù)據(jù)已成為社會(huì)生產(chǎn)的新要素，正在深刻變革我們的科技、產(chǎn)業(yè)和管理，為引領(lǐng)經(jīng)濟(jì)和社會(huì)新常態(tài)提供了強(qiáng)力的支撐．當(dāng)前，各種智能終端和移動(dòng)互聯(lián)網(wǎng)蓬勃發(fā)展，各種各樣的數(shù)據(jù)呈爆炸式增長，致使數(shù)據(jù)的采集、傳輸和存儲(chǔ)都發(fā)生了翻天覆地的變化．這種變化使得科學(xué)研究在經(jīng)歷了實(shí)驗(yàn)科學(xué)、理論科學(xué)和計(jì)算科學(xué)之后，步入了數(shù)據(jù)密集型科學(xué)時(shí)代．在這種背景下，數(shù)據(jù)科學(xué)作為新興的交叉學(xué)科油然而生．?dāng)?shù)據(jù)科學(xué)交叉學(xué)科旨在運(yùn)用統(tǒng)計(jì)、數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的方法，快速、準(zhǔn)確地獲取大數(shù)據(jù)中的有價(jià)值信息，實(shí)現(xiàn)深度理解、敏銳發(fā)現(xiàn)與精準(zhǔn)決策．因此，數(shù)據(jù)科學(xué)學(xué)科的發(fā)展是第四次工業(yè)革命的先進(jìn)生產(chǎn)力之一．

數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)計(jì)算能力和提取數(shù)據(jù)價(jià)值的能力是大數(shù)據(jù)應(yīng)用的三大要素，也是數(shù)據(jù)科學(xué)這門學(xué)科的研究對(duì)象．因此，數(shù)據(jù)科學(xué)是涉及數(shù)據(jù)的全生命周期，包括數(shù)據(jù)采集、分析管理和可視化．它在各行各業(yè)中有著廣泛的應(yīng)用，包括電子商務(wù)、金融、醫(yī)療、生物技術(shù)、教育、旅游、交通和農(nóng)業(yè)等．無論是工業(yè)界還是學(xué)術(shù)界，越來越多的國內(nèi)外專家和學(xué)者已經(jīng)意識(shí)到數(shù)據(jù)科學(xué)技術(shù)的研究和應(yīng)用是推動(dòng)和引領(lǐng)經(jīng)濟(jì)和社會(huì)新常態(tài)的關(guān)鍵因素，他們相繼開展了大量的相關(guān)研究，也取得了許多有價(jià)值的研究成果，但依然存在很多問題亟待解決．

正是在這樣的大背景下，2016年9月，華東師范大學(xué)數(shù)據(jù)科學(xué)與工程學(xué)院（以下簡稱數(shù)據(jù)學(xué)院）宣布成立．其前身可追溯到2012年下半年成立的“華東師范大學(xué)云計(jì)算和大數(shù)據(jù)研究中心”，該中心的基本思路是為了踐行“協(xié)同創(chuàng)新”這一重要理念；隨后，為集聚華東師范大學(xué)與大數(shù)據(jù)相關(guān)的學(xué)科優(yōu)勢，推進(jìn)學(xué)校的“學(xué)科交叉”戰(zhàn)略，支持學(xué)校優(yōu)勢學(xué)科的發(fā)展，2013年9月成立了華東師范大學(xué)數(shù)據(jù)科學(xué)與工程研究院，成為全國高校第一個(gè)大數(shù)據(jù)研究院．認(rèn)真梳理在3年實(shí)踐中的學(xué)習(xí)、認(rèn)識(shí)和體會(huì)之后，加上Info Sys為數(shù)據(jù)學(xué)院成立專門進(jìn)行了捐贈(zèng)，2016年9月華東師范大學(xué)正式批準(zhǔn)成立數(shù)據(jù)學(xué)院．2017年3月17日，教育部公布2016年度普通高等學(xué)校本科專業(yè)備案和審批結(jié)果，數(shù)據(jù)學(xué)院獲批新增數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)（專業(yè)代碼：080910T）專業(yè)．學(xué)院依托本校軟件工程、計(jì)算機(jī)技術(shù)、教育學(xué)、人口學(xué)、地球科學(xué)等方面的獨(dú)特優(yōu)勢，瞄準(zhǔn)國際前沿領(lǐng)域，對(duì)接國家重大需求，培養(yǎng)新型復(fù)合型工科人才，研發(fā)具有中國特色的大數(shù)據(jù)技術(shù)和應(yīng)用系統(tǒng)．

數(shù)據(jù)學(xué)院順應(yīng)應(yīng)用驅(qū)動(dòng)創(chuàng)新、開放成就創(chuàng)新的潮流，立足應(yīng)用，順應(yīng)潮流，穩(wěn)步推進(jìn)學(xué)科交叉，漸漸形成了可持續(xù)的創(chuàng)新生態(tài)．當(dāng)前，數(shù)據(jù)學(xué)院聯(lián)合西北工業(yè)大學(xué)、中國人民大學(xué)、交通銀行共同承擔(dān)了國家863課題“基于內(nèi)存計(jì)算的數(shù)據(jù)管理系統(tǒng)研究與開發(fā)”；與合肥工業(yè)大學(xué)、中國科學(xué)技術(shù)大學(xué)和西安交通大學(xué)等單位一起聯(lián)合攻關(guān)國家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目“大數(shù)據(jù)知識(shí)工程基礎(chǔ)理論及其應(yīng)用研究”；與中國人民大學(xué)和東北大學(xué)共同承擔(dān)了國家自然科學(xué)基金重點(diǎn)項(xiàng)目“面向物聯(lián)網(wǎng)搜索的隱私保護(hù)理論和關(guān)鍵技術(shù)”；與中國人民大學(xué)和中科院計(jì)算所共同承擔(dān)了國家自然科學(xué)基金重點(diǎn)項(xiàng)目“大數(shù)據(jù)管理系統(tǒng)評(píng)測基準(zhǔn)的理論與方法”；與東北大學(xué)和中山大學(xué)共同承擔(dān)了國家自然科學(xué)基金重點(diǎn)項(xiàng)目“基于超云平臺(tái)的社會(huì)化移動(dòng)網(wǎng)絡(luò)大數(shù)據(jù)管理與分析關(guān)鍵技術(shù)研究”；在校企合作方面，學(xué)院與歐冶云商成立了“華師大-歐冶產(chǎn)業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)與區(qū)塊鏈實(shí)驗(yàn)室”；學(xué)院聯(lián)合中國人民大學(xué)和印孚瑟斯成立了“數(shù)據(jù)科學(xué)聯(lián)合實(shí)驗(yàn)室”；與珍島信息技術(shù)有限公司成立了“智慧營銷聯(lián)合實(shí)驗(yàn)室”．在這些科研項(xiàng)目的支持下，經(jīng)過多年研發(fā)，沉淀了一批研究結(jié)果，為了更好地總結(jié)成果，同時(shí)促進(jìn)國內(nèi)相關(guān)研發(fā)人員的交流，特此組織《華東師范大學(xué)學(xué)報(bào)（自然科學(xué)版）》“數(shù)據(jù)科學(xué)應(yīng)用技術(shù)”專輯．專輯采用邀稿和征稿相結(jié)合的方式組織稿件，所有收到的稿件通過通訊評(píng)審，最終確定錄用稿件20篇，分為數(shù)據(jù)管理、大數(shù)據(jù)分析、用戶行為分析、位置服務(wù)和應(yīng)用系統(tǒng)等5個(gè)專欄．

數(shù)據(jù)管理專欄共收錄了5篇論文，這些工作主要探討了各類不同數(shù)據(jù)管理系統(tǒng)中連接算子優(yōu)化、負(fù)載均衡和列存儲(chǔ)等問題．在連接算法優(yōu)化方面，徐石磊等人分析了Ocean Base中嵌套循環(huán)連接、哈希連接、半連接等算子執(zhí)行的優(yōu)缺點(diǎn)，充分利用并行優(yōu)化思想對(duì)Ocean-Base數(shù)據(jù)庫中的嵌套循環(huán)連接、哈希連接、半連接等算子進(jìn)行了改造；陳明珠等人考慮到分布式數(shù)據(jù)流管理系統(tǒng)面臨的數(shù)據(jù)傾斜、無邊界與不可預(yù)知性，在Storm系統(tǒng)中設(shè)計(jì)并實(shí)現(xiàn)了Join-Matrix的連接算子，使得該算子具備良好的通用性；張敬偉等人總結(jié)了評(píng)論數(shù)據(jù)分析與應(yīng)用的特征，設(shè)計(jì)了基于同構(gòu)Redis集群環(huán)境的數(shù)據(jù)平衡存儲(chǔ)模型，以“負(fù)載與訪問性能相平衡”為原則，充分挖掘異構(gòu)Redis集群中節(jié)點(diǎn)的性能差異，提高了集群的整體查詢效率；張晗等人提出了支持列存儲(chǔ)數(shù)據(jù)管理系統(tǒng)的一種新物化策略，基于該策略在分布式數(shù)據(jù)管理系統(tǒng)CLAIMS上設(shè)計(jì)并實(shí)現(xiàn)了列存儲(chǔ)引擎；于洋等人基于布谷鳥過濾器在分布式系統(tǒng)Ginkgo上設(shè)計(jì)并實(shí)現(xiàn)了分布式外連接算法，通過布谷鳥過濾器對(duì)數(shù)據(jù)進(jìn)行篩選和分配的同時(shí)，提高執(zhí)行的并行度，使得查詢性能得到大幅提升．

大數(shù)據(jù)分析是大數(shù)據(jù)價(jià)值發(fā)現(xiàn)的關(guān)鍵，也是輔助決策的基礎(chǔ)，該欄目共錄用了4篇論文，專注于介紹大數(shù)據(jù)價(jià)值發(fā)現(xiàn)的技術(shù)綜述和相關(guān)分析技術(shù)的最新研究成果．郁可人等人介紹了基于神經(jīng)網(wǎng)絡(luò)的分布式詞向量構(gòu)建方法、優(yōu)化方法及訓(xùn)練方法；金麗嬌等人從語義表示和語義匹配角度梳理總結(jié)了基于卷積神經(jīng)網(wǎng)絡(luò)的自動(dòng)問答系統(tǒng)技術(shù)；肖垚等人驗(yàn)證了真實(shí)在線廣告平臺(tái)上點(diǎn)擊率預(yù)測的最佳方案；田秀霞等人通過有效融合門限密鑰共享方案和Laplace噪音干擾算法提出了一種實(shí)現(xiàn)電力公司分時(shí)電價(jià)計(jì)費(fèi)的同時(shí)保護(hù)用戶隱私的方法．

用戶行為分析主要應(yīng)用于精準(zhǔn)營銷、客戶流失發(fā)現(xiàn)和異常檢測等問題，該欄目共有5篇論文．陳雷慧等人對(duì)當(dāng)前熱門的跨領(lǐng)域推薦技術(shù)進(jìn)行了系統(tǒng)的總結(jié)和梳理；袁培森等人實(shí)現(xiàn)了多個(gè)搜索引擎食品安全信息查詢相關(guān)的結(jié)果集成，而且能夠根據(jù)用戶的偏好實(shí)現(xiàn)結(jié)果的個(gè)性化排序；潘松松等人使用隨機(jī)森林方法分病種進(jìn)行特征選擇，隨后通過基于CBLOF的方法以及改進(jìn)的CBLOF方法檢測醫(yī)療欺詐行為；王珊蕾等人以用戶偏好和隱變量的特定含義為約束，提出了一種基于貝葉斯網(wǎng)絡(luò)的用戶偏好生成方法；周蘭鳳等人綜合考慮用戶主觀評(píng)分和商品客觀評(píng)分，提出了一種結(jié)合情境預(yù)過濾、社會(huì)網(wǎng)絡(luò)理論以及專家意見的混合協(xié)同過濾推薦方法．

位置服務(wù)是智慧城市、社交網(wǎng)絡(luò)和應(yīng)急救災(zāi)等問題的核心技術(shù)，該欄目共錄用4篇論文．王婧等人形式化定義了基于正則表達(dá)式的限制性路徑規(guī)劃問題并設(shè)計(jì)了通用的解決框架，基于該框架提出了路徑規(guī)劃算法BCRP和優(yōu)化的路徑規(guī)劃算法ICRP；楊姿等人提出了一種基于k-泛化的個(gè)人時(shí)空數(shù)據(jù)隱私保護(hù)方法，該方法不僅提高了數(shù)據(jù)可用性，而且增強(qiáng)了數(shù)據(jù)安全性能；吳濤等人提出了一種基于實(shí)時(shí)路況的兩階段載客熱門區(qū)域?qū)崟r(shí)推薦算法；王藝霖等人提出了一種基于時(shí)空近鄰性的站點(diǎn)恢復(fù)算法和基于歷史數(shù)據(jù)的刷卡站點(diǎn)恢復(fù)方法．

應(yīng)用系統(tǒng)是大數(shù)據(jù)應(yīng)用的接口，該欄目共有2篇論文，分別介紹了我校新版研究生系統(tǒng)開發(fā)的成果．李彥斌等人介紹了基于開源框架的新一代研究生信息系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn)細(xì)節(jié)；史兵等人介紹了基于日志收集與分析的運(yùn)維系統(tǒng)的設(shè)計(jì)方案及基于交互式儀表盤的運(yùn)維實(shí)現(xiàn)．

專家和學(xué)者從不同的角度，對(duì)各自正在研發(fā)的數(shù)據(jù)科學(xué)應(yīng)用相關(guān)領(lǐng)域的核心技術(shù)、系統(tǒng)架構(gòu)和最新研究進(jìn)展等進(jìn)行了介紹，對(duì)數(shù)據(jù)科學(xué)應(yīng)用技術(shù)的難點(diǎn)和挑戰(zhàn)及發(fā)展趨勢進(jìn)行了分析和展望．

最后在專輯出版之際，謹(jǐn)在此衷心感謝提供優(yōu)質(zhì)稿件的各位作者和參與稿件評(píng)審的各位專家學(xué)者，特別感謝華東師范大學(xué)學(xué)報(bào)編輯部自然科學(xué)版各位老師的辛勤工作和大力支持，正是他們冒著酷暑不辭辛苦地加班才讓本專輯得以順利出版．希望本專輯為大數(shù)據(jù)應(yīng)用技術(shù)的研發(fā)提供一個(gè)窗口，并推動(dòng)相關(guān)領(lǐng)域的研究進(jìn)展和應(yīng)用實(shí)施．