“內(nèi)存計(jì)算數(shù)據(jù)管理”專輯導(dǎo)讀

周傲英

互聯(lián)網(wǎng)改變了一切，包括改變了信息技術(shù)的發(fā)展模式.早期互聯(lián)網(wǎng)發(fā)展的典型套路是：通過向人們提供搜索、娛樂、社交等服務(wù)，吸引用戶上線；產(chǎn)生流量后，再通過“流量變現(xiàn)”獲取利益.這就是所謂的“制造需求”和“眼球經(jīng)濟(jì)”.Hadoop是這個階段數(shù)據(jù)管理的經(jīng)典之作.如今，“通過營造虛擬空間制造需求”的傳統(tǒng)互聯(lián)網(wǎng)商業(yè)模式已發(fā)展到極致.與此同時，移動計(jì)算和位置服務(wù)等技術(shù)的發(fā)展，則為把人們線上和線下的生活關(guān)聯(lián)起來提供了技術(shù)條件.當(dāng)前，互聯(lián)網(wǎng)商業(yè)模式的發(fā)展正在進(jìn)入一個新的階段，那就是備受關(guān)注的O2O和反向O2O模式.

當(dāng)人們的（線上）虛擬空間生活和（線下）現(xiàn)實(shí)生活密不可分時，新的挑戰(zhàn)和機(jī)遇也隨之而來.經(jīng)過三四十年的發(fā)展，數(shù)據(jù)庫已經(jīng)成為現(xiàn)代信息社會的重要支柱，并構(gòu)成信息基礎(chǔ)設(shè)施的重要組成部分.人們的日常生活行為，電信記賬、出行訂票、銀行轉(zhuǎn)賬等等，都需要后臺數(shù)據(jù)庫系統(tǒng)的支持.數(shù)據(jù)庫系統(tǒng)區(qū)別于其他軟件系統(tǒng)的本質(zhì)之一，就是支持事務(wù)處理（包括數(shù)據(jù)庫恢復(fù)和并發(fā)控制）.互聯(lián)網(wǎng)版本的并發(fā)控制和事務(wù)處理是當(dāng)前數(shù)據(jù)管理領(lǐng)域所面臨的一個挑戰(zhàn)，同時也是一個發(fā)展機(jī)遇.應(yīng)用需求的變化，硬件技術(shù)的發(fā)展，互聯(lián)網(wǎng)企業(yè)在數(shù)據(jù)管理領(lǐng)域的成功探索，改變了數(shù)據(jù)管理領(lǐng)域長期固守的一些基本假設(shè).面向互聯(lián)網(wǎng)和面向企業(yè)的數(shù)據(jù)管理逐步走向融合，數(shù)據(jù)管理技術(shù)和系統(tǒng)也隨之進(jìn)入新一輪的探索發(fā)展階段.

數(shù)據(jù)管理是信息系統(tǒng)的核心問題.信息服務(wù)的互聯(lián)網(wǎng)化使得信息系統(tǒng)在數(shù)據(jù)規(guī)模和業(yè)務(wù)規(guī)模上都面臨著巨大的挑戰(zhàn)，傳統(tǒng)的依賴于高端主機(jī)和小型機(jī)的集中式數(shù)據(jù)管理系統(tǒng)已經(jīng)成為掣肘信息系統(tǒng)擴(kuò)展服務(wù)規(guī)模的瓶頸.數(shù)據(jù)管理的技術(shù)變革已經(jīng)從互聯(lián)網(wǎng)領(lǐng)域向傳統(tǒng)的電信、交通、能源、金融等商業(yè)應(yīng)用領(lǐng)域擴(kuò)展.閃存、固態(tài)硬盤和高速網(wǎng)絡(luò)等硬件設(shè)備的應(yīng)用，對高可靠、可擴(kuò)展的分布式數(shù)據(jù)管理系統(tǒng)的技術(shù)發(fā)展提供了支撐.針對不同應(yīng)用的需求來研發(fā)適用的數(shù)據(jù)管理技術(shù)已經(jīng)成為一種可能，更成為一種趨勢.

近十年來的數(shù)據(jù)管理探索和技術(shù)發(fā)展已經(jīng)證明，使用通用的數(shù)據(jù)庫管理系統(tǒng)來應(yīng)對任何類型的數(shù)據(jù)管理需求和負(fù)載是不可行的.在谷歌發(fā)表了介紹GFS、MapReduce和BigTable的三篇論文之后，以Hadoop及其相關(guān)系統(tǒng)為代表的開源數(shù)據(jù)管理平臺如雨后春筍般出現(xiàn)，形成了互聯(lián)網(wǎng)數(shù)據(jù)處理的技術(shù)生態(tài)圈.其典型特征就是通過搭建無共享的MPP集群獲得分布并行的數(shù)據(jù)處理能力，從而達(dá)到高可用和高性能的特性.為了應(yīng)對互聯(lián)網(wǎng)規(guī)模的應(yīng)用提出的高可擴(kuò)展性和高性能的要求，Oracle、微軟、SAP、EMC等傳統(tǒng)數(shù)據(jù)庫系統(tǒng)軟件和解決方案廠商也通過自主研發(fā)或收購的方式，發(fā)布了一批具有良好擴(kuò)展能力的高性能數(shù)據(jù)庫管理系統(tǒng).

Hadoop生態(tài)圈的形成，促使人們開始反思傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)設(shè)計(jì)理念，開始針對現(xiàn)實(shí)應(yīng)用中特定的數(shù)據(jù)和負(fù)載來設(shè)計(jì)專用的數(shù)據(jù)管理系統(tǒng).進(jìn)入21世紀(jì)以來，計(jì)算機(jī)系統(tǒng)各組件（CPU，內(nèi)存，磁盤，網(wǎng)絡(luò)等）在容量和性能上有了極大的提高.內(nèi)存容量的大幅增長，使其具備了存儲、管理海量數(shù)據(jù)的能力；處理器設(shè)計(jì)也經(jīng)歷了由單核向多核再到眾核的發(fā)展，并出現(xiàn)了多核／多處理器共享緩存的架構(gòu)；大容量閃存如固態(tài)盤（SSD）、相變存儲器（PCM）等的出現(xiàn)，帶來了計(jì)算機(jī)系統(tǒng)存儲結(jié)構(gòu)的變化；這些改變促進(jìn)了數(shù)據(jù)管理系統(tǒng)構(gòu)架的變革.基于內(nèi)存計(jì)算的數(shù)據(jù)管理系統(tǒng)的研發(fā)成為學(xué)術(shù)界和工業(yè)界共同關(guān)注的一個熱點(diǎn).

華東師范大學(xué)數(shù)據(jù)科學(xué)與工程研究院成立于2013年9月，定位是建設(shè)國際性的從事大數(shù)據(jù)相關(guān)研究的協(xié)作創(chuàng)新平臺和研發(fā)基地.研究院秉承和踐行協(xié)同創(chuàng)新理念，立足中國市場的大數(shù)據(jù)應(yīng)用需求，依托華東師范大學(xué)，通過學(xué)術(shù)伙伴、企業(yè)贊助和訪問學(xué)者等機(jī)制積聚各類創(chuàng)新要素，全面提升研發(fā)能力和應(yīng)用推廣能力，致力于發(fā)展有中國特色的大數(shù)據(jù)技術(shù)和系統(tǒng).研究院現(xiàn)有的學(xué)術(shù)伙伴包括來自清華大學(xué)、中國人民大學(xué)、武漢大學(xué)、西北工業(yè)大學(xué)、中山大學(xué)、東北大學(xué)和云南大學(xué)等七所高校的數(shù)據(jù)管理研究組；企業(yè)贊助商包括SAP、交通銀行、平安科技、華為、寶信軟件、淘寶、聚勝萬合和高德導(dǎo)航等多家公司.研究院起源于成立于2007年的海量計(jì)算研究所以及成立于2012年的云計(jì)算與大數(shù)據(jù)研究中心，研究院在Web數(shù)據(jù)管理、社交媒體數(shù)據(jù)分析、不確定性數(shù)據(jù)、數(shù)據(jù)流等海量數(shù)據(jù)處理與分析方面有著長期豐富的積累.自2011年底，在SAP等企業(yè)的支持下，啟動了內(nèi)存計(jì)算數(shù)據(jù)管理系統(tǒng)的研發(fā)工作；當(dāng)前的研究興趣還包括知識圖譜、在線教育、基于位置的服務(wù)（LBS）等方面.

為了加強(qiáng)與兄弟院校研究人員以及企業(yè)合作伙伴之間的合作與交流，同時也是為了響應(yīng)國家科技部2014年項(xiàng)目指南的精神，促進(jìn)內(nèi)存計(jì)算數(shù)據(jù)管理系統(tǒng)的研發(fā)工作，研究院在2014年積極組織各種類型的學(xué)術(shù)交流活動：于2014年5月，召開了華東師范大學(xué)“數(shù)據(jù)科學(xué)與工程”論壇內(nèi)存計(jì)算數(shù)據(jù)管理主題報告會，邀請了來自多家學(xué)術(shù)伙伴和合作企業(yè)的研究人員，就各自研究工作的進(jìn)展和合作研究計(jì)劃進(jìn)行了深入的學(xué)術(shù)交流和討論，確定了在《華東師范大學(xué)學(xué)報（自然科學(xué)版）》出版“內(nèi)存計(jì)算數(shù)據(jù)管理”論文專輯的計(jì)劃.該計(jì)劃得到了《華東師范大學(xué)學(xué)報》編輯部的大力支持，并得到授權(quán)邀請國內(nèi)相關(guān)領(lǐng)域的專家學(xué)者組成了專輯特邀編委會.2014年7月，在華東師范大學(xué)2014年數(shù)據(jù)科學(xué)與工程暑期學(xué)校召開期間，專輯編委會成員齊聚上海，對收到的稿件進(jìn)行了認(rèn)真的審閱，最終確定錄用31篇稿件.全部論文分為技術(shù)綜述、系統(tǒng)介紹、關(guān)鍵技術(shù)、應(yīng)用分析和基準(zhǔn)測試五個欄目：學(xué)者和專家們分別從各自的角度，對面向新型內(nèi)存的系統(tǒng)架構(gòu)、系統(tǒng)可用性、容錯性、并行計(jì)算模型等相關(guān)領(lǐng)域的技術(shù)發(fā)展進(jìn)行了討論；對各自正在研發(fā)的內(nèi)存計(jì)算數(shù)據(jù)管理相關(guān)的系統(tǒng)進(jìn)行了全面的介紹；介紹了各自在面向內(nèi)存計(jì)算的查詢、索引、OLAP等領(lǐng)域的工作進(jìn)展；介紹了內(nèi)存計(jì)算相關(guān)系統(tǒng)和技術(shù)在不同領(lǐng)域的應(yīng)用案例；以及針對如何評測內(nèi)存計(jì)算數(shù)據(jù)管理系統(tǒng)的性能提出了自己的觀點(diǎn)和方案.

在本專輯出版之際，謹(jǐn)在此衷心感謝各位在短時間內(nèi)提供高質(zhì)量稿件的作者以及受邀擔(dān)任專輯編委的各位專家學(xué)者，也對學(xué)報編輯部的信任表示感謝.特別感謝《華東師范大學(xué)學(xué)報》的王善平老師和李藝?yán)蠋?，正是他們的及時幫助和嚴(yán)格把關(guān)才使得本專輯得以高質(zhì)量順利完成.希望本專輯能為我國從事相關(guān)領(lǐng)域研究開發(fā)和應(yīng)用的科研人員及時了解內(nèi)存計(jì)算數(shù)據(jù)管理這一新的研究方向的最新進(jìn)展提供一個窗口.