數(shù)據(jù)挖掘與應(yīng)用統(tǒng)計(jì)現(xiàn)狀及趨勢研究

李勇+張敏+劉浩+李禹鋒+朱建平

【摘 要】 國際數(shù)據(jù)挖掘與應(yīng)用統(tǒng)計(jì)研究會是我國從事數(shù)據(jù)挖掘領(lǐng)域研究最早的學(xué)術(shù)研究團(tuán)體之一。從2006年以來，為政府、高校、研究機(jī)構(gòu)以及企業(yè)界的數(shù)據(jù)挖掘?qū)＜液蛯W(xué)者提供了一個(gè)學(xué)術(shù)交流的高端平臺。2016年第八屆年會的主題是“卓越數(shù)據(jù)共享統(tǒng)計(jì)的理論及應(yīng)用研究”，此次會議會聚了國內(nèi)外眾多專家學(xué)者，共同聚焦數(shù)據(jù)挖掘和統(tǒng)計(jì)應(yīng)用的發(fā)展趨勢。

【關(guān)鍵詞】 共享數(shù)據(jù)時(shí)代； 數(shù)據(jù)挖掘； 應(yīng)用統(tǒng)計(jì)

【中圖分類號】 C81 【文獻(xiàn)標(biāo)識碼】 A 【文章編號】 1004-5937（2016）22-0024-02

第八屆國際數(shù)據(jù)挖掘與應(yīng)用統(tǒng)計(jì)研究會年會于2016年7月23—26日在油城大慶隆重召開。本屆會議由國際數(shù)據(jù)挖掘與應(yīng)用統(tǒng)計(jì)研究會主辦，東北石油大學(xué)、廈門大學(xué)數(shù)據(jù)挖掘研究中心、臺北醫(yī)學(xué)大學(xué)大數(shù)據(jù)研究中心、重慶允升科技大數(shù)據(jù)研究中心和重慶譽(yù)鋒宸數(shù)據(jù)信息技術(shù)有限公司聯(lián)合承辦。會議主題為“卓越數(shù)據(jù)共享統(tǒng)計(jì)的理論及應(yīng)用研究”。來自國內(nèi)外近百所高校、政府和企事業(yè)單位的200多位專家學(xué)者參會。

會議開幕式由東北石油大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院院長王玉學(xué)教授主持。東北石油大學(xué)副校長呂延防教授介紹了大慶市貌、學(xué)校環(huán)境和鐵人精神等，對本次會議的作用和意義進(jìn)行了高度評價(jià)。教育部統(tǒng)計(jì)學(xué)類專業(yè)教學(xué)指導(dǎo)委員會主任、廈門大學(xué)曾五一教授從統(tǒng)計(jì)學(xué)科如何適應(yīng)大數(shù)據(jù)時(shí)代的發(fā)展角度，對會議的召開提出了進(jìn)一步的期望。臺北醫(yī)學(xué)大學(xué)謝邦昌教授結(jié)合大慶石油，暢談了大數(shù)據(jù)的應(yīng)用前景。廈門大學(xué)朱建平教授從學(xué)會的起源到現(xiàn)狀，對學(xué)會未來的發(fā)展前景作了展望。

本屆大會除特邀報(bào)告外，入選論文52篇。按照論文所涉及的理論領(lǐng)域和方法應(yīng)用，將入選論文分為數(shù)據(jù)挖掘與大數(shù)據(jù)應(yīng)用、統(tǒng)計(jì)理論、統(tǒng)計(jì)方法應(yīng)用及實(shí)證分析等專題進(jìn)行了分組交流討論。主要學(xué)術(shù)觀點(diǎn)綜述如下：

一、數(shù)據(jù)挖掘與大數(shù)據(jù)研究現(xiàn)狀及未來趨勢研究

謝邦昌教授在《大數(shù)據(jù)發(fā)展現(xiàn)況與未來發(fā)展趨勢》中首先闡述了何謂BIG DATA。當(dāng)你連上臉書按贊打卡、上傳照片到網(wǎng)絡(luò)相簿與朋友分享、上班收發(fā)e-mail、用悠游卡買杯咖啡、通過ATM領(lǐng)錢、走進(jìn)大賣場刷卡購物甚至是進(jìn)家門開燈，都正在源源不斷地創(chuàng)造“海量數(shù)據(jù)”。這正是云端時(shí)代的新金脈。其次是BIG DATA的理論及其應(yīng)用。最重要的是如何對大數(shù)據(jù)進(jìn)行分析，其基本方面如下：（1）數(shù)據(jù)可視化分析。決策者需要的不是數(shù)據(jù)本身及分析后的數(shù)值，而是龐大數(shù)據(jù)經(jīng)分析之后的結(jié)果、趨勢或現(xiàn)象，利用可視化效果易于被接受。（2）Data Mining算法。這是大數(shù)據(jù)分析的理論核心，而深入挖掘和快速處理是兩大重要課題。（3）預(yù)測性分析。如何找出特性、科學(xué)建模、預(yù)測未來。（4）語義引擎。非結(jié)構(gòu)化數(shù)據(jù)的多元化給數(shù)據(jù)分析帶來新的挑戰(zhàn)，要提高語義引擎設(shè)計(jì)的智能化水平。（5）數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理。高質(zhì)量的數(shù)據(jù)和有效的數(shù)據(jù)管理可保證分析結(jié)果的真實(shí)和有價(jià)值。最后，真正制約或者成為大數(shù)據(jù)發(fā)展和應(yīng)用的三個(gè)瓶頸：數(shù)據(jù)收集的合法性、產(chǎn)業(yè)鏈各個(gè)環(huán)節(jié)企業(yè)的均衡、大數(shù)據(jù)有效解讀。

國家統(tǒng)計(jì)局潘璠博士在《我看當(dāng)前對大數(shù)據(jù)的一些非議——兼議大數(shù)據(jù)應(yīng)用面臨的問題》中指出近幾年中國的大數(shù)據(jù)應(yīng)用取得了一定的進(jìn)展，但面臨的諸多障礙依然存在，且不斷出現(xiàn)一些對大數(shù)據(jù)的非議之聲。這些非議有的有一定道理，有的則失之偏頗。潘璠博士針對這些非議指出大數(shù)據(jù)是科學(xué)技術(shù)及社會生產(chǎn)力發(fā)展到特定階段的必然。盡管其發(fā)展進(jìn)程中確實(shí)出現(xiàn)了失密、造假等嚴(yán)重問題，但這正說明必須正視大數(shù)據(jù)的撲面而來，并盡快制定各種應(yīng)對措施，抓住機(jī)遇，保存價(jià)值，著力解決出現(xiàn)的各種問題。最后，提出完善法律法規(guī)、明確牽頭單位、統(tǒng)籌各部門和規(guī)范標(biāo)準(zhǔn)等措施。

重慶工商大學(xué)李勇在《網(wǎng)絡(luò)輿情數(shù)據(jù)挖掘方法及其在意識形態(tài)傳播新特點(diǎn)中的應(yīng)用研究》中系統(tǒng)研究了當(dāng)前網(wǎng)絡(luò)輿情數(shù)據(jù)挖掘的主要方法，并將這些方法應(yīng)用于網(wǎng)上意識形態(tài)傳播新特點(diǎn)的研究中。對互聯(lián)網(wǎng)出現(xiàn)前后意識形態(tài)傳播呈現(xiàn)的不同特點(diǎn)進(jìn)行了對比分析，提煉出意識形態(tài)傳播在當(dāng)前DT時(shí)代的本質(zhì)特征，結(jié)合主流意識形態(tài)提出相應(yīng)的有效傳播方式和防范措施。

東北石油大學(xué)辛華博士在《基于密度分布的聚類算法研究》中通過密度聚類方法DBSCAN二次聚類提高了聚類精度。湖北經(jīng)濟(jì)學(xué)院陳戰(zhàn)波、陶前功、黃小舟和王磊的《基于阿里云音樂平臺大數(shù)據(jù)的歌手流行趨勢預(yù)測及推薦研究》，山西財(cái)經(jīng)大學(xué)舒居安、趙麗琴、劉逸萌的《基于網(wǎng)絡(luò)輿情的居民購買力傾向指數(shù)構(gòu)造研究》和重慶工商大學(xué)李禹鋒的《基于網(wǎng)絡(luò)團(tuán)購的重慶火鍋消費(fèi)行為分析》等進(jìn)行了大數(shù)據(jù)的應(yīng)用研究。光環(huán)國際楊恩博的《大數(shù)據(jù)人才發(fā)展與培養(yǎng)》、廣州泰迪智能科技趙云龍的《大數(shù)據(jù)形勢下數(shù)據(jù)科學(xué)人才培養(yǎng)初探》和劉彬的《大數(shù)據(jù)雙創(chuàng)實(shí)踐探索與服務(wù)體系》，從業(yè)界不同角度探索了大數(shù)據(jù)人才培養(yǎng)。

二、統(tǒng)計(jì)基本理論及應(yīng)用研究

臺灣淡江大學(xué)蔡宗儒教授在《Accelerated Degradation Tests》中，回顧了可靠度分析近期的發(fā)展，指出隨著制造技術(shù)的進(jìn)步，產(chǎn)品可靠度大幅提升，進(jìn)而提升了對產(chǎn)品可靠度分析的難度。而傳統(tǒng)設(shè)限方法和近代加速壽命測試法具有一定局限性，通過研究加速退化測試方法，指出如何針對加速退化數(shù)據(jù)進(jìn)行統(tǒng)計(jì)推斷、評價(jià)其可靠度，如何在成本的考察下對加速退化測試實(shí)驗(yàn)進(jìn)行設(shè)計(jì)，以利后續(xù)的測試實(shí)驗(yàn)參考。

北京大學(xué)房祥忠教授在《EM算法及其在置信推斷中的作用》中指出醫(yī)學(xué)或產(chǎn)品試驗(yàn)費(fèi)用昂貴等小樣本情況，其精確置信推斷尤為重要；Buehler置信限在多維參數(shù)或刪失數(shù)據(jù)時(shí)，難以計(jì)算，并將EM算法用于求精確置信限，給出了可靠性領(lǐng)域中的實(shí)證。

重慶工商大學(xué)李勇在《灰色統(tǒng)計(jì)基本理論及其應(yīng)用》中系統(tǒng)研究了灰數(shù)的統(tǒng)計(jì)學(xué)基本理論和方法。他從隨機(jī)樣本產(chǎn)生灰色估計(jì)量和直接從灰色數(shù)據(jù)開始，構(gòu)建了一套從數(shù)理統(tǒng)計(jì)逐步過渡到主要以灰色系統(tǒng)為研究對象的灰色統(tǒng)計(jì)方法，如灰數(shù)的區(qū)間估計(jì)、灰數(shù)的假設(shè)檢驗(yàn)、灰數(shù)的相關(guān)分析和回歸分析等，并進(jìn)行了實(shí)例分析。

哈爾濱工業(yè)大學(xué)張孟琦、田波平在《空間模型參數(shù)擬極大似然估計(jì)量的漸近性和實(shí)證》中提出了雙權(quán)重矩陣空間回歸模型參數(shù)的極大似然估計(jì)量，包括對數(shù)似然函數(shù)、集中似然函數(shù)和參數(shù)估計(jì)；證明了相合性和漸進(jìn)分布性質(zhì)，并實(shí)例進(jìn)行了空間自相關(guān)檢驗(yàn)和空間計(jì)量模型分析。

天津財(cái)經(jīng)大學(xué)楊貴軍、于洋、孟杰的《基于AIC的粗糙集擇優(yōu)方法》和楊貴軍、孫玲莉、董世杰的《三種線性回歸多重插補(bǔ)法的模擬研究對比分析》分別從粗糙集擇優(yōu)和回歸插補(bǔ)進(jìn)行了研究。云南財(cái)經(jīng)大學(xué)張敏博士在《基于高層次結(jié)構(gòu)的多水平發(fā)展模型的統(tǒng)計(jì)建模及應(yīng)用》中研究了擬合高層次嵌套數(shù)據(jù)的多水平發(fā)展建模問題。集美大學(xué)紀(jì)崑的《模糊數(shù)據(jù)Jonckheere-Terpstra檢驗(yàn)法及應(yīng)用》探討了模糊數(shù)據(jù)檢驗(yàn)。廣東財(cái)經(jīng)大學(xué)的劉照德、林海明在《因子分析五個(gè)爭議的解答》中定量分析了因子分析的爭議問題。湖南大學(xué)周四軍、王佳星、羅丹在《基于門限面板模型的我國能源利用效率研究》中，基于柯布—道格拉斯生產(chǎn)函數(shù)理論構(gòu)建了我國能源利用效率門限面板模型，并進(jìn)行了實(shí)證分析。

三、統(tǒng)計(jì)方法及實(shí)證研究

天津財(cái)經(jīng)大學(xué)楊貴軍、孟杰、鄒文慧在《基于模型平均的中國總和生育率估計(jì)》中指出目前國內(nèi)學(xué)者對中國總和生育率的估計(jì)尚未形成一致性的結(jié)論，缺少高質(zhì)量的數(shù)據(jù)源以及不完善的估計(jì)方法是影響總和生育率估計(jì)的主要問題；提出使用社會和經(jīng)濟(jì)等“人口系統(tǒng)”外部數(shù)據(jù)，引入當(dāng)前統(tǒng)計(jì)學(xué)和計(jì)量經(jīng)濟(jì)學(xué)前沿的模型平均方法對中國總和生育率進(jìn)行估計(jì)。

華僑大學(xué)項(xiàng)后軍和浙江財(cái)經(jīng)大學(xué)何康在《自貿(mào)區(qū)的影響與資本流動——以上海為例的“自然實(shí)驗(yàn)”估計(jì)》中，從自然實(shí)驗(yàn)角度考察了樣本期內(nèi)上海自貿(mào)區(qū)的設(shè)立對上海地區(qū)資本流動的影響。得出：基于雙重差分模型估計(jì)的自貿(mào)區(qū)對上海資本流動的影響顯著；基于改進(jìn)后合成控制法得到的“合成上海”對上海設(shè)立自貿(mào)區(qū)之前的模擬程度更高；基于安慰劑檢驗(yàn)，證實(shí)了自貿(mào)區(qū)政策的有效性。

湖南大學(xué)晏艷陽、鄧嘉宜、文丹艷在《鄰里效應(yīng)與居民政治信任——基于中國家庭追蹤調(diào)查（CFPS）的證據(jù)》中，指出近年來居民對政府的信任危機(jī)頻發(fā)，矛盾不斷出現(xiàn)，嚴(yán)重制約著政府的行政效率；基于中國家庭追蹤調(diào)查（CFPS）截面數(shù)據(jù)，建立回歸模型進(jìn)行實(shí)證分析，證實(shí)了其他信息獲取渠道與社會互動之間具有相互替代的關(guān)系，有效解決了關(guān)聯(lián)效應(yīng)和反射性問題對鄰里效應(yīng)估計(jì)帶來的影響。

中國南方電網(wǎng)科學(xué)研究院冷媛、傅薔、陳政和廈門大學(xué)范新妍在《基于MCP，Group MPC的先行、一致、滯后指標(biāo)篩選》中，提出了基于MCP懲罰法的單一指標(biāo)先行、一致、滯后性的判定方法和基于Group MCP的多指標(biāo)系統(tǒng)下各個(gè)指標(biāo)的先行、一致、滯后性的判定方法。冷媛、傅薔和廈門大學(xué)孫俊歌、梁振杰在《經(jīng)濟(jì)景氣指數(shù)研究比較及思考》中梳理了國內(nèi)外景氣指數(shù)的研究狀況。遼寧大學(xué)馬樹才、宋琪在《中國人口年齡結(jié)構(gòu)變動對資本投入及經(jīng)濟(jì)增長影響研究》中通過構(gòu)建數(shù)理模型，就人口年齡結(jié)構(gòu)對資本投入及經(jīng)濟(jì)增長的影響進(jìn)行研究，得出充足的勞動供給會提高教育人力資本和物質(zhì)資本的使用效率，促進(jìn)經(jīng)濟(jì)增長，政府公共教育支出增加會提高教育人力資本對經(jīng)濟(jì)增長的貢獻(xiàn)；并對面板數(shù)據(jù)進(jìn)行實(shí)證分析。廈門大學(xué)劉云霞在《我國高技術(shù)產(chǎn)業(yè)創(chuàng)新績效影響因素動態(tài)比較研究——基于狀態(tài)空間和門檻模型相結(jié)合的研究》中確定了反映創(chuàng)新績效的指標(biāo)以及影響創(chuàng)新績效的因素，再將狀態(tài)空間模型和門口模型進(jìn)行有機(jī)結(jié)合，找出了各影響因素對創(chuàng)新績效的動態(tài)影響軌跡以及軌跡改變的關(guān)鍵點(diǎn)，并提出對策建議。

南京財(cái)經(jīng)大學(xué)李昌峰、何紅、李珂在《產(chǎn)業(yè)結(jié)構(gòu)對跨越“中等收入陷阱”的影響研究》中，構(gòu)建了基于中等收入陷阱的固定效應(yīng)變截距定量分析模型并進(jìn)行實(shí)證研究。吉林財(cái)經(jīng)大學(xué)燕苗霞在《中國各地區(qū)城市基礎(chǔ)設(shè)施水平綜合評價(jià)研究》中，利用因子分析和聚類分析法構(gòu)建我國城市基礎(chǔ)設(shè)施水平綜合評價(jià)模型。紅豆集團(tuán)魏昊和集美大學(xué)莊赟在《交通運(yùn)輸設(shè)備制造業(yè)服務(wù)化及影響因素研究》中，構(gòu)建了我國交通運(yùn)輸設(shè)備制造業(yè)服務(wù)化影響因素指標(biāo)體系，并基于Cobb-Douglas生產(chǎn)函數(shù)模型，對服務(wù)化影響因素發(fā)揮效用的方式及強(qiáng)度進(jìn)行了實(shí)證檢驗(yàn)。對外經(jīng)濟(jì)貿(mào)易大學(xué)凌志明、王景樂在《基于Copula模型變點(diǎn)檢測的投資者情緒傳染分析》中，建立了主成分分析的綜合投資者情緒指標(biāo)，構(gòu)建了基于非參數(shù)的最佳Copula函數(shù)模型并進(jìn)行了實(shí)證分析。福建農(nóng)林大學(xué)闕翔、吳沖龍，劉金福在《基于地質(zhì)統(tǒng)計(jì)學(xué)法的巖石含Pb空間分布特征預(yù)測分析》中，基于區(qū)域化變量理論和變異函數(shù)，探討地質(zhì)統(tǒng)計(jì)學(xué)的估值、局部不確定性預(yù)測、隨機(jī)模擬和多點(diǎn)地質(zhì)統(tǒng)計(jì)等方法。山西財(cái)經(jīng)大學(xué)劉逸萌、趙麗琴、舒居安在《BP神經(jīng)網(wǎng)絡(luò)在太原市PM2.5濃度預(yù)測中的應(yīng)用》中，構(gòu)建了預(yù)測太原市PM2.5濃度的BP神經(jīng)網(wǎng)絡(luò)模型。河北經(jīng)貿(mào)大學(xué)劉金玲在《宏觀政策對房地產(chǎn)價(jià)格的動態(tài)研究——基于VAR模型的實(shí)證》中，構(gòu)建了VAR模型分析土地交易價(jià)格、貨幣供應(yīng)量與利率變化沖擊對中國房地產(chǎn)價(jià)格的動態(tài)影響。

綜上所述，每年一屆的“國際數(shù)據(jù)挖掘與應(yīng)用統(tǒng)計(jì)研究會”現(xiàn)已成為我國數(shù)據(jù)挖掘與應(yīng)用統(tǒng)計(jì)領(lǐng)域高水平的學(xué)術(shù)會議之一。本屆會議較全面地總結(jié)和交流了我國數(shù)據(jù)挖掘與應(yīng)用統(tǒng)計(jì)領(lǐng)域的最新研究進(jìn)展和成果，對進(jìn)一步促進(jìn)相關(guān)領(lǐng)域的發(fā)展起到了積極作用。