● 文| 李德仁馬軍邵振峰
1. 武漢大學(xué)測繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室2. 地球空間信息技術(shù)協(xié)同創(chuàng)新中心
論時空大數(shù)據(jù)及其應(yīng)用
● 文| 李德仁1,2馬軍1,2邵振峰1,2
1. 武漢大學(xué)測繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室2. 地球空間信息技術(shù)協(xié)同創(chuàng)新中心
時空大數(shù)據(jù)與非空間數(shù)據(jù)相比,具有空間性、時間性、多維性、海量性、復(fù)雜性等特點(diǎn),其云計算方法和挖掘技術(shù)是目前國際遙感科學(xué)技術(shù)的前沿領(lǐng)域之一。 本文圍繞遙感大數(shù)據(jù)的特點(diǎn)、時空大數(shù)據(jù)云計算和遙感大數(shù)據(jù)挖掘等關(guān)鍵問題,深入探討了時空大數(shù)據(jù)的研究進(jìn)展及應(yīng)用,并展望了時空大數(shù)據(jù)的發(fā)展前景。
時空大數(shù)據(jù) 云計算 遙感云 位置云 遙感大數(shù)據(jù)挖掘
時空大數(shù)據(jù)是最重要的大數(shù)據(jù)之一,其表達(dá)與組織是數(shù)據(jù)內(nèi)容準(zhǔn)確度量和價值提煉的基礎(chǔ)。傳統(tǒng)數(shù)據(jù)局部表達(dá)方式的缺陷是難以應(yīng)對數(shù)據(jù)規(guī)??焖僭鲩L,因此大數(shù)據(jù)的全局表達(dá)能力是其最本質(zhì)的特性。大數(shù)據(jù)時代數(shù)據(jù)內(nèi)部復(fù)雜關(guān)系是數(shù)據(jù)核心價值所在,時空大數(shù)據(jù)的價值在于時間、空間、對象之間的關(guān)聯(lián)關(guān)系。然而,時空大數(shù)據(jù)之間的復(fù)雜關(guān)系和動態(tài)演化使得關(guān)系的表達(dá)和計算變得異常困難。時空大數(shù)據(jù)的服務(wù)價值在于其背后隱含規(guī)律的發(fā)現(xiàn)和利用,時空大數(shù)據(jù)不同于局部數(shù)據(jù)的獨(dú)特價值在于其背后隱含著對應(yīng)的大尺度事件信息,對其的理解因時空跨度大和對象、行為復(fù)雜變得尤為困難。當(dāng)前時空大數(shù)據(jù)已成為本領(lǐng)域?qū)W術(shù)前沿,主要研究和探索數(shù)據(jù)與現(xiàn)實(shí)中對象、行為、事件間的對應(yīng)規(guī)律,針對時空大數(shù)據(jù)高效表達(dá)與組織問題,探索時空全局冗余產(chǎn)生的內(nèi)在機(jī)理,突破數(shù)據(jù)壓縮和長期保存的瓶頸,針對時空大數(shù)據(jù)多維關(guān)聯(lián)與協(xié)同計算問題,構(gòu)造對象相似和目標(biāo)空間約束協(xié)同計算模型,克服虛警數(shù)據(jù)規(guī)模快速增長的影響,針對時空大數(shù)據(jù)模式發(fā)現(xiàn)與價值提煉問題,揭示大尺度事件的演化推理機(jī)理,突破大尺度安全事件理解的局限。例如,當(dāng)前正在建設(shè)的智慧城市是在數(shù)字城市建立的基礎(chǔ)框架上,通過物聯(lián)網(wǎng)將現(xiàn)實(shí)的城市與數(shù)字城市進(jìn)行有效融合,自動和實(shí)時地感知現(xiàn)實(shí)城市中人和物的各種狀態(tài)和變化,基于時空大數(shù)據(jù)挖掘技術(shù)由云計算中心處理其中海量和復(fù)雜的計算與控制,為經(jīng)濟(jì)發(fā)展、城市管理和公眾生活提供各種智能化的服務(wù)。也就是說,一個智慧的城市,需要運(yùn)用物聯(lián)網(wǎng)、云計算、時空大數(shù)據(jù)集成等新一代信息技術(shù),來促進(jìn)城市規(guī)劃、建設(shè)、管理和服務(wù)智慧化的新理念和新模式。
“大數(shù)據(jù)”一詞首先出現(xiàn)在2008年9月《Nature》雜志發(fā)表的一篇名為“Big Data: Wikiomics”的文章上(Mitch,2008)。2011年2月,《Science》雜志也出版??癉ealing with Data”。2012年3月,美國投資2億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃”,旨在提高和改進(jìn)人們從大數(shù)據(jù)中獲取知識的能力。面對大數(shù)據(jù)時代的挑戰(zhàn)與機(jī)遇,國際上的專家學(xué)者針對大數(shù)據(jù)處理開展了一系列的探索和研究。2012年在印度新德里舉行的首屆大數(shù)據(jù)分析國際會議上,與會代表達(dá)成共識,認(rèn)為大數(shù)據(jù)的表達(dá)、檢索、挖掘是大數(shù)據(jù)處理面臨的三大挑戰(zhàn)。目前,對“大數(shù)據(jù)”的研究已經(jīng)逐漸發(fā)展成為信息科學(xué)的主要研究趨勢(Craglia 等,2012;Pareek和Cupta,2012;Poja和Anand,2013)。然而,迄今為止,“大數(shù)據(jù)科學(xué)”尚未有統(tǒng)一定義,但是科學(xué)家普遍認(rèn)為它是以海量的多元異構(gòu)數(shù)據(jù)為主要研究對象,以大數(shù)據(jù)的存儲、處理和理解方法為主要研究內(nèi)容,以新興的計算技術(shù)為主要研究工具,以擴(kuò)展人類對數(shù)據(jù)的利用能力為主要目標(biāo)的一門新興的綜合性學(xué)科(Craglia等,2012)。它主要針對當(dāng)前海量(volume)、多元(variety)和高速更新(velocity)數(shù)據(jù)的處理問題,重點(diǎn)研究如何將當(dāng)前高速發(fā)展的計算技術(shù)用于數(shù)據(jù)處理/挖掘、有效地利用數(shù)據(jù)、從海量多元的數(shù)據(jù)本身去發(fā)現(xiàn)新的知識。
在智慧城市的建設(shè)和應(yīng)用中,無所不在的傳感器網(wǎng)將產(chǎn)生反映自然和人類活動的百萬兆(TB)級到十億兆(PB)級和萬億兆(EB)級數(shù)據(jù)。越來越多的數(shù)據(jù)使世界進(jìn)入真正的大數(shù)據(jù)時代,其中大量的與時空位置有關(guān)的數(shù)據(jù)稱為時空大數(shù)據(jù)。
時空大數(shù)據(jù)由于其所在空間的空間實(shí)體和空間現(xiàn)象在時間、空間和屬性三個方面的固有特征,呈現(xiàn)出多維、語義、時空動態(tài)關(guān)聯(lián)的復(fù)雜性,因此,需要研究時空大數(shù)據(jù)多維關(guān)聯(lián)描述的形式化表達(dá)、關(guān)聯(lián)關(guān)系動態(tài)建模與多尺度關(guān)聯(lián)分析方法,時空大數(shù)據(jù)協(xié)同計算與重構(gòu)提供快速、準(zhǔn)確的面向任務(wù)的關(guān)聯(lián)約束。具體特點(diǎn)包括:
1)時空大數(shù)據(jù)包含對象、過程、事件在空間、時間、語義等方面的關(guān)聯(lián)關(guān)系。
2)時空大數(shù)據(jù)具有時變、空變、動態(tài)、多維演化特點(diǎn),這些基于對象、過程、事件的時空變化是可度量的,其變化過程可作為事件來描述,通過對象、過程與事件的關(guān)聯(lián)映射,建立時空大數(shù)據(jù)的動態(tài)關(guān)聯(lián)模型。
3)時空大數(shù)據(jù)具有尺度特性,可建立時空大數(shù)據(jù)時空演化關(guān)聯(lián)關(guān)系的尺度選擇機(jī)制;針對不同尺度的時空大數(shù)據(jù)的時空演化特點(diǎn),可實(shí)現(xiàn)對象、過程、事件關(guān)聯(lián)關(guān)系的尺度轉(zhuǎn)換與重建,進(jìn)而實(shí)現(xiàn)時空大數(shù)據(jù)的多尺度關(guān)聯(lián)分析。
4)時空大數(shù)據(jù)時空變化具有多類型、多尺度、多維、動態(tài)關(guān)聯(lián)特點(diǎn),對關(guān)聯(lián)約束可進(jìn)行面向任務(wù)的分類分級,建立面向任務(wù)的關(guān)聯(lián)約束選擇、重構(gòu)與更新機(jī)制,根據(jù)關(guān)聯(lián)約束之間的相關(guān)性,可建立面向任務(wù)的關(guān)聯(lián)約束啟發(fā)式生成方法。
5)時空大數(shù)據(jù)具有時間和空間維度上的特點(diǎn),實(shí)時地抽取階段行為特征,以及參考時空關(guān)聯(lián)約束建立態(tài)勢模型,實(shí)時地覺察、理解和預(yù)測導(dǎo)致某特定階段行為發(fā)生的態(tài)勢??舍槍r空大數(shù)據(jù)事件理解與預(yù)測問題,研究空間大數(shù)據(jù)事件行為的本體建模和規(guī)則庫構(gòu)建,為異常事件的模式挖掘和主動預(yù)警提供知識保障,可針對相似的行為特征,時空約束和事件級別來挖掘事件模式并構(gòu)建大尺度事件及其應(yīng)對方案的規(guī)則庫。
時空大數(shù)據(jù)經(jīng)過存儲、處理、查詢和分析后,才可更好地用于各類應(yīng)用從而提供智慧服務(wù),因此對大數(shù)據(jù)存儲、處理、查詢和分析的實(shí)時性要求越來越高。針對這一處理需求,當(dāng)前都是基于云計算技術(shù),建立從基礎(chǔ)設(shè)施、數(shù)據(jù)、平臺到服務(wù)的一體化時空信息云平臺,將各類應(yīng)用中的時空大數(shù)據(jù)進(jìn)行有效管理,并按照實(shí)際需求進(jìn)行處理、存儲、管理并提供相應(yīng)服務(wù),滿足各類智慧應(yīng)用。遙感云和位置云是基于云計算技術(shù)的兩類典型時空大數(shù)據(jù)服務(wù)。
1.遙感云
遙感云是將海量的各類遙感數(shù)據(jù)和遙感平臺提供的復(fù)雜的遙感處理與分析功能放在遠(yuǎn)程的云計算平臺中,把遙感數(shù)據(jù)發(fā)布為一類數(shù)據(jù)服務(wù),把各類遙感圖像處理功能發(fā)布為功能服務(wù),把遙感分析需要用到的各類模型發(fā)布為模型服務(wù),把一些經(jīng)過實(shí)踐應(yīng)用后形成的固化服務(wù)流程發(fā)布為服務(wù)鏈,利用云計算平臺彈性的計算能力,用戶無需搭建專用環(huán)境,只需要根據(jù)需求選擇服務(wù)后即可獲取最終結(jié)果。武漢大學(xué)測繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室自主研發(fā)的OpenRS2Cloud就是一個典型的基于云計算技術(shù)的提供遙感云服務(wù)的空間信息處理平臺。OpenRS2Cloud采用可伸縮、開放式的平臺體系結(jié)構(gòu)設(shè)計,在網(wǎng)絡(luò)環(huán)境下,能夠?qū)?shù)據(jù)資源、計算資源進(jìn)行動態(tài)監(jiān)控與任務(wù)分配(李德仁等,2010)。國內(nèi)外算法研究人員和數(shù)據(jù)商將算法和數(shù)據(jù)上傳到平臺即可享受相應(yīng)服務(wù),用戶無需搭建專用環(huán)境,只需要選擇數(shù)據(jù)和算法后即可獲取最終結(jié)果。相關(guān)的說明以及源代碼可以通過以下網(wǎng)址獲?。篽ttp://www.openrs.org/wiki/。
圖1 遙感云實(shí)現(xiàn)的洪水淹沒范圍分析示例
圖1是利用該平臺上的智慧城市遙感云服務(wù)實(shí)現(xiàn)流域洪水淹沒范圍分析的示例,用戶只需要提出關(guān)注洪水淹沒范圍的請求,提供該服務(wù)的遙感云就會自動尋找該區(qū)域淹沒前后影像、對影像進(jìn)行配準(zhǔn)等預(yù)處理、執(zhí)行變化檢測并把變化結(jié)果返回給用戶。整個過程中的數(shù)據(jù)服務(wù)、功能服務(wù)都是通過遙感云來完成的,圖中藍(lán)色部分為湖泊正常水位范圍,綠色部分為洪水淹沒范圍。
借助大數(shù)據(jù)科學(xué)的相關(guān)技術(shù),開展對海量多元異構(gòu)遙感數(shù)據(jù)的研究,不僅可以豐富“大數(shù)據(jù)科學(xué)”的內(nèi)涵,而且將有效地破解遙感對地觀測所面臨的“大數(shù)據(jù),小信息”的困局,具有十分重要的科學(xué)價值和現(xiàn)實(shí)意義。
2.位置云
“位置云”是指基于3S技術(shù)、IT技術(shù)、網(wǎng)絡(luò)與通信技術(shù)等,提供與位置相關(guān)的各類服務(wù)或需求解決方案。一類典型的位置云服務(wù)應(yīng)用就是將手機(jī)接收到的導(dǎo)航衛(wèi)星信號與其他定位相關(guān)的傳感器信息傳輸?shù)皆朴嬎阒行?,通過實(shí)時解算,實(shí)現(xiàn)室內(nèi)外高精度的手機(jī)連續(xù)位置定位和實(shí)時導(dǎo)航。北斗位置云平臺的應(yīng)用領(lǐng)域見圖2,而地理國情監(jiān)測員、災(zāi)情報告員、森林調(diào)查員、地質(zhì)勘測隊(duì)員、土地調(diào)查員、城管員、公安交警人員等國家公務(wù)員和車聯(lián)網(wǎng)用戶是位置云服務(wù)的主要用戶。
圖2 北斗位置云公共服務(wù)平臺
2012年12月27日,北斗系統(tǒng)對中國及周邊地區(qū)正式提供運(yùn)營服務(wù),定位精度達(dá)到水平方向10m、垂直方向10m,測速精度大于 0.2 m/s。2013年11月,中國在泰國春武里府建成首個北斗衛(wèi)星海外連續(xù)運(yùn)行衛(wèi)星定位服務(wù)綜合系統(tǒng)(CORS)示范站。北斗在泰國等低緯度東盟地區(qū)的精度與性能優(yōu)于GPS,可用于智慧交通中車輛控制和智能駕駛,三站測試結(jié)果見表1。
表1 北斗在泰國三站測試結(jié)果
基于數(shù)據(jù)表達(dá)、信息組織與知識發(fā)現(xiàn)等不同層次的數(shù)據(jù)挖掘方法,實(shí)現(xiàn)時空大數(shù)據(jù)挖掘,是時空大數(shù)據(jù)的優(yōu)勢。例如,可基于遙感大數(shù)據(jù)實(shí)現(xiàn)夜光遙感影像支持下的全球社會經(jīng)濟(jì)動態(tài)監(jiān)測。傳統(tǒng)方式調(diào)查全球社會經(jīng)濟(jì)數(shù)據(jù)主要依賴于統(tǒng)計部門、國際組織以及各國媒體。一般而言,傳統(tǒng)調(diào)查方式獲得全球社會經(jīng)濟(jì)數(shù)據(jù)的時效性較差。特別對于統(tǒng)計力量薄弱或政局不穩(wěn)定的國家而言,獲取社會經(jīng)濟(jì)信息較為困難并且可信度較低。夜間燈光(夜光)遙感為監(jiān)測全球社會經(jīng)濟(jì)動態(tài)提供了一條新的途徑。大量的統(tǒng)計分析表明,世界各國生產(chǎn)總值的空間分布與夜間燈光存在較強(qiáng)的相關(guān)性[1-2]。
對于GDP估算而言,由于夜光能夠客觀的反映區(qū)域的繁榮程度,因此能夠克服統(tǒng)計數(shù)據(jù)的誤差以及空間信息量不足等問題。基于計量經(jīng)濟(jì)學(xué)模型,結(jié)合GDP統(tǒng)計數(shù)據(jù)和夜光影像,可以修正不同區(qū)域GDP以及GDP增長率[3-4]。例如,國際社會對緬甸1992-2002年的GDP年均增長率的估算值為8.6%,而通過夜光數(shù)據(jù)修正后的年均增長率為4.3%[3]。此外,GDP的統(tǒng)計單元一般為行政區(qū)劃,因此缺乏較為準(zhǔn)確的空間信息。通過夜光影像、人口密度、土地覆蓋等數(shù)據(jù),建立GDP空間分配模型,從而獲得全球GDP格網(wǎng)圖[5]。夜光的長期變化能夠較好的反映社會經(jīng)濟(jì)的長期走勢,而夜光的短期劇烈變化能夠反映區(qū)域武裝沖突以及對應(yīng)的人道主義災(zāi)難。通過對夜光影像的長時間序列分析,發(fā)現(xiàn)夜光影像能夠較好的評估不同區(qū)域受到武裝沖突的影響程度[6-8]。加州大學(xué)洛杉磯分校的Agnew等人通過對比不同時期伊拉克的夜光影像,發(fā)現(xiàn)了駐伊美軍在2007年開展的軍事行動未能扭轉(zhuǎn)巴格達(dá)的安全局勢,質(zhì)疑了小布什政府的伊拉克政策[6]??屏_拉多州立大學(xué)的Witmer等人利用了夜光影像對車臣戰(zhàn)爭和格魯吉亞的武裝沖突進(jìn)行了評估,發(fā)現(xiàn)夜光影像能夠較好的反映居民遷徙和油井燃燒的現(xiàn)象,從而證明了夜光影像對于評估區(qū)域武裝沖突的可行性[7]。武漢大學(xué)李熙等人對全球169個國家的1992-2010年的夜光影像進(jìn)行時空數(shù)據(jù)挖掘,發(fā)現(xiàn)了戰(zhàn)爭爆發(fā)往往導(dǎo)致夜光減少,夜光的波動較大的國家發(fā)生戰(zhàn)爭的幾率較高等現(xiàn)象[8]。
2011-2014年,敘利亞內(nèi)戰(zhàn)已導(dǎo)致至少10萬人喪生。然而,絕大部分關(guān)于敘利亞的報道無法反映敘利亞內(nèi)戰(zhàn)的全貌,而夜光遙感影像為評估敘利亞局勢提供了一條途徑。圖3表明,敘利亞內(nèi)戰(zhàn)已導(dǎo)致敘利亞全境夜光顯著降低。
另外,基于全球中低高分辨率遙感數(shù)據(jù),包括MODIS、HJ-1A/B、Landsat TM/OLI、GF-1、SPOT、RapidEye等,綜合多源遙感影像中不同作物在影像上呈現(xiàn)不同的光譜、紋理特征,以及作物具有的季相節(jié)律性和物候變化的規(guī)律性等特點(diǎn),進(jìn)行作物分類識別和產(chǎn)量估算。圖4是利用遙感影像監(jiān)測農(nóng)作物長勢的示例,圖5是利用遙感大數(shù)據(jù)實(shí)現(xiàn)東南亞棕櫚油月產(chǎn)量估計的示例。利用遙感大數(shù)據(jù)實(shí)現(xiàn)農(nóng)業(yè)遙感監(jiān)測,基于遙感大數(shù)據(jù)提取農(nóng)作物信息作為農(nóng)作物長勢監(jiān)測或產(chǎn)量估算的模型參數(shù),進(jìn)一步進(jìn)行農(nóng)作物產(chǎn)量統(tǒng)計分析。禾訊科技就是目前國內(nèi)最領(lǐng)先的衛(wèi)星大數(shù)據(jù)應(yīng)用企業(yè),其基于遙感大數(shù)據(jù)得到的最有覆蓋度的農(nóng)產(chǎn)品基本面信息已經(jīng)獲得金融市場發(fā)布機(jī)構(gòu)的認(rèn)可。遙感大數(shù)據(jù)實(shí)時獲取的第一手?jǐn)?shù)據(jù)資料,還將在能源、國際貿(mào)易、保險、漁業(yè)、城市動態(tài)監(jiān)測、礦產(chǎn)勘探等領(lǐng)域中提供重要的信息。
圖3 敘利亞及周邊夜光遙感數(shù)據(jù)對比圖
圖4 全球作物長勢監(jiān)測
圖5 東南亞棕櫚油月產(chǎn)量估計
大數(shù)據(jù)研究蘊(yùn)含著巨大的社會、經(jīng)濟(jì)、科研價值,已引起各國的高度重視。近幾年,《Nature》和《Science》等國際頂級學(xué)術(shù)刊物相繼出版??接憣Υ髷?shù)據(jù)的研究。大數(shù)據(jù)也已經(jīng)成為科技界和企業(yè)界關(guān)注的熱點(diǎn)。時空大數(shù)據(jù)一方面具有一般大數(shù)據(jù)的大規(guī)模、多樣性、快變性和價值性的特點(diǎn),另一方面還具有與對象行為對應(yīng)的多源異構(gòu)和復(fù)雜性、與事件對應(yīng)的時/空/尺度/對象動態(tài)演化、對事件的感知和預(yù)測特性。目前來看,國際上的時空大數(shù)據(jù)科學(xué)的研究仍處于起步階段,需要面向具體應(yīng)用開展深入研究。例如在國防領(lǐng)域,整體態(tài)勢感知是現(xiàn)代化國防的關(guān)鍵,具有整體獲取特性的遙感大數(shù)據(jù)在國防上意義重大;在氣象領(lǐng)域,空間信息是氣象預(yù)測的基礎(chǔ),能融合時空大數(shù)據(jù)的氣象大數(shù)據(jù)將為大氣環(huán)境監(jiān)測、農(nóng)業(yè)災(zāi)害監(jiān)測提供強(qiáng)有力的支撐;在交通領(lǐng)域,融合了地理位置信息、空間信息的時空大數(shù)據(jù)將是應(yīng)急處置的重要決策依據(jù),可以提高應(yīng)急交通指揮決策的科學(xué)性。因此,進(jìn)一步研究時空大數(shù)據(jù)表示、度量和理解的基本理論和方法,揭示時空大數(shù)據(jù)與現(xiàn)實(shí)世界對象、行為、事件間的對應(yīng)規(guī)律,將大有可為。
[1]Li,X.,H.Xu,et al.Potential of NPP-VIIRS Nighttime Light Imagery for Modeling the Regional Economy of China[J].Remote Sensing,2013(3) :3057-3081.
[2]Elvidge,C.D.,K. E.Baugh,et al.Relation between satellite observed visible-near infrared emissions, population, economic activity and electric power consumption[J].International Journal of Remote Sensing,1997,18(6):1373-1379.
[3]Henderson,J.V.,Storeygard,A.,Weil,D.N.Measuring economic growth from outer space[J],National Bureau of Economic Research,2009.
[4]Chen,X.,Nordhaus,W.D.Using luminosity data as a proxy for economic statistics[A],Proceedings of the National Academy of Sciences[C],2011,pp.8589-8594.
[5]Ghosh,T.,Powell,R.L.,et al.Shedding light on the global distribution of economic activity[A],The Open Geography Journal[C],2010,pp.148-161.
[6]Agnew,J.,Gillespie,T.W.,et al.Baghdad nights: evaluating the US military “surge ”using nighttime light signatures[A],Environment and Planning A[C],2008,pp.2285-2295.
[7]Witmer,F(xiàn).D.W.and J.O'Loughlin.Detecting the Effects of Wars in the Caucasus Regions of Russia and Georgia Using Radiometrically Normalized DMSP-OLS Nighttime Lights Imagery[J].Giscience & Remote Sensing,2011,478-500.
[8]Li,X.,Chen,F(xiàn).,Chen,X.Satellite-observed nighttime light variation as evidence for global armed conflicts[A].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing[C],2013,pp.2302-2315.
國家重大設(shè)備專項(xiàng)(No.2012YQ16018505);科技支撐計劃(No.2013BAH42F03);教育部新世紀(jì)優(yōu)秀人才資助計劃(NCET-12-0426);湖北省自然科學(xué)基金杰青項(xiàng)目(No.2013CFA024)和武漢大學(xué)創(chuàng)新人才項(xiàng)目(No.2042014kf0212)