可定位圖像采集與檢索方法研究

吳 勇1,2，羅騰元1，王美珍3

(1.福建師范大學地理科學學院，福州 350007；2.福建省陸地災害監(jiān)測評估工程技術研究中心，福州 350007；3.南京師范大學虛擬地理環(huán)境教育部重點實驗室，南京 210046)

1 概述

隨著空間信息技術快速發(fā)展，地理信息系統(tǒng)(Geography Information System,GIS)表達發(fā)生了巨大的變化并出現了許多新型表達形式，從二維電子地圖到虛擬地理環(huán)境，再到以圖像/視頻為主的地理增強現實及地理超媒體表達[1]，圖像/視頻以其客觀形象、生動直觀的特性已逐漸成為地理表達中一種重要的數據源。然而，隨著GIS應用領域不斷擴展，如在數字城管、環(huán)境監(jiān)查、智能快遞、野外調查等行業(yè)應用中，對圖像的需求不再局限于其可視化表達，更希望其能同時集成地理位置、內容描述等更為豐富的信息[2]。同時，以平板電腦、智能手機為代表的智能移動終端呈現出爆炸式的增長，與普通相機相比，其拍攝圖像的分辨率、效果已相差不大，并具有以下優(yōu)勢：(1)集成了豐富的傳感器，如GPS、電子羅盤等，除了能獲取地理位置外，還能獲取方位信息，圖像能夠獲取更為豐富的參數信息；(2)具有操作系統(tǒng)并支持編程接口，能夠方便定制更為靈活的應用程序。

基于此，本文構建可定位圖像表達模型，將圖像內容、地理位置、圖像描述等信息進行綜合集成，并基于Android平臺實現可定位圖像的實時采集；在此基礎上根據可定位圖像的位置特征，構建圖像空間索引機制。

2 可定位圖像采集

2.1 可定位圖像表達模型

圖1 可定位圖像表達模型

圖像信息指被拍攝對象實體的實景信息；圖像元數據包括圖像分辨率、焦距、采集時間、曝光度等照片元數據，用于描述圖像的基本信息，同時亦可利用參數信息推斷出圖像隱含的語義信息，如從焦距計算出圖像視野范圍，從曝光度推斷出拍攝地點處于室內或者室外；圖像屬性信息可通過文本信息、特征信息以及音頻信息等進行描述，文本信息指場景、事件或地點的文字描述，特征信息包括圖像的顏色、紋理、形狀等內容特征，音頻信息則可記錄用戶對實體或事件的語音描述；圖像空間信息主要包括GPS位置信息與方位信息，GPS位置信息用于描述圖像的拍攝位置，而方位信息則能在拍攝位置的基礎上通過朝向更準確地描述圖像場景。通過可定位圖像表達模型可詳細描述圖像呈現的內容、拍攝時間、拍攝地點等信息，為應用提供更為豐富的信息。

2.2 可定位圖像模型組織

數字圖像與地理位置等參數集成主要基于XML文件[3]、Shapefile 文件[4]以及EXIF(Exchangeable Image File)[5]格式3種方式進行組織。前2種方式本質上都是采用中間文件將圖像與地理信息等屬性參數進行關系映射實現外部關聯[6]，信息的分離存儲導致其管理繁瑣，安全性、通用性、擴展性都較差。

EXIF格式是由日本電子工業(yè)發(fā)展協(xié)會(Japan Electronic Industry Development Association,JEIDA)制訂，并專門為數碼相機使用的圖像文件格式而制定的標準規(guī)格，可以記錄數碼圖像的屬性信息和拍攝數據[7]。EXIF格式數據存儲與JPEG格式是完全相同的，本質上就是在JPEG格式頭部插入圖像的信息，圖像結構起始于圖像開始標志，終于圖像結束標志，包含應用標記段、圖像壓縮編碼參數段以及圖像內容數據段3個部分，如圖2所示。

圖2 EXIF圖像格式結構

應用標記段中記錄的圖像參數信息采用標簽圖像文件格式(Tagged Image File Format,TIFF)進行存儲，APP0用于使用JFIF(JPEG文件交換格式/JPEG File Interchange Format)格式存儲圖像時的配置信息數據與縮略圖，APP1標記段則是EXIF格式用于避免JFIF存儲格式沖突而使用的標記段，主要包含EXIF IFD,GPS IFD,Interoperability IFD 3個部分的圖像描述信息。EXIF IFD不僅存儲了數碼相機數據(數碼相機生產商、型號等)、攝影參數(快門速度、光圈數、焦距等)、日期和時間信息，還可以通過UserComment和Related SoundFile標簽記錄用戶對圖像的文字描述信息及音頻描述信息；GPS IFD可記錄地理坐標信息，包括經緯度坐標、GPS方位、速度等參數；Interoperability IFD則用于存儲圖像互操作參數；此外，EXIF格式還對APPN標記段進行了預留，用戶可根據具體需求進行擴展。相對于前2種方式，EXIF方式可將地理信息等屬性直接嵌入圖像，實現相關描述參數與圖像的高度整合，而且擴展性和通用性較好，非常適合于可定位圖像的表達。

2.3 可定位圖像采集實現

采用三星N7100手機設備為采集終端，以帶有Android開發(fā)包插件(Android Development Toolkit,ADT))的Eclipse集成環(huán)境為開發(fā)平臺，通過Android SDK(Software Development Kit)分別調用相機模塊、電子羅盤模塊、GPS定位模塊以及百度地圖SDK實現各種相關信息的獲取，并采用EXIF格式進行集成存儲，實現可定位圖像的實時采集。具體步驟如圖3所示。

(1)創(chuàng)建請求圖像Intent，同時將Intent的類型設置為MediaStore.ACTION_IMAGE_CAPTURE模式，利用start ActivityForResult()方法啟動攝像頭進行圖像采集，再通過onActivityResult()方法接收攝像頭返回的intent圖像數據。

(2)采用getSystemService()方法返回系統(tǒng)設備管理Sen sorManager，并使用registerListener()方法在設備管理服務中注冊電子羅盤監(jiān)聽器，然后通過OnSensorChanged()事件獲得拍攝時的方位信息。

(3)通過getSystemService()方法調用位置服務Location Manager實例，并通過調用實例中getLastKnownLocation()方法判斷是否能獲取GPS信息。如果接收到GPS信息，則提取拍攝時刻的經緯度值，經緯度值有正負之分，正數則代表當前位置處于東半球/北半球，否則為西半球/南半球；如果當時無法獲取GPS信息，用戶則可通過在地圖上手動標識圖像的當前點位。

對比探究2和探究3不難發(fā)現，兩次實驗唯一不同的是，探究2的饅頭是用錫紙包裹的，而探究3的饅頭沒有用錫紙包裹，從而得出造成微波爐不能正常工作的是錫紙。可是，錫紙為什么能造成微波爐里出現火花呢？

(4)地圖初始化并創(chuàng)建引擎管理類mapManager，接著使用LocationClient類創(chuàng)建位置監(jiān)聽器并進行相關參數的初始化，然后通過getAddrStr()從接收到的位置信息中提取當前位置的地址描述。

(5)通過調用ExifInterface接口中的setAttribute()方法對上述參數嵌入圖像中，并在SDCard上進行圖像保存。

圖3 可定位圖像采集流程

為了驗證可定位圖像采集方法的有效性及正確性，將上述實時采集的可定位圖像通過ExifInterface類中get Attribute()方法對圖像中存儲的經緯度、方位、地址等信息進行提取，并將獲取的位置信息在百度地圖上自動進行標注，通過地圖標注與實地對比發(fā)現，拍攝位置由于GPS單點定位精度影響存在3 m～5 m的漂移外，方位角完全正確，可滿足采集需求，可定位圖像采集界面如圖4所示。圖4(a)的圖像采集界面中扇形圓心指示了當前圖像的拍攝位置，扇形朝向代表了拍攝方向及視野范圍；同時用戶可通過點擊扇形標注，獲取拍攝圖像、經緯度值、方位值、時間以及相應的地址描述，如圖4(b)圖像屬性界面所示。

圖4 可定位圖像采集終端界面

3 可定位圖像檢索

3.1 可定位圖像索引

與普通圖像相比，可定位圖像不僅具有圖像特征，還具有位置特征及方位特征。而目前圖像檢索方式主要基于關鍵字索引，或者基于顏色、紋理、形狀等內容特征索引。在基于位置特征圖像組織方面，文獻[8]利用時間和位置屬性對圖像集自動聚類，并以“國家-州-市”行政區(qū)劃層次等級進行組織；文獻[9]利用“人物-事件-地點-語義信息”的方式對圖像進行分類組織；文獻[10]則提出了地理參考的圖像場景層次模型，但是上述研究側重于將位置信息作為一種特征要素用于圖像聚類方面，文獻[11]在微軟的WWMX項目中雖以地理坐標進行圖像索引，但是未考慮圖像方位特征。

可定位圖像實質上可認為是具有點狀空間特征的圖像，因此，可通過空間索引方式進行圖像組織。在空間索引應用方面，通常采用網格、四叉樹以及R樹3類空間索引結構，不同的索引方式對同一類型空間要素的索引效率差別甚大，而每種空間要素也對應著其相應最優(yōu)的索引方法，即對點目標采用規(guī)則網格索引，對線、面目標采用改進的四叉樹索引[12]?？梢?，可定位圖像的位置特征采用規(guī)則網格索引比較合適。

規(guī)則網格空間索引的基本思想是將空間數據區(qū)域按照一定固定大小的正交網格進行劃分，對劃分后的網格按照相應的網格劃分原則進行定位，并將相交或者包含于網格內的空間要素存儲在該網格中[13]。用戶則可通過計算查詢區(qū)域所在網格，快速檢索到網格中的空間要素。網格劃分遵循以下原則：

其中，[(minx,minY),(maxX,maxY)]為數據的坐標范圍；m,n分別為指定橫軸、縱軸方向分割的網格數；△w,△h則分別代表網格索引中橫軸、縱軸方向的每一個網格大小。

按照行從左至右、列從下至上的格網排列方式，計算每個格網的邊界坐標公式為：

其中，Gridleft,Gridbottom,Gridright,Gridtop分別代表網格的左下角、右上角的經緯度坐標；i,j分別為橫軸、縱軸網格編號，且1≤i

在方位特征索引方面，采用方向劃分方法對方位值進行聚類索引，將其分成8個方向：北向(0°～22.5°,337.5°～360°)、東北向(22.5°～67.5°)、東向(67.5°～112.5°)、東南向(112.5°～157.5°)、 南向(157.5°～202.5°)、西南向(202.5°～247.5°)、西向(247.5°～292.5°)、西北向(292.5°～337.5°)。

3.2 基于位置的圖像檢索實現

針對可定位圖像位置特征索引，通過構建空間分區(qū)、圖像索引以及圖像信息3張數據表對其進行組織與管理。數據表間通過網格編號、圖像ID號2個關鍵字進行關聯，以維護表間的相互關系，表結構如圖5所示。空間分區(qū)表用于描述可定位圖像的空間分區(qū)信息，其將檢索區(qū)域從邏輯上分割為許多更小、更易于管理的單元，主要記錄格網編號、格網左下角及右上角的橫坐標、縱坐標信息。圖像索引表包括圖像ID、圖像名稱、所屬網格編號以及圖像路徑字段，其描述了可定位圖像在各個網格單元的分布狀況。通過建立網格編號排序索引，能快速定位圖像所屬網格，并返回查詢區(qū)域內的圖像。圖像信息表記錄了可定位圖像的基礎參數信息，包括圖像分辨率、拍攝焦距、曝光度、采集時間、采集地點、經緯度坐標、方位值以及方位分類等字段，通過此表用戶可查看圖像的屬性，同時可根據位置參數進行地圖定位。

圖5 基于規(guī)則網格可定位圖像的索引結構

在此基礎上，通過Visual Studio 2010平臺實現可定位圖像管理平臺，提供空間查詢、時間查詢及地址查詢3種圖像檢索方式，界面如圖6所示。

圖6 可定位圖像檢索界面

對于空間檢索操作，用戶可以指定拍攝方位以及在百度地圖上設置檢索區(qū)域(圖中矩形區(qū)域)進行圖像查詢，系統(tǒng)返回滿足要求的圖像并以縮略圖形式在地圖下方區(qū)域進行呈現，用戶可以通過點擊縮略圖查看圖像及參數信息，同時在地圖上以扇形標注顯示該圖像的拍攝位置與方位。

4 實驗分析

以福州主城區(qū)為例，按照2種不同網格大小對市區(qū)范圍進行劃分：1 km×1 km網格劃分660個索引單位，5 km×5 km網格劃分為30個索引單元。在此基礎上，將市區(qū)內采集到的968幅可定位圖像索引入庫；由于實拍圖像數據集數量有限，為了更好地對索引方法效率進行對比分析，實驗同時模擬并建立了10000張可定位圖像數據集。針對上述2份數據集，基于IBM T420微機平臺(CPU Intel(R)Core(TM)i5-2410M雙核處理器，主頻2.3 GHz，可用內存3 GB)，采用網格索引與無索引方式，同時考慮檢索區(qū)域的大小對圖像數據集進行圖像檢索，并從檢索結果、檢索效率方面進行對比，比較結果如表1所示。

表1 網格索引與無索引方式檢索效率對比

從檢索結果上，基于網格索引與無索引方式檢索結果是一致的，因此，基于位置的圖像檢索能提供一種精確的目標檢索；從檢索效率上，無論檢索區(qū)域還是數據集大小，總體上5 km網格索引方式最優(yōu)，1 km網格索引方式次之，無索引方式最末。對于基于無索引的檢索方式，由于檢索需遍歷所有記錄，因此檢索時間大致是一致的，而基于網格的索引方式，對于較小的檢索區(qū)域，由于采用位置索引方式大大減少了記錄遍歷次數，檢索效率大幅提升；對于較大的檢索區(qū)域，例如對于小數據集(968幅)，檢索區(qū)域為61 km2，相當于區(qū)域索引范圍的1/10面積大小，采用1 km網格索引方式與無索引方式的檢索效率相當，索引并沒有達到提升檢索效率的目的，究其原因有以下2點：(1)數據集圖像樣本太少，索引不能體現其優(yōu)勢，(2)由于檢索范圍較大，而網格索引劃分太細，使得檢索過程中對于網格相交判斷耗時較長，從而影響了檢索效率；其次基于不同大小的網格索引，其檢索效率不同，網格的劃分需考慮區(qū)域范圍、應用目的等多方面的因素尋求最優(yōu)的網格劃分方案。綜上所述，可定位圖像采用網格索引方式是可行的，適合大小的網格索引能大幅提升圖像的檢索效率。

5 結束語

本文提出了集圖像內容、圖像元數據、位置特征以及描述信息于一體的可定位圖像表達模型。在此基礎上，通過Android平臺實現圖像信息、方位信息、定位信息以及地址描述等要素的實時獲取，并以EXIF圖像格式對上述獲取的參數進行組織存儲形成可定位圖像；針對可定位圖像具有位置特征以及方位特征的特性，采用規(guī)則網格對其位置特征構建空間索引，同時按方向對方位特征進行聚類索引，并對福州市區(qū)范圍內采集的可定位圖像進行檢索實驗，實驗結果證明基于位置的圖像空間索引方法是可行的，能快速檢索到圖像?？啥ㄎ粓D像不僅豐富了GIS對地理對象的表達及數據采集方式，同時也為數字城管、環(huán)境監(jiān)查、智能快遞、野外考察等行業(yè)提供了應用參考價值。此外，音頻作為一種重要的描述信息尚未集成到可定位圖像中，將在下一步工作中進行完善。

[1]韓志剛,孔云峰,秦耀辰.地理表達研究進展[J].地理科學進展,2011,30(2):141-146.

[2]劉向峰,孟志軍,陳竟平.作物病蟲害信息采集與遠程診斷系統(tǒng)設計與實現[J].計算機工程與設計,2011,32(7):2361-2363,2408.

[3]宋宏權,劉學軍,閭國年,等.基于視頻的地理場景增強表達研究[J].地理與地理信息科學,2012,28(5):6-9.

[4]Liu Qiang,Yoo J J,Choi K H,et al.A Scalable Video GIS System for GPS-guided Vehicles[C]//Proc. of IEEE International Conference on Acoustics,Speech,and Signal Processing.[S.l.]:IEEE Press,2004:941-944.

[5]武文波,劉向鋒.GIS中數字圖像與地理位置的整合方法與應用[J].微計算機信息,2011,27(4):235-237.

[6]李文闖,章永平,潘瑜春.移動地理信息系統(tǒng)中多源異構數據融合模型[J].計算機應用,2012,32(9):2672-2674,2678.

[7]Japan Electronics and Information Technology Industries Association.JEITA CP-3451-2002 Exchangeable Image File Format for Digital Still Cameras:Exif Version 2.2[S].2002.

[8]Naaman M,Song Y J,Paepcke A,et al.Automatic Organization for Digital Photographs with Geographic Coordinates[C]//Proc.of the Joint ACM/IEEE Conference on Digital libraries.New York,USA:IEEE Press,2004:53-62.

[9]Yekkala A K,Volleberg G T G,Saha S.Automatic Organization of Digital Photographs[C]//Proc.of International Conference on Consumer Electronics.Las Vegas,USA:[s.n.],2007:1-2.

[10]Epshtein B,Ofek E,Wexler Y,et al.Hierarchical Photo Organization Using Geo-relevance[C]//Proc.of the15th International Symposium on Advances in Geographic Information Systems.New York,USA:[s.n.],2007:1-7.

[11]Toyama K,Logan R,Roseway A.Geographic Location Tags on Digital Images[C]//Proc.of the 11th ACM International Conference on Multimedia.New York,USA:[s.n.],2003:156-166.

[12]馬亞明,徐 楊,張江水.空間索引與多尺度表達的一體化模型研究[J].武漢大學學報信息科學版,2008,33(12):1237-1241.

[13]孟妮娜,周校東.固定格網劃分的空間索引的實現技術[J].北京測繪,2003,(1):7-11.