PM2.5地圖可視化中的聽覺感知應用

謝文俊，祝茂良，楊鴻海，楊 乃，呂建軍

(1. 青海省地理空間信息技術與應用重點實驗室，青海 西寧 810001； 2. 中國地質大學信息工程學院，湖北 武漢 430074)

可聽化技術將數(shù)據(jù)域內信息的特征映射成聲音特征量(音高、響度、音色等)間的關系，即用非語音信號的各種特征量來表示各種信息[1]，用以描述、表達數(shù)據(jù)內在關系，從而對數(shù)據(jù)進行監(jiān)控或提供數(shù)據(jù)分析支持，同時可以解決視覺不能獨立完成的任務，降低視覺的負荷。聽覺通道在信息突發(fā)狀態(tài)及視覺通道負荷過重等場合的信息傳遞中優(yōu)于其他通道[2]，在必須同時監(jiān)測大量變化量或時間復雜性的信息情況下非常適合聽覺傳遞[3]。結合視覺通道和聽覺通道承載信息會使人獲得強烈的存在感和真實感，在虛擬現(xiàn)實中已有大量應用[4]。此外，可聽化技術在維基百科數(shù)據(jù)更新[5]、氣候變化[6-7]等領域也取得了很好的應用效果。目前已有學者嘗試將可聽化技術引入到地圖可視化領域，已實現(xiàn)降雨預報專題地圖的可聽化[2]，大量結合地圖的PM2.5數(shù)據(jù)可視化方法，對于視覺存在障礙的群體并不是一個很好的信息傳遞手段，可聽化技術的融入將是一個很好的選擇，當前尚未有相關文獻專門對此進行研究。本文以PM2.5地圖可視化為例，在深度解剖聲音特征的基礎上構建數(shù)據(jù)與聲音的映射模型，探討聽覺感知在地圖可視化中的應用問題。

1 聲音相關理論

為了將PM2.5數(shù)值用聲音的形式表達出來，需首先弄清聲音涉及的相關參數(shù)，如頻率與振幅、十二平均律、基音與泛音等，然后建立PM2.5數(shù)值與相關參數(shù)之間的映射模型。

1.1 頻率與振幅

聲音以波的形式存在，包含兩個主要屬性：頻率和振幅。聲音的音高、強弱和音色是人能感受聲音差異的3個直觀物理屬性。其中聲音的音高是由物體振動的頻率決定，頻率越高，音高就越高；頻率越低，音高就越低[8]。人的耳朵對聲音強弱的直觀感受稱為聲音的響度，通常用聲音的音量來描述聲音的響度，響度和聲音振動的振幅有直接的關系。物體振動的振幅越大，聲音響度就越強，相對的音量值也就越大；反之振動的振幅越小，聲音的響度就越弱，聲音的音量值就越小。

1.2 十二平均律

表1 十二平均律中律音的頻率(節(jié)選)

1.3 基音與泛音

當振動發(fā)音時，全弦振動的頻率最低且最具有辨識度，這個音被稱為基音，基音的頻率簡稱基頻，基音確定聲音的音高。除去全弦振動的基音，其他頻率較高的振動發(fā)出的聲音按頻率大小排列構成泛音列。泛音頻率大于基頻并且是基頻的整數(shù)倍，假設基頻為F，則第一泛音的頻率為2F，第二泛音的頻率為3F，依次類推[10]。每個樂音音色的異同主要由泛音列中泛音的數(shù)量和每個泛音的強度決定，音色突出聲音的獨特性。泛音充分的聲音會顯得飽滿，且當聲音中低頻泛音充分時會給人以厚實有力度的聽覺感受，當泛音列中的高頻泛音充分時聲音具有強穿透力，給人以尖銳、洪亮的聽覺感受。調節(jié)聲音中高低頻泛音的音量大小可以改變聲音中相應的泛音成分[11]。

2 可聽化模型構建

2.1 數(shù)據(jù)處理

通過“PM2.5.IN：天氣指數(shù)實時監(jiān)測平臺”網(wǎng)站、中國環(huán)保部網(wǎng)站、百度地圖API獲取全國所有監(jiān)測站點經(jīng)緯度信息及2016年1月1日到1月29日以小時為節(jié)點的PM2.5數(shù)據(jù)，刪除經(jīng)緯度坐標缺失的個別站點和站點PM2.5值缺失的數(shù)據(jù)后導入SQL Server中?！董h(huán)境空氣質量標準》(GB 3095—2012)在考慮PM2.5為首要污染物的情況下，將PM2.5按標準中確定的空氣質量指標分級標準分為6級[12]，其分級標準見表2。將處理后的數(shù)據(jù)按時間遞增排序，根據(jù)PM2.5分級標準計算各等級站點數(shù)目，并計算全國所有站點每個時間節(jié)點PM2.5的平均值，表3以2016年1月1日前3個小時數(shù)據(jù)為例進行展示。

表2 PM2.5分級標準

表3 PM2.5分級數(shù)據(jù)統(tǒng)計示例

2.2 映射模型構建

由十二平均律中各律音的頻率情況和音樂中頻率取值范圍可知，當基頻控制在一定范圍內，根據(jù)基頻獲得的泛音頻率才能有對應的音高且能在音樂軟件中彈奏出來。在考慮PM2.5值和基頻關系時，首先確定音樂中樂器的頻率在十六到七千之間[9]，為了提高聲音的跨度，確定基頻與PM2.5值成倍數(shù)關系。研究證明在響度固定條件下，人耳對頻率為144 Hz的聲音判斷反應最靈敏[13]，而全國PM2.5平均值絕大多數(shù)時間處于90～150的范圍，可取基頻為最接近PM2.5平均值的2倍的律音頻率，經(jīng)測試，這種方法對極少數(shù)不在這一范圍的數(shù)據(jù)模型也能很好地覆蓋，且能很好地體現(xiàn)出數(shù)據(jù)值間的差異性。設PM2.5的平均值為A，C表示十二平均律中各律音的頻率(見表1)，f(C)表示與兩倍PM2.5平均值差值最小的基頻頻率，其模型關系為

f(C)=min|C-2A|

(1)

根據(jù)式(1)計算各律音的頻率與PM2.5平均值的兩倍的差值，取差值最小的律音作為該時刻基音的音名。表4以2016年1月1日0時到3時舉例平均PM2.5值、基頻和音名的對應關系。

表4 基音音名

根據(jù)基頻與泛音的頻率關系，泛音頻率在基頻的基礎上以整數(shù)倍增加，得到泛音的頻率計算式為

D=NC

(2)

式中，D表示泛音的頻率；C表示通過式(1)計算獲得的基音的頻率；N表示泛音頻率是倍數(shù)乘數(shù)。第一泛音的頻率是基音頻率的2倍，因此N從2開始取值。同時在前面提到的PM2.5分級標準6個等級，每一個等級對應聲音泛音列里的一個泛音，一個音包含一個基音和六個泛音，因此取N為2～7的整數(shù)。首先根據(jù)基音計算出各級泛音的頻率，然后查閱十二平均律各律音的頻率關系(見表1)，根據(jù)頻率得出泛音的音名。表5取2016年1月1日的泛音列示例。

從音名組成和平均值對比可以看出，當PM2.5平均值差值在±1之內時，在音名組成上是沒有差異的。如2016年1月1日0:00:00和1:00:00的PM2.5平均值分別為103.9和102.9，2個時間點對應的基音音名均為#g，而且從第一泛音到第六泛音的組成音名均相同。但是從PM2.5各級站點數(shù)目看，2個時間點在輕度污染和嚴重污染這兩個級別內的計數(shù)值存在較大的差異，在聲音的組成中應該表現(xiàn)出這2個級別存在的計數(shù)差異，這樣獲得的聲音才能更好地體現(xiàn)PM2.5整體的情況，同時反映數(shù)據(jù)量的差異性，也能使生成的聲音具有獨特性和提高聲音的辨識度。由此需要通過改變泛音的強度改變聲音的音色，體現(xiàn)聲音的獨特性。聲音的強度由聲音的音量值表示。根據(jù)可聽化技術的原則，聲音特征值必須與數(shù)據(jù)有直接的映射關系，獲得的聲音才能與PM2.5值達到最佳匹配效果，才能更好地承載PM2.5數(shù)據(jù)包含的信息。由此，使用和頻率相對應的PM2.5各級站點數(shù)目為每一級泛音賦予音量值。聲音音量值越大該泛音在聲音中越突出，因此音量值與PM2.5各級站點數(shù)目的關系體現(xiàn)為PM2.5各級站點數(shù)目越多，賦予泛音相應的音量值越高，經(jīng)測試可通過式(3)計算出每個PM2.5等級內對應的泛音音量值

F=[E/10]

(3)

式中，F(xiàn)表示音量值；E表示PM2.5各級的站點數(shù)目。F的值為PM2.5各級站點數(shù)目除以10后四舍五入取整的結果。如在2016年1月1日凌晨0:00:00，屬于0～35的范圍內的PM2.5監(jiān)測站點共有125個，計算125的1/10為12.5，取整后為13，則該時刻聲音的第一泛音音量為13。PM2.5值在良(36～75)范圍之間的統(tǒng)計值為401，則相應的第二泛音的音量值為40。依次可得出第三泛音的音量為37，第四泛音的音量為23，第五泛音的音量為27，第六泛音的音量為1。為了滿足編曲規(guī)則，不需要將基音的音量通過平均值對應表示，而是把該音名的音量值固定。

表5 泛音的確定

通過使用式(1)、式(2)、式(3)計算獲得每個時刻對應的聲音基音和泛音，以及泛音的音量值，示例見表6。

表6 泛音音量確定

3 可聽化模型的實現(xiàn)

本文利用GarageBand創(chuàng)建樂曲，選擇“Grand Piano”作為演奏樂器。選擇音樂速度為60，音樂的速度表示每一分鐘的拍數(shù)。音樂速度和時間節(jié)點的對應關系為

S=60G

(4)

式中，G表示視頻中每一秒代表的單位時間間隔，本文場景中G的取值為1；S代表音樂速度。在確定場景時選擇每1 h的數(shù)據(jù)代表場景中的1 s，這樣會使得頻譜圖圖形每1 s鐘變換一次，為了使音樂和頻譜圖形更好地對應，音樂節(jié)奏為每分鐘60拍，每一拍一個音符，這樣的設置使得每1 h代表一拍，有相應的音符與之對應。在編輯界面中選擇7個音軌依次代表基音、第一泛音至第六泛音(如圖1所示)。依次在相應的音軌上彈奏出音名列表中的音名，最后為每一個音名設置對應的音量值。

圖1 音軌設置

將處理好的數(shù)據(jù)加載到PowerMap中，選擇將數(shù)據(jù)列中的經(jīng)緯度分別匹配到“地理和地圖級別”中的經(jīng)度和緯度中，該操作完成后PowerMap會將數(shù)據(jù)點顯示到地球上。進入圖層設置選項，移動“PM2.5”字段到“高度”數(shù)據(jù)框中；移動“時間”字段到“時間”數(shù)據(jù)框中；選擇將數(shù)據(jù)以“堆狀柱形圖”展示。最后選擇整個場景的時間長度，以每1 h為1 s計算整個場景的時長。為了使整個頻譜圖展示的效果更具體和直觀，選擇平面地圖呈現(xiàn)。在最后將獲得的PM2.5動態(tài)頻譜地圖導出為視頻，在導出時選擇配樂為上一節(jié)中制作完成的PM2.5音樂。在Foobar軟件中播放音樂，同時使用Camtasia Studio8軟件錄制音樂頻譜。最后將導出的頻譜地圖和錄制后的音樂頻譜圖導入Camtasia Studio8中進行剪輯，具體效果見網(wǎng)址：https:∥v.qq.com/x/page/w0543ny56k9.html。

4 結 語

基于PM2.5數(shù)據(jù)實現(xiàn)了數(shù)據(jù)可聽化，提出了有別于數(shù)據(jù)進行可視化的另一種對數(shù)據(jù)進行深度探索的方法。使用PM2.5動態(tài)地圖中全國各監(jiān)測站點每小時的PM2.5數(shù)據(jù)，通過挖掘數(shù)據(jù)內部信息，將提取的信息特征與聲音本身的結構特征相匹配，獲得能夠承載數(shù)據(jù)特征的聲音參數(shù)。在分析聲音頻率規(guī)律和頻譜特征的基礎上，提出了一種既考慮全國平均PM2.5，又考慮PM2.5各級站點數(shù)目的數(shù)據(jù)與聲音信號的映射模型，有助于彌補PM2.5地圖可視化在視覺障礙群體中存在信息傳遞不暢的不足。盡管如此，目前實現(xiàn)的音色相對單一，只是一個初步的探索，如何讓地圖可聽化變的真正的美妙化還需要音樂專業(yè)人士的參與。此外，本文最終的實現(xiàn)依賴多個軟件手工合成完成，如何實現(xiàn)地圖可聽化的自動智能化還有待進一步研究。