輔助聽障兒童音樂教育的可視化方法研究

柳茗千

摘要：本文所介紹的可視化方法的成功之處既在于其優(yōu)美的藝術設計，更在于其通過將音樂轉換為圖形從而使聽障兒童也能通過觀察圖形對音樂產生新的理解，并使用圖像處理技術進一步對音樂進行對比分析。

關鍵詞：音頻可視化；數(shù)字圖像處理；聽障學生教育

中圖分類號：G760 文獻標志碼：A 文章編號：1674-9324（2017）01-0275-02

一、可視化技術在音頻方面的應用

1.音頻可視化的定義和常見形式。隨著數(shù)字媒體技術的興起，我們能將日常生活中所接觸到的信息以更加清楚直觀、更具藝術性的方式展現(xiàn)出來。音樂可視化是指一種以視覺為核心，以音樂為載體，以大眾為訴求對象，借助多種新媒體技術等傳播媒介，通過畫面、影像來詮釋音樂內容的、視聽結合的大眾化傳播方式。它能為理解、分析和比較音樂藝術作品形態(tài)的表現(xiàn)力和內外部結構提供一種直觀視覺呈現(xiàn)的技術。盡管聽障人士不能像我們一樣聆聽音樂，但音樂傳達出的數(shù)據(jù)之美卻能轉化為圖形，同樣為聽障人士所享受。

傳統(tǒng)的方式常用頻譜圖或波形圖進行音樂可視化。音樂的頻譜圖是指某一單音信號（即瞬間聲音的聲波）通過物理方式的轉換，獲得的以振幅（即音量的大?。榭v軸，頻率為橫軸的頻率成分分布的圖像。[3]頻譜只能表現(xiàn)瞬間的頻率震動，不能對整首歌曲進行宏觀的把握。多數(shù)音頻可視化也都是采用類似的方式對每個時間片采樣到的數(shù)據(jù)進行可視化，并以更加藝術化的方式呈現(xiàn)出來，其關聯(lián)的數(shù)據(jù)都是頻譜。音頻處理軟件中使用的音頻波形圖也是一種音樂可視化，它能讓人一目了然的對整個音頻的走勢和特征有大體的掌握，但更適用于數(shù)據(jù)處理和分析，缺少動感和觀賞性。

2.音頻可視化對于聽障兒童音樂教育的重要意義。音樂教育對于特殊兒童非常必要，它的目的不僅是彌補特殊兒童聽說能力的缺失，更在于通過音樂欣賞嘗試體會正常人能感受到的美好，增強自信和表達、理解能力，釋放不良情緒，改變孤獨、自閉的行為方式。[2]音樂活動能使他們在愉快的心情下忘卻自己的缺陷，主動與他人合作、交流，提升兒童的感知能力、認知能力、記憶力、思維能力、想象力和創(chuàng)造力等方面，促進身心和諧發(fā)展。[4]

聽障兒童不能直觀的感受音樂，通常利用“通感”（使感覺轉移，將人的聽覺、視覺、嗅覺、味覺、觸覺等感覺相交換，將甲感覺用于表示乙感覺）的形式將音樂帶給正常人的感受以另外一種形式表現(xiàn)出來，對聽障兒童進行音樂教學。現(xiàn)在常見的聽障兒童音樂教學法有通過感受物體振動傳達節(jié)奏概念的“律動教學”、通過手語歌詞理解音樂內容、結合律動教學練習舞蹈的音樂教育等等。越來越多的“別樣形式的音樂”正幫助聽障兒童更好地認識音樂，感受音樂。

二、一種新的音樂可視化實現(xiàn)方法

1.用Web Audio Api提取音頻信息并進行可視化。本文介紹的方法基于Web Audio Api，獲取音頻數(shù)據(jù)的方法是用audio標簽將音樂嵌入網(wǎng)頁，并設置analysernode（分析節(jié)點）對網(wǎng)頁上的音頻數(shù)據(jù)進行實時解析。Canvas實時繪制每個時間片的采樣數(shù)據(jù)，觀察者既能經歷圖形創(chuàng)建的過程，又能在歌曲結束之后對整首歌有宏觀上的體會和把握。

圖2.1所示的可視化用一個正十邊形的雷達圖將音頻的頻域由高到低分成十個部分，并將音頻數(shù)據(jù)映射到其中，反應每個部分的能量大小，數(shù)字標號示意了由低頻到高頻的排列順序。繪圖點距離原點距離越遠表示該分段能量越大。這種可視化方法利用了不同音源發(fā)聲頻率不同的原理，后面的分析與比對也將基于這樣的數(shù)據(jù)提取。圖2.2展示了其中兩個在網(wǎng)頁中將雷達圖放在藝術場景中進行觀賞的情形。將繪制路徑顏色與背景相搭配，在播放音樂的同時進行繪畫，這何嘗不是一種藝術創(chuàng)作呢？通過在精心制作的場景中觀察圖形的變化，聽障兒童可以感受到音樂的律動，并根據(jù)圖形的意義體會音樂內容。

圖2.3所示的可視化是對當前時刻的頻率進行采集、計算并以順時針掃描的方式繪制。每個瞬間在畫布上留下的痕跡拼湊起來可以像拼圖一樣展示出一幅比較完整的畫卷。《舟山鼓樂》是一首只有鼓聲參與其中的音樂，由于其聲音的不連續(xù)性，造成多個連續(xù)的峰，每一聲鼓點的可視化結果都如一個花瓣般非常美麗。聽障兒童據(jù)此可以體會到音樂的美好，彌補身體上的缺憾。

2.以C++為基礎用MFC比對獲取的圖片信息。分析用數(shù)據(jù)采用了圖2.1所示的雷達圖。由于每一幀的繪圖結果都疊加在一起，為了對能量大小做加成平均得到平均路徑，繪圖時設置了透明度。計算時由中心點沿著分段的分界線發(fā)出十條射線，將黑色的深淺作為加成的權重。得到平均路徑后即可將兩首歌進行比對（如圖2.4-2.5所示），同一首歌的兩個版本差異最小，同一位歌手風格相近的歌曲其次，而風格、內容相差較大的兩首歌很有可能在不同的頻段各有發(fā)揮，如純音樂能量較小，主要集中在中低頻，而熱情奔放的流行樂和電子樂在低頻和高頻部分都大有作為。

3.建立音頻數(shù)據(jù)庫對音頻內容進行推測。目前有很多音樂檢索的方式，包括基于音頻分析和索引的內容檢索法、基于情感語義相似度的音樂檢索、基于歌曲屬性關鍵字的文本匹配法等。[1]這些方法通過提取歌曲中的聲學特征，基于音頻內容對音樂進行分類和檢索，這說明歌曲中的情感和語義是可以由科學的方法分析出來的?；谶@個原理，本文用人工標注法構造音頻數(shù)據(jù)庫，將不同頻段的能量大小作為區(qū)分不同類型音樂的識別特征。將同一標簽的多首樂曲數(shù)據(jù)進行平均以達到訓練的目的。圖2.6展示了此方法的初步實驗結果。

三、對相關方向發(fā)展的展望

本文所介紹的方法優(yōu)點在于新穎獨創(chuàng)，有藝術性，缺點在于提取數(shù)據(jù)麻煩，人工參與部分多，數(shù)據(jù)庫太小，因此準確性尚且較差。目前對于音樂內容的提取及可視化研究還比較少，但“聽歌識曲”，“哼唱搜索”等基于音頻內容分析的音樂檢索已經越來越多的出現(xiàn)在音樂軟件中。相信未來從音頻中提取更多信息的技術一定大有所為。筆者作為本科三年級學生，學識和技巧實在有限，但希望本文提出的觀點能夠拋磚引玉，引發(fā)更多學者和專業(yè)人士對聽障兒童音樂教育的思考和認識，不斷完善相關領域的研究，為聽障兒童帶去福音。

參考文獻：

[1]周利娟.基于情感語義相似度的音樂檢索模型研究[D].大連：大連理工大學，2011.

[2]孟妍妍.淺論聾啞兒童音樂教育[J].研究生論壇，2009，（11）：80-81.

[3]成蒙.從音樂到圖形——音樂信息的可視化研究[D].西安：西安美術學院，2014.

[4]吳躍躍李平平喻秋蘭.特殊兒童音樂教育的性質、特點及教育價值[J].中國音樂教育，2008，（11）.

Visualization Method Aid Music Education in Hearing-Impaired Children

LIU Ming-qian

（School of Information Science&Technology of BJFU （Beijing Forestry University），BeiJing 100083，China）

Abstract：As described in this article，the success of this visualization method lies in both its beautiful art design，and more in its convertion of music into graphics so that hearing impaired children can reach a new understanding of music by simply observing the graphics.This article also introduced how to use digital image processing technology to step forward on comparing and analyzing the difference between music.

Key words：music visualization；digital image processing；Hearing-Impaired student education