Flash電影聲音特征的分析與提取

王岳平

（棗莊學(xué)院光電工程學(xué)院，山東 棗莊 277160)

1 引言

在我們觀看一部Flash電影時，吸引我們的不僅僅是絢麗的視覺場景，而且還包括復(fù)雜的聽覺特征。聲音可以增強影片視覺畫面的存在感、擴展視覺空間，在Flash電影中聲音主要表現(xiàn)在兩個方面：背景音樂和聲音效果。本文首先定義了Flash電影中的聲音特征屬性，然后分析了聲音的存儲結(jié)構(gòu)和壓縮算法，最后介紹了如何在Flash電影中提取聲音特征。

2 Flash電影中聲音的定義和存儲結(jié)構(gòu)

在Flash電影中，音頻分為兩種：事件音頻、流式音頻。

2.1 事件音頻的定義和存儲結(jié)構(gòu)

在Flash電影播放過程中，事件音頻的播放一般都會有特定的事件相伴隨，比如點擊鼠標、鍵盤，或播放過程到達某一個特殊點，都會伴隨著特定的音頻播放。在使用事件音頻之前，必須對其進行定義，定義以后就可以多次使用。在Flash電影中，事件音頻的定義和存儲結(jié)構(gòu)需要用得到三種標簽：Define-Sound、Start-Sound1和Start-Sound2標簽。構(gòu)成事件音頻取樣的標簽為Define-Sound標簽，事件音頻的類型由Sound-Info記錄定義，類型包括音量控制、循環(huán)標志、同步、淡入、淡出。調(diào)節(jié)Flash電影初始放映聲音的標簽為Start-Sound1標簽，調(diào)節(jié)Flash電影初始放映非事件音頻類的標簽為Start-Sound2標簽。

在Define-Sound標簽定義事件音頻時，特征參數(shù)包括分辨率、采樣率、聲道標記。如表1為Define-Sound標簽的結(jié)構(gòu)特征及其說明。

表1 Define-Sound標簽的結(jié)構(gòu)特征及其說明

聲音的唯一標識代碼是Sound-ID，播放聲音時Star-Sound1控制標簽首先調(diào)用Sound-ID。在Flash電影中，聲音格式可以分為：MP3壓縮格式（用2表示）、ADPCM壓縮格式（用1表示）、位壓縮小字節(jié)格式（用3表示）、Nelly-moser格式（用6表示）和未壓縮格式（用0表示），格式不同說明聲音內(nèi)容不同。Sound-Rate（聲音采樣率）是把聲音在A/D轉(zhuǎn)換的過程中，在每一秒鐘時間內(nèi)的采樣次數(shù)，理論上要想讓聲音質(zhì)量較好地呈現(xiàn)，采樣率越高越好。Sound-Size（分辨率）是單個采樣點表示音頻的位數(shù)，F(xiàn)lash音頻文件中的位數(shù)為8位或16位。分辨率是用一個指數(shù)來描述的，用8位分辨率來描述采樣點指的是用2的8次方級深度表示采樣點，同樣用16位分辨率描述采樣點指的是用2的16次方表示采樣點。聲音越細致，內(nèi)容信息越多，表明聲音的分辨率越大，占用空間越大。聲道類型分為兩種：單聲道、雙聲道，單聲道包含的內(nèi)容信息是雙聲道包含的內(nèi)容信息的一半，因此雙聲道音頻文件占用空間是單聲道音頻文件的一倍。

Define-Sound標簽用來定義聲音，Start-Sound控制標簽控制播放器播放聲音的開始或者暫停。Sound-ID表示聲音的唯一標識ID，Sound-Info定義聲音播放方式，調(diào)整Sound-Info記錄中的Sync-Stop就可以實現(xiàn)暫停播放。Start-Sound2標簽和Start-Sound1控制標簽的內(nèi)容差不多，唯一的區(qū)別就是Start-Sound2標簽控制播放的聲音，不再是單個聲音而是其他Flash電影文件中定義的聲音。

Sound-Info記錄是用來標注怎樣播放一個Define-Sound標簽定義的事件音頻。記錄中可以調(diào)整的聲音屬性有：是否循環(huán)及循環(huán)數(shù)、重放時的開始和結(jié)束位置、音量控制的聲音封裝。

2.2 流式音頻的定義和存儲結(jié)構(gòu)

Flash電影文件也支持流式音頻格式，流式聲音內(nèi)容信息的下載與播放與電影文件的時間軸密不可分，音頻的前幾幀載入后即可進行播放，聲音數(shù)據(jù)塊隨著Flash電影的幀進行存儲。在Flash電影中，音頻流與播放畫面是同步的，聲音內(nèi)容根據(jù)幀的排列被分成很多塊，若電影播放速度快，有些聲音塊就會跳過不進行播放，保持聲音塊的播放與畫面播放同步。在Flash電影文件中，主要時間軸上特定時刻只有一個對應(yīng)流式音頻進行播放，但對每個Flash影片剪輯有自己的時間軸，可以有自己特定的流式音頻。

在Flash電影聲音文件中有流式音頻時，必須由Sound-Stream-Head1或者Sound-Stream-Head2標簽定義音頻信息格式、播放格式和聲音數(shù)據(jù)塊中樣本平均數(shù)之后，第一個音頻數(shù)據(jù)包才能進行播放。Sound-Stream-Head1標簽中定義的采樣率有四種：5.5 kHz、11 kHz、22 kHz和44 kHz，分辨率為16位，播放類型為單聲道或者雙聲道。此外，在Flash電影中流式聲音的壓縮格式只支持MP3壓縮、ADPCM算法壓縮這兩種格式。Flash電影中的采樣率、分辨率和聲音類型，在播放的過程中，可以忽略它們。Sound-Stream-Head2標簽在Sound-Stream-Head1標簽功能的基礎(chǔ)上，加載了音頻壓縮類型和音頻分辨率類型。除了MP3壓縮和ADPCM壓縮這兩種壓縮類型之外，還有Nelly-moser壓縮、小字節(jié)無壓縮和無壓縮等類型。如表2所示為Sound-Stream-Head2標簽的結(jié)構(gòu)特征及其說明。

表2 Sound-Stream-Head2標簽的結(jié)構(gòu)特征及其說明

Sound-Stream-Block標簽是用來定義與幀數(shù)據(jù)混合存儲的音頻信息。在定義Sound-Stream-Block標簽的時候，Sound-Stream-Head1或Sound-Stream-Head2兩個標簽必須是已經(jīng)定義好了。一個Flash電影幀中只包含一個Sound-Stream-Block標簽。Sound-Stream-Head1標簽中定義的壓縮類型決定了流式聲音數(shù)據(jù)塊中的內(nèi)容信息。壓縮類型為無壓縮或者小字節(jié)無壓縮時，流式聲音數(shù)據(jù)塊中有初始未壓縮采樣；壓縮類型為ADPCM壓縮時，流式聲音數(shù)據(jù)塊中有ADPCM音頻數(shù)據(jù)記錄；壓縮類型為MP3壓縮時，流式聲音數(shù)據(jù)塊中有MP3音頻數(shù)據(jù)記錄；壓縮類型為Nelly-moser壓縮時，流式聲音數(shù)據(jù)塊中有NELLY-MOSER-DATA記錄。

3 Flash電影中聲音的壓縮算法的分析

在Flash電影中，音頻文件的壓縮方法主要有MP3壓縮和ADPCM壓縮等壓縮算法。

3.1 MP3壓縮

MP3全稱是Moving Picture Experts Group Audio Layer III，是當今比較流行的一種數(shù)字編碼和有損壓縮格式，主要是用來降低音頻數(shù)據(jù)量。MP3壓縮對音頻文件進行壓縮時，壓縮掉的只是人耳聽不到的波形信息，因此壓縮后的音頻對大多數(shù)用戶來說，在聽覺感受上音質(zhì)沒有很大區(qū)別。另外，MP3壓縮格式的壓縮率比較高，最高壓縮率可以達到1∶12。

Flash電影中MP3的壓縮過程，首先把音頻波形文件加載到Flash文件中進行編輯，然后把音頻波形文件以MP3格式隨著Flash文件輸出，在隨著Flash文件輸出的過程中自動會對音頻波形文件進行格式轉(zhuǎn)換和壓縮。MP3壓縮格式的壓縮率比較高，既保證了聲音無失真?zhèn)鬏?，又縮小了帶有音頻文件的Flash電影占用空間。持續(xù)時間較長的音頻文件和流式音頻聲音文件，進行壓縮時比較適合采用MP3壓縮格式。在制作Flash電影過程中，載入音頻文件進行壓縮時，MP3壓縮格式是第一選擇，F(xiàn)lash電影制作軟件中既可加載MP3格式文件，也可將導(dǎo)入其它格式文件在輸出時壓縮成MP3格式。

在Flash電影中，MP3音頻參數(shù)表現(xiàn)在兩個方面，分別是采樣率和MP3幀的存儲數(shù)組。采樣率用于在幀上細分流式音頻，MP3幀的存儲數(shù)組是用來存儲音頻文件中聲音的數(shù)據(jù)。MPEG音頻幀在MP3音樂文件和MP3幀記錄中是一樣的，都是由前32位幀存儲頭信息，后面一個字節(jié)數(shù)組來存儲聲音編碼的樣本。如表3所示為MP3-FRAME標簽的結(jié)構(gòu)特征及其說明。

3.2 ADPCM壓縮

ADPCM指的是自適應(yīng)差分脈沖編碼調(diào)制，英文全稱是Adaptive Differential Pulse Code Modulation，ADPCM調(diào)制方式是一種針對16位（或8位或者更高）聲音波形屬性的一種有損壓縮方式。ADPCM調(diào)制對聲音采樣時的頻率是固定不變的，采樣時對采樣點的實際信號幅值和預(yù)測信號幅值的變化量，對此變化量進行量化編碼，量化編碼采用不均勻的方式進行。當幅值變化量很小時，就會大大減少不均勻量化編碼的編碼位數(shù)。ADPCM算法壓縮方式既有自適應(yīng)脈沖編碼調(diào)制系統(tǒng)的自適應(yīng)性，又有差分脈沖編碼調(diào)制系統(tǒng)的差分性，使得這兩種特性較好地結(jié)合在一起。自適應(yīng)特性可以用來改變量化階，也就是較小的幅值變化量用小量化階來編碼，較大的幅值變化量用大的量化階來編碼；利用差分特性可以利用過去樣本值估計后面樣本預(yù)測值，使得預(yù)測值和實際值間的幅值變化量最小。在Flash電影文件中，ADPCM調(diào)制方式只是針對16位或8位的聲音波形屬性進行壓縮。對16位聲音波形壓縮時，壓縮比為4∶1，即存儲采樣數(shù)據(jù)時是4位，這種壓縮方式是一種有損壓縮，用于時間很短的時間聲音輸出。

ADPCM-SOUNDATA記錄的定義中包括編碼大小和存儲ADPCM信息的ADPCM-PACKETS。在Flash電影中，ADPCM編碼樣本格式有四種：4位、5位、6位和7位。依據(jù)聲音聲道數(shù)量的不同，ADPCM-PACKETS可分為兩種存儲結(jié)構(gòu)：ADPCM-MONOPACKET和ADPCM-STEREOPACKET。

4 Flash電影中聲音特征屬性的提取

上述提到，事件音頻的內(nèi)容結(jié)構(gòu)是由Define-Sound、Start-Sound1和Start-Sound2三種標簽來定義的，流式音頻的內(nèi)容結(jié)構(gòu)是由Sound-Stream-Head1和Sound-Stream-Head2兩種標簽來定義的，在對Flash電影中的聲音特征屬性進行分析提取時，可以對這些定義音頻文件的標簽進行分析提取，進而分析其聲音的內(nèi)部結(jié)構(gòu)和特征屬性。如表4所示為Flash電影中聲音特征屬性描述。

表4 Flash電影中聲音特征屬性描述

對事件音頻來說，特征參數(shù)中的聲音長度的取值是短、中、長，這三種取值是用音頻中的樣本數(shù)量來界定的，當樣本數(shù)量＜20000時，取值為短；當20000＜樣本數(shù)量＜60000時，取值為中；當樣本數(shù)量＞60000時，取值為長。對流式音頻來說，聲音長度是用音頻中的樣本數(shù)量和每個樣本中的子樣本數(shù)量的乘積來表示的，取值定義和事件音頻是一樣的，當樣本數(shù)量＜20000時，取值為短；當20000＜樣本數(shù)量＜60000時，取值為中；當樣本數(shù)量＞60000時，取值為長。

在Flash電影中，對聲音特征屬性進行提取標注的方法有兩種。第一種：根據(jù)Flash電影中對事件音頻和流式音頻的定義，構(gòu)建Flash電影中聲音特征屬性提取的程序平臺，在程序平臺上可以對聲音的特征屬性進行提取，并在程序平臺的顯示界面上呈現(xiàn)出來，另外也可以直接保存到電腦的指定位置；第二種：根據(jù)Flash電影中聲音特征參數(shù)字段定義，組建聲音特征索引庫，使用聲音結(jié)構(gòu)屬性標注程序，把提取出的聲音特征屬性放置到特征索引庫中，完成對Flash電影中聲音特征屬性的標注。

Flash聲音特征屬性的提取平臺包括兩部分：提取聲音特征屬性和保存聲音特征屬性。通過分析Flash電影中定義播放事件音頻的Define-Sound標簽、Start-Sound1標簽、Start-Sound2標簽分析提取事件音頻的特征屬性；通過分析Sound-Stream-Head1標簽、Sound-Stream-Head2標簽等分析流式音頻的特征屬性。提取的聲音的特征屬性有Flash電影中聲音的數(shù)量、ID、聲音的類型以及事件聲音的采樣率、位分辨率、聲道，流式聲音還添加了播放采樣率、播放位分辨率、播放聲道信息。提取的聲音特征屬性可以以txt文檔的形式保存到電腦上。如圖1所示為Flash電影聲音的特征提取界面。

圖1 Flash電影聲音的特征屬性提取界面

5 實驗結(jié)果及分析

碩思閃客精靈是一款用于瀏覽和解析Flash電影（.swf文件和.exe文件）的工具。它能夠?qū)lash電影中的圖片、矢量圖、聲音、字體、文字、按鈕、影片片段、幀等基本元素完全分解，還可以對flash影片動作（Action）進行解析，清楚地顯示其動作的代碼，讓您對Flash動畫的構(gòu)造一目了然。

我們以碩思閃客精靈反編譯的聲音元素個數(shù)作為標準，評價我們所開發(fā)的Flash聲音特征屬性的提取平臺的查準率和查全率，公式1、2所示為查準率、查全率的計算公式。通過對Flash電影樣本庫中每一類的100個Flash電影文件進行分析，得到每一類中100個電影所含的元素個數(shù)，求得每一類Flash電影中這個元素的平均個數(shù)。所以表中的平臺提取元素個數(shù)和碩思提取的元素個數(shù)都是指每一類Flash電影所包含的平均元素個數(shù)。

查準率=平臺提取元素個數(shù)/平臺提取的元素總數(shù) （1）

查全率=平臺提取元素個數(shù)/碩思軟件提取元素總數(shù)（2）

表5 Flash電影聲音元素分析統(tǒng)計表

表5所示為Flash電影聲音元素分析統(tǒng)計表。如表所示，F(xiàn)lash電影中MTV、動畫、廣告類聲音元素的查準率達到100%，查全率都在85%以上，課件、游戲兩類Flash電影的查準率分別為99.86%、89.03%，查全率都是100%，提取效果較好，達到了實驗?zāi)繕?。Flash電影聲音內(nèi)容特征提取平臺對聲音的提取分為對事件聲音的提取和對流式聲音的提取。事件聲音的提取是按照Define-Sound定義標簽，流式聲音的提取是按照Sound-Stream-Head1標簽、Sound-Stream-Head2標簽。MTV、動畫、廣告類Flash動畫中以流式聲音為主，包含少量的事件聲音。在提取過程中是按照Sound-Stream-Head1標簽或Sound-Stream-Head2標簽來計算流式聲音的數(shù)量，在實際Flash電影文件中有些流式聲音塊被事件聲音隔開，提取平臺依舊算作一個聲音，而在碩思閃客精靈軟件中則算作兩個聲音，所以MTV、動畫、廣告類平臺提取的聲音個數(shù)會偏少。課件、游戲類Flash電影中主要包含事件聲音，文件中可能包含流式聲音SoundStreamHead1標簽或Sound-StreamHead2標簽，而后面并沒有流式聲音塊，沒有流式聲音，提取平臺卻當成了一個聲音，所以平臺提取的課件、游戲類聲音會偏多，出現(xiàn)查準率偏差。

[1]Kim Y.A Temporal Locality-Aware Page-Mapped Flash Transla- Layer[J].Journal of Computer Science&Technology，2013：1026-3.

[2]任曉芳.基于Flash動畫的自適應(yīng)多媒體流在跨設(shè)備視頻會議中用[J].科學(xué)技術(shù)與工程，2014，11(31)：262-268.

[3]王岳平.Flash電影中圖形特征的提取與研究[J].棗莊學(xué)院學(xué)報，2015，32(2)：135-139.

[4]邵長俠.Flash組成元素的內(nèi)容特征提取與標注研究[D].山東師范大學(xué)，2012.

[5]石朝暉.Flash技術(shù)在動畫電影中的應(yīng)用研究[J].電影文學(xué)，2012，(15)：52-53.

[6]蔡鵬.Flash動畫在網(wǎng)頁制作中的應(yīng)用及相關(guān)探討[J].電子技術(shù)與軟件工程，2013，(19)：90.

[7]錢翔.動感視覺——試論電影蒙太奇藝術(shù)表現(xiàn)手法在Flash動畫中的運用[J].科技資訊，2010，(5)：240.