流媒體中的非音視頻信息及其與流媒體信息的同步顯示

陽昌珠+康正海+李海濤+吳金+覃娟媚

摘 要：本文提出了一種利用流媒體作為載體存儲(chǔ)和記錄非音視頻信息的方法，以及一種在顯示流媒體信息的時(shí)候同步顯示非音視頻信息的方法。利用這種方法，不僅可以利用流媒體做為信息加密的載體，還可以利用靜態(tài)數(shù)字圖像作為信息加密的載體，即，這種方法實(shí)際上是一種數(shù)字信息加密和傳輸?shù)姆椒ā?/p>

關(guān)鍵詞：信息加密，多信息同步，流媒體，圖像，載波，載體

一、概論

眾所周知，流媒體這個(gè)概念在過去通常是特指在傳輸過程中的音、視頻信息流，現(xiàn)在泛指一切可以通過電磁方式傳播的正在傳輸介質(zhì)上的動(dòng)態(tài)信息和在可以交換的電磁介質(zhì)上存儲(chǔ)著的靜止信息，這些被存儲(chǔ)著的靜止信息通常又是以電子文件的形式存在著。本文所述的流媒體是特指傳輸中的音、視頻信息或存儲(chǔ)著的音、視頻文件和單張圖像文件或由單張圖像集合構(gòu)成的包含有多張圖像的文件。

本文介紹一種以流媒體作為載體存儲(chǔ)和記錄非音頻、非視頻信息或非圖像信息的方法以及一種在顯示流媒體信息的時(shí)候同步顯示其上存在的非音頻、非視頻信息或非圖像信息的方法。利用這種方法，還可以利用流媒體做為信息加密的載體，亦即從中也揭示了另一種數(shù)字信息加密和傳輸?shù)姆椒ā?/p>

二、原理

根據(jù)人類的視覺特性，在一幅圖像當(dāng)中，如果失真是平均分布的，特別是在顏色方面，只要不大于1%，是不容易分辨出來的。也就是說，在數(shù)字圖像的記錄與還原的過程，如果在圖像文件當(dāng)中記錄有不大于1%的不是原來圖像應(yīng)該有的信息，那么在還原之后顯示出來時(shí)，人眼是難以辨別得出來的。

同理，人類的聽覺也一樣具有其局限性，在一段音頻流中，如果失真也是平均分布的，特別是低頻部分，只要不大于0.1%，那么也是是不容易分辨出來的。也就是說，在數(shù)字音頻的記錄與還原的過程，如果在音頻文件當(dāng)中記錄有不大于0.1%的不是原來音頻信息所應(yīng)該有的信息，那么在還原之后再通過電聲系統(tǒng)播放出來時(shí)，人的耳朵也是難以辨別得出來的。

在模擬電視時(shí)代，根據(jù)電視的傳播與電視機(jī)的工作原理，我們?cè)陔娨暀C(jī)前看到的PAL制式電視圖像是以25幀每秒的速度出現(xiàn)的，當(dāng)采用隔行掃描時(shí)，顯示在我們眼前的實(shí)際上是50幅每秒的圖像信息，而每幅圖像又是以一行一行地從上到下進(jìn)行掃描顯示的。在這過程中，兩幅圖像信息之間須要有一組叫做場同步號(hào)的同步信號(hào)，如圖2，1所示，兩行圖像之間也須要一組叫做行同步的同步信號(hào)，如圖2.2所示。

在數(shù)字多媒體時(shí)代，雖然音頻、視頻的傳輸不完全象過去的電視信號(hào)傳輸那樣，但類似行、場同步信號(hào)的信息是少不了的，即同樣有表示幀開始和行開始的信息。在計(jì)算機(jī)顯示屏上顯示時(shí)，雖然不一定滿屏顯示，但在窗口顯示時(shí)，也少不了幀同步信息和行同步信息，要不然無法地看到一幅穩(wěn)定的視頻圖像。記錄和播放音頻時(shí)也同樣須要同步信息。

三、記錄方法

3.1、在流媒體中設(shè)置非音頻、非視頻信息幀

在數(shù)字多媒體里，哪幀為音頻、哪幀為視頻是需要明確表示出來的，不然就無法正確地還原、播放出來。也就是說，在解碼流媒體或播放多媒體文件時(shí)，遇到本幀數(shù)據(jù)是音頻數(shù)據(jù)時(shí)，播放器就會(huì)用音頻方式把它播放出來；如果遇到本幀數(shù)據(jù)是視頻數(shù)據(jù)，播放器就會(huì)用視頻方式把它播放出來；如果不知道本幀數(shù)據(jù)是音頻還是視頻，那么就會(huì)把它忽略掉，即不把它們還原出來。

利用多媒體播放器會(huì)自動(dòng)忽略那些非音頻、非視頻的數(shù)據(jù)這一基本功能，我們就可以制造一些多媒體播放器不認(rèn)識(shí)的數(shù)據(jù)幀，從而把那些非音頻、非視頻的信息數(shù)據(jù)加載其上，如圖3.1所示。

在圖3.1中展示的是在錄制視頻信息數(shù)據(jù)時(shí)插入非視頻信息幀的例子。如果要使這些非視頻信息在播放視頻信息時(shí)，在時(shí)間上同步于視頻信息出現(xiàn)的時(shí)刻再現(xiàn)出來，一方面需要使用能夠解析這些非視頻信息幀的專用播放器，另一方面就是要在錄制時(shí)，在需要記錄的“非視頻信息”出現(xiàn)的時(shí)刻及時(shí)插入一幀“非視頻信息幀”。

同理，當(dāng)記錄“非視頻信息”的載體是音頻信息流時(shí)，同樣可以插入包含記錄的“非音頻信息幀”，達(dá)到異曲同工的效果。

3.2、在流媒體幀中加載非音頻、非視頻信息塊

我們知道，在一幅圖像當(dāng)中，如果失真是平均分布的，特別是在顏色方面，只要不大于1%，是不容易分辨出來的。因此，在視頻幀內(nèi)部加載非視頻信息塊是可行的，如圖3.2所示。

在圖3.2中，非視頻信息是以“塊”的形式嵌入到視頻幀內(nèi)部的。在同步再現(xiàn)方面，這種方法相對(duì)于3.1提出的方法來說，非視頻信息出現(xiàn)的時(shí)間相對(duì)于視頻信息出現(xiàn)的時(shí)間之間的相對(duì)誤差會(huì)更小。

如果在某個(gè)時(shí)刻同時(shí)出現(xiàn)的非音頻信息量太大，那么上述提出的方法3.2就不太適用于把非音頻信息加載到音頻媒體上。

3.3、在視頻同步信號(hào)出現(xiàn)期間插入非視頻信息

當(dāng)需要加載到流媒體的非視頻信息在同一時(shí)刻出現(xiàn)的量不大時(shí)，我們還可以把它嵌入到視頻信號(hào)的同步區(qū)域，這樣在播放時(shí)，非視頻信息出現(xiàn)的時(shí)間相對(duì)于視頻信息出現(xiàn)的時(shí)間之間的誤差會(huì)更小，更適合于應(yīng)用到對(duì)時(shí)間同步的要求更高的領(lǐng)域。

圖3.3是一種把非視頻信息插入到視頻信息的場同步區(qū)域的方法示意圖，圖3.4是一種把非視頻信息插入到視頻信息行同步區(qū)域的方法示意圖。如果要求在播放時(shí)非視頻信息出現(xiàn)的時(shí)間相對(duì)于視頻信息出現(xiàn)的時(shí)間之間的誤差更小，那么后者方法會(huì)比前者方法更佳。

四、展現(xiàn)方法

在第三部份介紹的加載有非音頻、非視頻的流媒體或?qū)?yīng)的電子存儲(chǔ)文件，沒有相應(yīng)功能的播放器在播放時(shí)會(huì)自動(dòng)地把那些非音頻、非視頻信息忽略掉而只播放正常的音頻、視頻信息，要把那些非音頻、非視頻信息正確地提取出來，并且還要保持與音頻、視頻出現(xiàn)的時(shí)間同步地再現(xiàn)出來，必需要由專用的多信息同步播放器來播放才行。

前述的加載在流媒體的非音頻、非視頻信息，是指原本不應(yīng)存在于其中的音頻和/或視頻信息，但它們?nèi)匀豢梢允潜硎灸撤N音頻和/或視頻的信息數(shù)據(jù)，也可是表示某種圖像信息的數(shù)據(jù)，或者是某些物理量的開、關(guān)狀態(tài)以及反映某些物理量的強(qiáng)弱或大小的信息數(shù)據(jù)，甚至還可以是一系列文檔信息數(shù)據(jù)等等。在同步再現(xiàn)時(shí)要根據(jù)不同信息種類要求來制作相應(yīng)人機(jī)界面。如：

4.1、加載在流媒體非音頻、非視頻信息為圖像信息數(shù)據(jù)時(shí)，那么從在流媒體中取出來的非音頻、非視頻信息就需要在人機(jī)界面上實(shí)時(shí)顯示這些數(shù)據(jù)對(duì)應(yīng)的圖像，當(dāng)這些數(shù)據(jù)表示的是多幅圖像時(shí)，表現(xiàn)出來的現(xiàn)象也許象動(dòng)畫或短、小視頻。

4.2、加載在流媒體非音頻、非視頻信息為MIS系統(tǒng)的管理信息時(shí)，那么從在流媒體中取出來的非音頻、非視頻信息就需要顯示在相應(yīng)的信息管理系統(tǒng)界面上。如柳州桂通科技股份有限公司研發(fā)的“桂通駕駛?cè)笋{駛技能考試與培訓(xùn)系統(tǒng)”。

4.3、加載在流媒體非音頻、非視頻信息為自動(dòng)生產(chǎn)線的檢測或控制數(shù)據(jù)信息時(shí)，那么從在流媒體中取出來的非音頻、非視頻信息就需要相應(yīng)的儀器、儀表和控制設(shè)備來支持，使這些檢測數(shù)據(jù)能夠?qū)崟r(shí)地通過儀器、儀表和控制設(shè)備反映出來。

五、應(yīng)用實(shí)例

本文介紹的流媒體中的非音視頻信息及其與流媒體信息的同步顯示的方法，可以廣泛地應(yīng)用在數(shù)字信息加密、數(shù)字保密信息傳輸、自動(dòng)控制過程監(jiān)控、工業(yè)無紙記錄儀、行車記錄儀、交通道路及路口紅綠燈等指揮信號(hào)監(jiān)視、機(jī)動(dòng)車駕駛?cè)笋{駛技能考試系統(tǒng)等。

在工業(yè)自動(dòng)控制生產(chǎn)線上，特別是研發(fā)、調(diào)試過程中，對(duì)那些不同的控制數(shù)據(jù)所產(chǎn)生的不同的表現(xiàn)現(xiàn)象，在過去是用肉眼觀察和人腦記憶并結(jié)合筆錄設(shè)置參數(shù)的，后來有了錄像機(jī)就用它代替人腦對(duì)現(xiàn)象進(jìn)行記錄。這些記錄下來的現(xiàn)象數(shù)據(jù)和影響這些現(xiàn)象的過程控制參數(shù)的實(shí)際值之間，在事后離線分析時(shí)，它們之間再次出現(xiàn)時(shí)的時(shí)間差是難以得到穩(wěn)定的相對(duì)值的。但用本文介紹的方法就不同了，它不管什么時(shí)候回放所記錄的音頻、視頻數(shù)據(jù)，只要有相應(yīng)的人機(jī)界面設(shè)備，那么當(dāng)時(shí)現(xiàn)場的產(chǎn)生聲音和視頻現(xiàn)象、儀器和儀表數(shù)據(jù)、執(zhí)行機(jī)構(gòu)接收到的控制數(shù)據(jù)、執(zhí)行機(jī)構(gòu)的動(dòng)作等現(xiàn)場實(shí)時(shí)數(shù)據(jù)和現(xiàn)象，除了時(shí)間是回放時(shí)間而不過去錄制時(shí)這些信息產(chǎn)生的實(shí)時(shí)時(shí)間外，它們之間是同步的，即具有穩(wěn)定的相對(duì)時(shí)間差值。

利用本文介紹的流媒體中的非音視頻信息及其與流媒體信息的同步顯示的方法，還可以通過播放所記錄的音像文件實(shí)現(xiàn)對(duì)不很復(fù)雜的自動(dòng)程序控制生產(chǎn)線進(jìn)行復(fù)制，降低控制中心的主控設(shè)備投資成本和縮短安裝、調(diào)試等建設(shè)周期。

六、結(jié)束語

本文介紹技術(shù)已在柳州桂通科技股份有限公司生產(chǎn)的“桂通駕駛?cè)笋{駛技能考試與培訓(xùn)系統(tǒng)”上得到了應(yīng)用，并已獲得了國家知識(shí)產(chǎn)權(quán)局頒發(fā)的多件軟件著作權(quán)證書，也已獲得了國家專利局受理的多項(xiàng)發(fā)明專利申請(qǐng)（申請(qǐng)?zhí)?015 1 1018182.6、2015 1 0125236.2、2015 1 0125158.6、2015 1 0124128.3、2015 1 0124127.9、2015 1 0124129.8、2015 1 0311512.4、2015 1 0310713.2），還提交了PCT申請(qǐng)（受理號(hào)PCT/CN2016/076796）。其應(yīng)用產(chǎn)品均已通過了“公安部交通安全產(chǎn)品質(zhì)量監(jiān)督檢測中心”檢驗(yàn)。

參考文獻(xiàn)：

[1]清華大學(xué)出版社《數(shù)字圖像處理與分析》 趙榮椿 等著

[2]清華大學(xué)出版社《數(shù)字圖像處理與圖像通信》 藍(lán)章禮 等著

[3]中國傳媒大學(xué)出版社《電視攝像》任金州 等著

[4]中國傳媒大學(xué)出版社《數(shù)字視頻壓縮及其標(biāo)準(zhǔn)》 胡國榮 著

[5]中國傳媒大學(xué)出版社《數(shù)字聲音廣播》 李 棟 著

[6]浙江大學(xué)出版社《電視機(jī)原理與實(shí)踐》 應(yīng)伯根 著