多屏軟拼接系統(tǒng)的設計與實現(xiàn)

高紅霞， 郜 偉

(1.河南工程學院 計算機科學與工程系，河南 鄭州 451191；2.信息工程大學 理學院，河南 鄭州 450000)

近年來，多屏顯示在監(jiān)控、指揮、調度、公安、消防、軍事、氣象等領域獲得了越來越廣泛的應用.應用時，通常需要將多個屏幕或投影儀拼接成一個大的屏幕，以滿足顯示的需求.在此類系統(tǒng)中，視頻畫面的分割一直是核心問題之一.為達到優(yōu)良的顯示效果，一般選擇基于硬件的視頻畫面分割器來實現(xiàn)畫面的分割.目前，多屏系統(tǒng)中比較有代表性的是VATION PRO多屏圖像處理器和QIWEI-2003多屏拼接技術，這兩種系統(tǒng)都能提供優(yōu)良的畫面效果，但其昂貴的硬件成本及高端的定位無法滿足大部分普通用戶的需求.對于那些對畫面質量要求不是太高的普通用戶，低成本實現(xiàn)大面積的顯示才是其需要的.本文主要研究利用軟件的方法來處理視頻畫面分割，以解決成本問題.

圖1 系統(tǒng)總體流程圖Fig.1 Overall system flow chart

1 系統(tǒng)的總體設計

1.1 系統(tǒng)的總體流程

系統(tǒng)的總體設計如圖1所示.用戶在服務器界面選擇發(fā)送桌面工作模式或發(fā)送視頻文件工作模式，服務器根據(jù)局域網(wǎng)內連接的客戶端數(shù)目確定分割方案，把桌面或視頻文件畫面劃分為相適應的塊數(shù)，并根據(jù)用戶的發(fā)送配置以壓縮視頻流的形式為各客戶端發(fā)送適當?shù)漠嬅嬉詽M足客戶端上顯示屏空間分布的需求.客戶端接收服務器發(fā)來的視頻流信息后，通過譯碼解壓重建畫面并向服務器端發(fā)送主機IP等有關信息.

1.2 系統(tǒng)服務器端功能模塊的劃分

從系統(tǒng)流程可以看出服務器端應實現(xiàn)如下功能：

(1)服務器端以視頻流的形式發(fā)送本機桌面到客戶端，并根據(jù)鏈接的客戶端數(shù)目智能選擇劃分塊數(shù)；

(2)服務器端以視頻流的形式為客戶端播放視頻文件，并根據(jù)鏈接的客戶端數(shù)目智能選擇劃分塊數(shù)；

(3)服務器端為客戶端選擇所顯示的內容以滿足客戶端顯示屏空間分布的需求.

總的來說，服務器端主要完成桌面及視頻文件的捕獲、視頻的分割、視頻發(fā)送、視頻壓縮等功能，其功能模塊也就相應地分為桌面捕獲處理模塊、視頻文件捕獲處理模塊、視頻分割處理模塊和視頻發(fā)送處理模塊[1].

①桌面捕獲處理模塊

該模塊利用DirectShow提供的PushSource Desktop濾波器捕獲實時的桌面畫面，輸出一個未壓縮的Video信號.

②視頻文件捕獲處理模塊

該模塊利用DirectShow提供的File Source濾波器捕獲視頻文件，輸出一個已編碼的Stream信號.

③視頻分割處理模塊

該模塊接收未壓縮的視頻流信號，根據(jù)連接的客戶端數(shù)目對流信號進行分割，輸出相應個數(shù)的未壓縮流信號.

④視頻發(fā)送處理模塊

該模塊把分割后的流信號進行壓縮后再發(fā)送到相應客戶端.這里，服務器端可以設置分割后視頻流信號的流向.

1.3 系統(tǒng)服務器端的軟件構架設計

本文采用DirectShow編程技術，盡可能使用其本身提供的濾波器(Filter).要實現(xiàn)服務器功能，只需自行開發(fā)一個能接收上游濾波器傳來的視頻流信息并根據(jù)分割方案把視頻畫面劃分為相應塊數(shù)、之后把分割處理后的視頻流信息提供給Filter Graph中下游濾波器進行下一步處理的Transform Filter.

由服務器功能可知，F(xiàn)ilter Graph的構建并不是固定的，在不同的工作模式和分割方案下有不一樣的Filter Graph.下面以發(fā)送視頻文件模式下劃分2個畫面為例說明Filter Graph的構建，如圖2所示.

圖2 發(fā)送視頻文件并劃分兩畫面的Filter GraphFig.2 Send video and divide into two screen Filter Graph

圖2中，A部分的構建取決于選擇何種工作模式，在選擇發(fā)送視頻文件的情況下，服務器將選取上圖的3個Filter.File Source完成視頻文件的捕獲工作；Splitter把接收的視頻信息分離為視頻流和音頻流，在這里我們只需要視頻流；Ffdshow Video Decoder解碼所接收的視頻流.這3個Filter都是 DirectShow本身所提供的，它們共同構成了服務器的視頻捕獲處理模塊.圖2中，VidoeCut Fliter根據(jù)分割方案把接收的視頻流進行畫面劃分，分塊后的視頻流通過相應接口傳往下游Filter.這個Filter需要自行開發(fā)，DirectShow本身并沒有滿足需要的Filter，VidoeCut Filter單獨構成了服務器的視頻分割處理模塊.圖2中，B部分為服務器的發(fā)送處理模塊，其構建由分割方案所決定，采用動態(tài)加入Filter的形式，分割為幾塊就為幾個VidoeCut Filter的輸出接口.創(chuàng)建下游Filter鏈路，把分割后的視頻流進行壓縮并發(fā)送.其中，A部分在發(fā)送桌面工作的模式下時，F(xiàn)ilter組成如圖3所示.

圖3 桌面捕獲處理模塊Fig.3 Desktop capture processing module

由圖3可知，桌面捕獲處理模塊也由一個Filter構成，其捕獲的視頻流未經編碼和壓縮可直接傳往視頻分割處理模塊.

服務器端設計為發(fā)送桌面和發(fā)送視頻文件兩種工作模式，一方面是考慮到盡可能使用DirectShow本身提供的Filter，降低開發(fā)難度；另一方面也考慮到了發(fā)送桌面和發(fā)送視頻文件時捕獲幀率的要求不一樣，分開處理能減輕網(wǎng)絡通信的負載.

2 系統(tǒng)模塊的設計與實現(xiàn)

在服務器端中使用DirectShow提供的Filter完成一些底層相關內容的操作，大大降低了系統(tǒng)開發(fā)的難度.我們只需知道每個Filter的輸入和輸出，而無需了解它是如何實現(xiàn)的.在服務器端主要實現(xiàn)了視頻分割Filter(VideoCut Filter).

2.1 視頻分割Filter的設計

圖4 VideoCut Filter基本框架Fig.4 VideoCut Filter basic framework

本視頻分割Filter(VideoCut Filter)負責從上方的Filter接收視頻流數(shù)據(jù)，按照分割方案處理后，發(fā)送到下游視頻發(fā)送處理模塊，屬于Transform Filter類型.

本文設計Filter的最大分割塊數(shù)為4塊，對每一塊提供預覽接口，VideoCut Filter的基本框架見圖4.

2.1.1 Filter及其Pin口的基類選型

視頻分割VideoCut Filter選擇CTransformFilter作為VideoCut Filter的基類.因為，VideoCut Filter Crossbar Filter實現(xiàn)的是單輸入、多輸出的Filter，需要將輸入sample寫入到新的輸出buffer中，這種情況一般選CTransformFilter作為基類.

當Filter的基類選定了之后，Pin的基類也就相應選定了.VideoCut Filter輸出Pin的實現(xiàn)，需要實現(xiàn)基類所有的純虛函數(shù)，除了CheckMediaTyp進行媒體類型檢查外，還有GetMediaTyp提供支持的媒體類型，DecideBufferSize決定Sample使用內存的大小，F(xiàn)illBuffer為即將傳送出去的Sample填充數(shù)據(jù).

2.1.2 分割原理

在DirectShow提供的CTransformFilter類中，上游Filter傳來的視頻流媒體結構中有一個bmiHeader數(shù)據(jù)成員，這個成員是BITMAPINFOHEADER結構[2]，這個結構的定義如下:

Typedef struct tagBITMAPNFOHEADER{

DWORD biSize;

LONG biWidth;

LONG biHeight;

WORD biplanes;

WORD biBitCount;

DWORD biCompression;

DWORD biSizeImage;

LONG biXPelsPerMeter;

LONG biYPelsPerMeter;

DWORD biClrUsed;

DWORD biClrImportant;

}BITMAPNFOHEADER;

這個結構有兩個結構成員，biWidth 和biHeighto.

視頻流媒體結構中還有一個rcSource數(shù)據(jù)成員，同時也有一個rcTarget成員，這里我們假設有兩個Filter A和B，假如這兩個Filter與視頻流媒體數(shù)據(jù)類型相連，A在左邊，是上游的filter ，B在右邊，是下游的Filter.在這兩個Filter間傳遞的buffer具有一定的尺寸，可以用bmiFleader.biWidth，bmiFleader.biFleight來標記.

Filter A接收到輸入視頻流后,將該輸入視頻的一部分擴展填充到buffer里面的rcTarget區(qū)域中，填充的部分的大小根據(jù)rcSource和輸出數(shù)據(jù)媒體類型的大小而定,也就是rcSource和biWidth, biHeight比較.如果rcSource為空，F(xiàn)ilter A就會將全部的輸入pin拷貝到rcTarget;如果rcTarget為空，那么Filter A就會將視頻填充到整個的輸出buffer中.

例如：假定Filter A接收的視頻圖像為160*120單位為像素，假定A和B連接的時候采用如下的數(shù)據(jù)類型：

(biWidth， biHeight): 320，240

RcSource：(0， 0， 0， 0)

RcTarget：(0， 0， 0， 0)

這就意味著Filter A就會將它接收到的視頻數(shù)據(jù)x方向和Y方向乘以2以后填充到320*240的輸出bufer中.

本文設置的視頻圖像分辨率為1 280*800像素.對stream00～stream11，相應的構造RcSource00～ RcSource11，在不同分割方案下“RcSource”的值也不一樣.分成4塊時,媒體類型設置如下：

Stream00：

(biWidth， biHeight)： 1280，800

rcSource00：(0， 0， 640，400)

rcTarget00：(0，0， 0，0)

即Stream00輸出的視頻圖像為原視頻圖像的左上角1/4圖像擴展為1 280*800像素分辨率后的圖像.

Stream01：

(biWidth， biHeight)： 1280，800

rcSource01：(640， 0， 1280，400)

rcTarget01：(0，0， 0，0)

同樣的,Stream01輸出的視頻圖像為原視頻圖像的右上角.

Stream10：

(biWidth， biHeight)： 1280，800

rcSource10：(0，40 0， 640，400)

rcTarget10：(0，0， 0，0)

Stream10輸出的視頻圖像為原視頻圖像的左下角.

Stream11：

(biWidth， biHeight)： 1280，800

rcSource11：(640，400， 1280，800)

rcTarget11：(0，0， 0，0)

Stream11輸出的視頻圖像為原視頻圖像的右下角,分塊情況如圖5所示.

圖5 分塊示意圖Fig.5 Block diagram

圖6 視頻分割Filter工作流程Fig.6 Video segmentation Filter workflow

2.1.3 工作流程

視頻分割Filter的工作流程如圖6所示.

在開發(fā)Filter時重寫了GetMediaTyp虛函數(shù)，根據(jù)分割方案為每個rcSource和rcTarget指定不同的媒體類型，以實現(xiàn)畫面分割效果.

2.1.4 服務器端內容的智能劃分

服務器端根據(jù)實際成功連接客戶端的數(shù)目，自動將服務器端的顯示內容劃分為客戶端個數(shù)的塊數(shù)，顯示內容的排列方式需要根據(jù)實際的要求進行手工調節(jié)，具體劃分過程如圖7所示.

圖7 服務器端內容智能劃分過程Fig.7 Server-side content divide into the process of intelligence

2.2 桌面及視頻文件捕獲模塊的設計

(1)桌面捕獲模塊利用DirectShow提供的PushSource Desktop濾波器來捕獲即時的桌面畫面[3].PushSource Desktop濾波器的基本構架如圖 8所示.

PushSource Desktop濾波器捕獲桌面畫面后輸出媒體格式為：

Major Type:Video

Sub Type:RGB32

Format:RGB 1280*800,32bit

圖8 PushSource Desktop 濾波器Fig.8 PushSource Desktop filter

rcSrc=(0,0,0,0)

rcDst=(0,0,0,0)

PushSource Desktop濾波器中捕獲的幀率有如下幾種

// UNITS = 10 ^ 7

// UNITS / 30 = 30 fps;

// UNITS / 20 = 20 fps, etc

const REFERENCE_TIME FPS_30 = UNITS / 30;

……

……

const REFERENCE_TIME FPS_1 = UNITS / 1;

本文設置為FPS_5，即幀率為5 fps.

(2)視頻文件的捕獲部分主要利用DirectShow提供的File Source濾波器捕獲視頻文件.File Source濾波器基本構架如圖9所示.

圖9 File Source濾波器Fig.9 File Source filter

File Source濾波器提供了一個輸出接口和一個預覽接口，輸出的媒體格式與源文件有關，例如源文件為AVI格式，則輸出媒體格式為：

Major Type: Stream - Video

Sub Type: Avi

GUID_NULL

利用預覽接口我們可以看到捕獲的效果.

2.3 服務器端界面設計

一個好用的程序應當有友好的界面，服務器端界面的設計如圖10所示.界面左邊顯示了當前連接的客戶端數(shù)目、本機IP、桌面捕獲的預覽屏幕和發(fā)送控制；右邊顯示了分塊預覽屏幕，各屏幕下的組合框用于選擇本塊發(fā)送的方向.服務器默認選擇為發(fā)送桌面，當有客戶端連接時，系統(tǒng)根據(jù)連接數(shù)自動選擇分塊方案(最多分為4塊)，單擊開始發(fā)送之后，左側預覽屏幕出現(xiàn)本機桌面圖像，右側預覽屏幕出現(xiàn)桌面分塊后的圖像，在組合框中選擇本塊發(fā)往的主機IP.點擊發(fā)送視頻選擇框，再單擊開始發(fā)送，則首先彈出文件瀏覽對話框，之后的控制與發(fā)送桌面一樣，此時預覽屏幕顯示視頻文件畫面.

圖10 桌面捕獲Fig.10 Desktop capture

3 結論

隨著多媒體技術的飛速發(fā)展，視頻技術已在越來越多的領域中得到了廣泛應用.本文主要研究采用DirectShow系統(tǒng)來實現(xiàn)多屏軟拼接系統(tǒng)服務器端的桌面捕獲、視頻文件捕獲和視頻分割.隨著技術的不斷發(fā)展，視頻分割的準確率將會越來越高，拼接效果也會越來越好，人為交互將會減少，而運算的成本會越來越低.

參考文獻：

[1] 陸其明.DirectShow實務精選[M].北京：科海電子出版社，2004：45-49.

[2] 許宏竹.基于DirectShow的流媒體的應用和研究[M].北京：北京郵電大學出版社，2007：63-73.

[3] 邱換春.基于嵌入式Linux和DirectShow的網(wǎng)絡攝像機軟件設計[M].合肥：合肥工業(yè)大學出版社，2009：36-58.