基于NiosII的內(nèi)窺鏡視頻和字符顯示系統(tǒng)設(shè)計(jì)

徐 超，李丕丁，孫榮貴，曾紅雨

(上海理工大學(xué) 醫(yī)療器械與食品學(xué)院，上海 200093)

基于NiosII的內(nèi)窺鏡視頻和字符顯示系統(tǒng)設(shè)計(jì)

徐 超，李丕丁，孫榮貴，曾紅雨

(上海理工大學(xué) 醫(yī)療器械與食品學(xué)院，上海 200093)

傳統(tǒng)內(nèi)窺鏡大多基于計(jì)算機(jī)從而導(dǎo)致設(shè)備龐大、不易攜帶。為此，文中設(shè)計(jì)了一種脫離計(jì)算機(jī)的內(nèi)窺鏡視頻顯示系統(tǒng)，并基于該系統(tǒng)提出一種字符疊加方案。該系統(tǒng)是以FPGA為主控芯片，在FPGA芯片內(nèi)部搭建Nios II處理器，采用視頻解碼芯片、編碼芯片及相關(guān)外設(shè)，實(shí)現(xiàn)了內(nèi)窺鏡硬件系統(tǒng)的構(gòu)建。并對(duì)系統(tǒng)的視頻數(shù)據(jù)處理流程、ITU656數(shù)據(jù)協(xié)議、圖像字符疊加原理和相關(guān)程序設(shè)計(jì)思想進(jìn)行了闡述。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)實(shí)現(xiàn)了內(nèi)窺鏡在串口控制下的字符和圖像的疊加，具有電路結(jié)構(gòu)簡(jiǎn)單、低成本、體積小、設(shè)計(jì)靈活等特點(diǎn)。

Nios II；ITU656；字符疊加；UART

在使用內(nèi)窺鏡過程中，內(nèi)窺鏡采集到圖像后，有時(shí)需要對(duì)視頻圖像中某些特征來(lái)進(jìn)行說(shuō)明。因此，必然需要疊加一些字符信息在視頻圖像上。因而在實(shí)際應(yīng)用中具有比較重要的作用。從字符疊加的工作原理以及硬件電路的構(gòu)成來(lái)看，目前有3種現(xiàn)實(shí)方案[1]。第一種是通過使用中小規(guī)模時(shí)序集成電路并且按照各個(gè)部分之間的時(shí)序要求來(lái)實(shí)現(xiàn)視頻圖像和字符的疊加，這種方式搭建的電路比較龐大復(fù)雜，只適用于單路設(shè)計(jì)，并且容易受到干擾，顯示的字符數(shù)也有限。目前由于專用的集成芯片和單片機(jī)的發(fā)展，該方式基本被淘汰；第二種方案是基于單片機(jī)利用軟件來(lái)實(shí)現(xiàn)硬件掃描電路，它的優(yōu)點(diǎn)在于成本低，并且能夠?qū)崿F(xiàn)多路時(shí)間字符疊加。但是缺點(diǎn)在于字符過多就會(huì)導(dǎo)致單片機(jī)硬件要求跟不上，很難保證顯示的連續(xù)性；第三種方案是使用專門的字符疊加芯片，目前國(guó)外推出了很多該種類芯片。芯片內(nèi)部可以固化多種語(yǔ)言的字模，還具有調(diào)整顯示字符的位置、大小、背景色等功能，雖然功能比較強(qiáng)大，但有時(shí)通用性會(huì)差一些。上述的幾種方案大多數(shù)都是直接在視頻模擬信號(hào)上進(jìn)行字符信號(hào)的疊加，在模擬信號(hào)處理上也具有一定的局限性。

隨著現(xiàn)場(chǎng)可編程門陣列(Field Programmable Gate Array，F(xiàn)PGA)相關(guān)技術(shù)的發(fā)展，尤其是Nios II軟核處理器，設(shè)計(jì)者能夠選擇或添加合適的外設(shè)，獲得最合適的處理器，可以靈活地控制產(chǎn)品的成本和性能，從而擁有廣泛的應(yīng)用空間，因此它具有很高的靈活性、實(shí)用性。因此提出一種基于Nios II的內(nèi)窺鏡圖像和字符顯示方案。該方案FPGA負(fù)責(zé)搭建數(shù)字電路，Nios II軟核處理器則負(fù)責(zé)調(diào)用和控制這些電路，相當(dāng)于上述前兩種方案在同一塊芯片上實(shí)現(xiàn)。該方案處理的是經(jīng)過解碼芯片轉(zhuǎn)換的數(shù)字信號(hào)[2]，這種基于數(shù)字信號(hào)上的疊加使得顯示更穩(wěn)定，顯示格式和內(nèi)容更易修改，同時(shí)也降低了成本。

1 系統(tǒng)設(shè)計(jì)

顯示系統(tǒng)硬件電路主要是由解碼芯片、編碼芯片、視頻濾波芯片、FPGA和外部?jī)?chǔ)存芯片組成。視頻圖像來(lái)源于CMOS(Complementary Metal Oxide Semiconductor)攝像頭，它將圖像轉(zhuǎn)換成模擬視頻信號(hào)CVBS，輸出給解碼芯片，解碼芯片通過模數(shù)轉(zhuǎn)換和其它相關(guān)的處理將模擬視頻信號(hào)轉(zhuǎn)換為數(shù)字視頻信號(hào)并輸出給FPGA，F(xiàn)PGA中的圖像分離模塊將數(shù)字視頻信號(hào)中的數(shù)據(jù)進(jìn)行識(shí)別和提取，根據(jù)識(shí)別和提取的信息可以定位圖像中像素點(diǎn)的位置以及對(duì)應(yīng)亮度和色彩信息，為后面對(duì)圖像的字符疊加處理提供相應(yīng)的數(shù)據(jù)信息。處理過后的數(shù)字圖像最終通過編碼模塊生成顯示屏能夠識(shí)別的模擬信號(hào)。系統(tǒng)可以接受上位機(jī)通過串口(Universal Asynchronous Receiver/Transmitter，UART)發(fā)送的指令來(lái)控制是否顯示字符和顯示的位置。系統(tǒng)框圖如圖1所示。

圖1 系統(tǒng)設(shè)計(jì)框圖

2 系統(tǒng)硬件設(shè)計(jì)

2.1 FPGA

系統(tǒng)選用Altera公司的Cyclone III系列EP3C16Q240C8N芯片。它具有16 kB邏輯單元，288個(gè)數(shù)字信號(hào)處理(Digital Signal Processing，DSP)乘法器，存儲(chǔ)器達(dá)到0.5 MB。Cyclone III系列比前一代產(chǎn)品每邏輯單元成本降低20%，這樣FPGA可以使用在成本敏感的應(yīng)用中。它是使用了TSMC的65 nm低功耗工藝，可以提供豐富的邏輯、存儲(chǔ)器和DSP功能，功耗更低。因此選用該系列芯片在性能上不僅能滿足要求，在成本和功耗方面也有優(yōu)勢(shì)。

2.2 視頻解碼

由于國(guó)內(nèi)通常采用PAL(Phase Alteration Line)制式、YUV(4:2:2)采樣格式的視頻信號(hào)。TI公司生產(chǎn)的解碼芯片TVP5150[3]符合其要求。該芯片是超低功耗、支持PAL等格式的高性能視頻解碼器，正常工作時(shí)功耗僅有115 mW，并具有32引腳TQFP超小封裝?？梢越邮諆陕稢VBS或一路S-Video信號(hào)，通過I2C總線設(shè)置其內(nèi)部寄存器，可以輸出8位4:2:2的ITUBT.656信號(hào)。在兩路信號(hào)輸入的地方進(jìn)行了阻抗匹配設(shè)計(jì)，防止對(duì)輸入信號(hào)的反射。

2.3 視頻編碼

選用了ADI公司生產(chǎn)的一款多視頻通道輸出、高速數(shù)模視頻編碼器ADV7340[4]，可將數(shù)字亮度信號(hào)和色差信號(hào)轉(zhuǎn)換成CVBS模擬信號(hào)。采用3.3 V和1.8 V供電，有一個(gè)30位像素輸入端口，可以通過I2C(Inter Integrated Circuit)總線或SPI(Serial Peripheral Interface)總線對(duì)芯片內(nèi)部寄存器進(jìn)行配置。包含6個(gè)數(shù)模轉(zhuǎn)化器，可同時(shí)支持6路CVBS輸出，或者同時(shí)一路CVBS，一路Y/C，一路YPbPr輸出，并且數(shù)模轉(zhuǎn)化器具有自動(dòng)關(guān)斷的特性可以使功耗保持最低。

2.4 視頻濾波

為消除由采樣帶來(lái)的疊影，需要在數(shù)模轉(zhuǎn)換器后加一重建濾波器。視頻濾波器選用的是ADA4411[5]，它是一款六階可調(diào)視頻濾波器，截止頻率范圍為9 ～36 MHz?？梢则?qū)動(dòng)各種視頻信號(hào)(RGB、YUV等)，包括高清視頻，該器件可以采用5 V單電源或±5 V雙電源供電。若需要低功耗的應(yīng)用可以采用單電源工作模式。此外其還具有禁用特性，當(dāng)特定器件不用時(shí)，可大幅降低電源電流，從而進(jìn)一步降低功耗。因此該視頻濾波器可以使視頻顯示的質(zhì)量得到保證。

3 軟件設(shè)計(jì)

整個(gè)系統(tǒng)運(yùn)行過程中，首先要通過I2C總線對(duì)TVP5150和ADA4411進(jìn)行配置。配置完成后,TVP5150輸出位寬為8位，格式為YUV4:2:2的數(shù)字視頻信號(hào)。FPGA根據(jù)YUV的數(shù)據(jù)格式進(jìn)行處理并提取其中一些同步信號(hào)，為后面的字符疊加處理提供同步控制信號(hào)。因此在討論字符疊加原理之前，對(duì)于ITU656協(xié)議[6]有必要先進(jìn)行了解。

3.1 ITU656協(xié)議

ITU656協(xié)議是一種通用的數(shù)字視頻標(biāo)準(zhǔn)，量化比特為8或10，根據(jù)協(xié)議可以至少使用8根信號(hào)線就可傳輸視頻數(shù)據(jù)和同步信息，比傳統(tǒng)的方式少了11根信號(hào)線。采用8根信號(hào)線設(shè)計(jì)接口時(shí)，便于實(shí)時(shí)數(shù)據(jù)圖像處理硬件平臺(tái)以功能單元為單位進(jìn)行模塊化設(shè)計(jì)。由于使用的攝像頭輸出是CVBS[7]信號(hào),采用的是PAL制式[8],該制式的特點(diǎn)是：隔行掃描，每秒25幀圖像數(shù)據(jù)，每幀圖像數(shù)據(jù)包含625行并分奇偶場(chǎng)，具體幀間時(shí)序圖如圖2所示；由圖2可知根據(jù)3個(gè)同步信[9](HS、VS、F)可以區(qū)分出數(shù)據(jù)幀中的起始位置和結(jié)束位置，有效數(shù)據(jù)行和所處的奇偶場(chǎng)。從圖2中也可以看出625行數(shù)據(jù)中有效數(shù)據(jù)占有576行，其中奇偶場(chǎng)各占1/2。

圖2 幀間時(shí)序圖

按照協(xié)議規(guī)定，在每行數(shù)據(jù)中都包含兩個(gè)定時(shí)基準(zhǔn)信號(hào)，一個(gè)在每行數(shù)據(jù)的開始(SAV)，另一個(gè)在每行數(shù)據(jù)的結(jié)束(EAV)。每個(gè)定時(shí)基準(zhǔn)信號(hào)由4 Byte的序列組成。格式如下FF 00 00 XY(16進(jìn)制)，前3個(gè)是固定前綴，第4個(gè)包含場(chǎng)標(biāo)識(shí)、場(chǎng)消隱狀態(tài)和行消隱狀態(tài)的信息[10]，具體如表1所示。

表1 定時(shí)基準(zhǔn)信號(hào)狀態(tài)

每行數(shù)據(jù)中除了兩個(gè)定時(shí)基準(zhǔn)信號(hào)外，還包含有效的視頻數(shù)據(jù)和空數(shù)據(jù)，一共1 728 Byte。其中1 440 Byte為有效數(shù)據(jù)，對(duì)應(yīng)720個(gè)像素點(diǎn)的亮度信息(Y)和色差信息(Cb為藍(lán)色色差、Cr為紅色色差)。有效數(shù)據(jù)中亮度和色差信息是按照YUV[11](4：2：2)格式排列，如表2所示。

表2 720個(gè)像素YUV(4：2：2)數(shù)據(jù)格式

如表2所示，每個(gè)像素點(diǎn)都有一個(gè)亮度信號(hào)Y的采樣值，對(duì)于色差信號(hào)則采取隔點(diǎn)進(jìn)行采樣，比如表中，第一組色差數(shù)據(jù)是對(duì)第0個(gè)像素點(diǎn)進(jìn)行采樣，第二組數(shù)據(jù)則是對(duì)第2個(gè)像素點(diǎn)進(jìn)行采用。這樣相當(dāng)于720個(gè)像素點(diǎn)分成360組，每組像素點(diǎn)共用一組色差信號(hào)。

3.2 字符疊加

視頻字符疊加主要就是根據(jù)上述ITU656協(xié)議利用視頻中的行場(chǎng)同步信號(hào)來(lái)確定視頻數(shù)據(jù)對(duì)應(yīng)像素點(diǎn)的位置，再讀取ROM中的字符信息并與視頻數(shù)據(jù)特定位置疊加。因此顯示字符之前，必須要建立字符庫(kù)。字符庫(kù)是由字模生成工具生成，本系統(tǒng)顯示的字符量不大，因此將FPGA內(nèi)部的M4K[12]模塊配置成ROM，在ROM中儲(chǔ)存.mif格式的字符庫(kù)[13]。

接下來(lái)就要把視頻信號(hào)中的同步信號(hào)分離出來(lái)。為此本系統(tǒng)設(shè)計(jì)了視頻分離模塊，該模塊的輸入信號(hào)有：復(fù)位信號(hào)、時(shí)鐘信號(hào)和8位數(shù)據(jù)信號(hào)。時(shí)鐘信號(hào)是27 MHz的系統(tǒng)時(shí)鐘，數(shù)據(jù)信號(hào)則來(lái)源于TVP5150。輸出信號(hào)包含：8位視頻數(shù)據(jù)信號(hào)、行同步信號(hào)、奇場(chǎng)同步信號(hào)、偶場(chǎng)同步信號(hào)。例如當(dāng)接收到FF 00 00 80(奇場(chǎng)有效數(shù)據(jù))時(shí)，奇場(chǎng)同步信號(hào)拉高，偶場(chǎng)同步信號(hào)拉低。當(dāng)接收到FF 00 00 AB(奇場(chǎng)消隱)時(shí)，奇場(chǎng)同步信號(hào)拉低，偶場(chǎng)同步信號(hào)拉低。當(dāng)接收到FF 00 00 C7(偶場(chǎng)有效數(shù)據(jù))時(shí)，奇場(chǎng)同步信號(hào)拉低，偶場(chǎng)同步信號(hào)拉高。通過這種方式后面的模塊不用判斷場(chǎng)消隱期，其中分離的原理則是檢測(cè)定時(shí)基準(zhǔn)信號(hào)XY。

根據(jù)視頻分離模塊輸出的同步信號(hào)，圖像的行位置可以由奇場(chǎng)同步頭信號(hào)作為起點(diǎn)對(duì)行數(shù)進(jìn)行計(jì)數(shù)，其中奇場(chǎng)同步的頭信號(hào)確定可以先檢測(cè)偶場(chǎng)同步信號(hào)，當(dāng)偶場(chǎng)同步信號(hào)拉低后，等待直到出現(xiàn)奇場(chǎng)同步信號(hào)則為頭信號(hào)。已知圖像的行位置則可以根據(jù)每行有效數(shù)據(jù)720個(gè)來(lái)推算出圖像的列位置。這樣可以定位到圖像中的每個(gè)像素點(diǎn)的位置。確定了要疊加字符的位置后從ROM中讀取字符信息，如果疊加允許位為1，ROM中對(duì)應(yīng)位置為0，則輸出源視頻圖像；ROM中對(duì)應(yīng)位置為1，則輸出設(shè)定的顏色信號(hào)[14]。同時(shí)根據(jù)YUV格式信號(hào)的特點(diǎn)，相鄰兩個(gè)像素一組，每次傳完一組，ROM中的地址計(jì)數(shù)器則加1。疊加允許位為0時(shí)，地址計(jì)數(shù)器則置0，不再讀取ROM，直接輸出源視頻信號(hào)。這樣就實(shí)現(xiàn)了字符疊加。

3.3 串口控制

在Quartus II開發(fā)環(huán)境中，使用SOPC Builder設(shè)定好配置可以生成一個(gè)Nios II的Symbol，將其編譯并下載到FPGA后，Nios II嵌入式硬件內(nèi)核完成初步構(gòu)建。綁定FPGA的引腳，添加需要的外設(shè)可以豐富Nios II的功能。本系統(tǒng)需要上位機(jī)通過串口發(fā)送控制信息給FPGA，因此在配置Nios II過程中，可以直接勾選并調(diào)用系統(tǒng)自帶UART核[15]。在進(jìn)行Nios II編程時(shí)，只需對(duì)接收寄存器和發(fā)送寄存器進(jìn)行讀寫操作就可以完成串口的收發(fā)數(shù)據(jù)。根據(jù)自己定制的串口數(shù)據(jù)協(xié)議，上位機(jī)可以向FPGA發(fā)送是否顯示字符的控制信息和字符的顯示位置。

4 實(shí)驗(yàn)結(jié)果及分析

測(cè)試系統(tǒng)時(shí)，測(cè)試對(duì)象是用3D打印制作的心臟模型，實(shí)時(shí)采集的圖像如圖3所示。通過上位機(jī)發(fā)送顯示字符的命令，如圖4所示。顯示屏上的字符數(shù)據(jù)顯示的是橙色橡皮頭的屏幕坐標(biāo)位置。從圖中可以看出，該系統(tǒng)可以完成內(nèi)窺鏡的攝像，視頻圖像和疊加在上面的字符都較為清晰，組織結(jié)構(gòu)層次分明。

圖3 字符疊加前

圖4 字符疊加后

5 結(jié)束語(yǔ)

本文介紹了一種基于Nios II的內(nèi)窺鏡視頻和字符顯示系統(tǒng)設(shè)計(jì)，并基于此設(shè)計(jì)搭建了一套實(shí)驗(yàn)平臺(tái)。實(shí)驗(yàn)結(jié)果表明該設(shè)計(jì)呈現(xiàn)的視頻圖像清晰，字符疊加效果較好；由于采用了可定制內(nèi)核功能的Nios II技術(shù)，使得FPGA在具備自身功能的同時(shí)也具備嵌入式處理器的功能，因此使用該設(shè)計(jì)方案搭建的系統(tǒng)具有更強(qiáng)的適應(yīng)性和靈活性，也提高了其實(shí)用性。

[1] 李駿.基于SOPC的視頻處理系統(tǒng)關(guān)鍵技術(shù)研究[D].南京:南京理工大學(xué),2009.

[2] 蔡軍輝.基于FPGA的視頻信號(hào)數(shù)字化采集與顯示系統(tǒng)[D].南京:南京航空航天大學(xué),2010.

[3] 張桂慶,肖洪祥,張葉茂.基于DaVinci技術(shù)的3G移動(dòng)視頻監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用,2010(1):52-54.

[4] 馮策,喻慶華,焦淑紅.基于ADV7174的視頻顯示系統(tǒng)設(shè)計(jì)[J].電子科技,2006(2):17-20.

[5] Bdtic.ADA4411-3:集成式三通道視頻濾波器和緩沖器[EB/OL]. (2009-10-29)[2016-08-05]http://www.bdtic.com/ADI/ADA4411-3.html.

[6] 楊欽,周云飛,胡永兵.基于FPGA的視頻圖像采集與顯示系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)工程與設(shè)計(jì),2013,34(6):88-92.

[7] 楊煥崢,丁幫俊,崔業(yè)梅,等.彩色CVBS信號(hào)的成像仿真與液晶顯示電路設(shè)計(jì)[J].制造業(yè)自動(dòng)化,2014,36(7):94-97.

[8] 牟亞南,陳金鷹,楊敏,等.PAL制彩色全電視信號(hào)數(shù)字解碼研究與實(shí)現(xiàn)[J].現(xiàn)代電子技術(shù),2015,38(15):39-41.

[9] 薄振桐.基于FPGA的實(shí)時(shí)圖像自適應(yīng)中值濾波器設(shè)計(jì)[J].電子科技,2014,27(1):121-124.

[10] 喬永征,梁志毅,朱毖微.基于FPGA的微光視頻圖像增強(qiáng)系統(tǒng)[J].測(cè)控技術(shù),2009(10):94-98.

[11] 李富棟,丁超.基于PC104的視頻采集卡設(shè)計(jì)[J].光電技術(shù)應(yīng)用,2010(3):50-52.

[12] 韓團(tuán)軍,趙峰.基于FPGA的M4K塊配置ROM字符數(shù)據(jù)存儲(chǔ)VGA顯示[J].陜西理工學(xué)院學(xué)報(bào),2016,32(5):22-27.

[13] 熊璟,劉怡,唐廣,等.基于NiosⅡ處理器的視頻字符疊加的設(shè)計(jì)與實(shí)現(xiàn)[J].電視技術(shù),2010(10):36-38.

[14] 宋承杰,王景存.基于FPGA的視頻字符疊加的設(shè)計(jì)與實(shí)現(xiàn)[J].電視技術(shù),2009(12):24-27.

[15] 王一平,王代強(qiáng).基于NiosⅡ的UART設(shè)計(jì)與實(shí)現(xiàn)[J].電子設(shè)計(jì)工程,2012,20(17):166-168.

Design of Video and Characters Display for Endoscope System Based on Nios II

XU Chao，LI Piding，SUN Ronggui，ZENG Hongyu

(School Medical Instrumentation and Food Engineering,University of Shanghai for Science & Technology,Shanghai 200093,China)

Most traditional computer-based endoscopic devices are too large to take along. To solve this problem, an endoscopic video display system is designed, and a character superposition scheme is proposed based on the system. The main control chip of the system is FPGA. The Nios II processor is built in FPGA . The video decoder chip, the encoding chip and related peripherals are used to construct the hardware system of the endoscope. The system video data processing flow, the ITU656 data protocol, the image character superposition principle and the related program design thought are expounded.Realizes the superposition of characters and images under the control of the serial port in the endoscope system. The experimental results show that the system can realize the superimposition of character and image under the control of the serial port in the endoscope,which has the characteristics of simple circuit structure, low cost, small volume and flexible design.

Nios II;ITU656;OSD;UART

2016- 11- 29

徐超(1992-)，男，碩士研究生。研究方向：生物醫(yī)學(xué)儀器及醫(yī)學(xué)信息技術(shù)。李丕丁(1973-)，男，博士。研究方向：信號(hào)與系統(tǒng)。

10.16180/j.cnki.issn1007-7820.2017.09.012

TN911.73;TP391.14

A

1007-7820(2017)09-042-04