半導(dǎo)體智能視覺(jué)系統(tǒng)芯片

吳南健/WU Nanjian

（1. 中國(guó)科學(xué)院，北京100083；2. 中國(guó)科學(xué)院大學(xué)，北京100049）

(1. Chinese Academy of Sciences, Beijing 100083, China;2. University of Chinese Academy of Sciences, Beijing 100049, China)

視覺(jué)是人類(lèi)感知外部世界的最重要手段，視覺(jué)信息占到了人類(lèi)獲取外部環(huán)境信息總量的80%，視覺(jué)感知和視覺(jué)信息的智能化處理是人類(lèi)智能活動(dòng)的重要組成部分。如圖1所示的人類(lèi)視覺(jué)信息系統(tǒng)主要包括人眼視網(wǎng)膜和大腦視覺(jué)皮層[1]，它們分別起到了視覺(jué)傳感器和視覺(jué)圖像信息多層次并行處理器的功能。視覺(jué)系統(tǒng)能夠感知外部世界的可見(jiàn)光視覺(jué)信號(hào)，并且通過(guò)學(xué)習(xí)記憶來(lái)識(shí)別和認(rèn)知外部的視覺(jué)信息。隨著信息社會(huì)的發(fā)展和人工智能產(chǎn)業(yè)的再度崛起，人工視覺(jué)信息的獲取和快速高精度處理在人工智能產(chǎn)業(yè)化中的作用日趨凸顯，如何借鑒人的視覺(jué)系統(tǒng)結(jié)構(gòu)和視覺(jué)信息處理模式來(lái)實(shí)現(xiàn)人工的智能視覺(jué)系統(tǒng)是當(dāng)今人工智能領(lǐng)域面臨的重要挑戰(zhàn)。在硅片上實(shí)現(xiàn)能夠進(jìn)行視覺(jué)信息獲取和智能化處理的半導(dǎo)體智能視覺(jué)系統(tǒng)芯片成為了當(dāng)今半導(dǎo)體信息領(lǐng)域中重要的熱點(diǎn)研究課題之一。

半導(dǎo)體智能視覺(jué)系統(tǒng)芯片是一種集成了視覺(jué)圖像傳感器和智能視覺(jué)圖像處理器的新型超大規(guī)模光電混合集成電路芯片，它是一種典型的邊緣計(jì)算型視覺(jué)系統(tǒng)性片。半導(dǎo)體智能視覺(jué)系統(tǒng)芯片克服了傳統(tǒng)視覺(jué)圖像系統(tǒng)中數(shù)據(jù)串行傳輸和串行信息處理的速度限制瓶頸效應(yīng)，具有實(shí)現(xiàn)或超越人類(lèi)視覺(jué)系統(tǒng)的功能及其性能的潛力，在高速運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)追蹤、圖像識(shí)別、智能交通、虛擬現(xiàn)實(shí)、生產(chǎn)線自動(dòng)產(chǎn)品質(zhì)量檢測(cè)及各類(lèi)智能化玩具等領(lǐng)域具有廣泛的應(yīng)用前景。智能視覺(jué)系統(tǒng)芯片是一種新型光電子、微電子融合的混合集成電路，它的工作原理和設(shè)計(jì)方法不同于傳統(tǒng)的圖像傳感器芯片。智能視覺(jué)系統(tǒng)芯片的設(shè)計(jì)和應(yīng)用研究富有挑戰(zhàn)性。

C. MEAD[2]和K. AIZAWA[3]首先提出了一種基于半導(dǎo)體集成電路技術(shù)的神經(jīng)形態(tài)視覺(jué)芯片，它以單芯片的形式實(shí)現(xiàn)圖像傳感和圖像處理的功能，是一種非常有應(yīng)用潛力的人工視覺(jué)系統(tǒng)芯片。在近30年的發(fā)展進(jìn)程中，美國(guó)、歐洲和日本等國(guó)家或地區(qū)紛紛投入了大量資金和研究人員支持大規(guī)模視覺(jué)芯片的科學(xué)技術(shù)研究。隨著互補(bǔ)金屬氧化物半導(dǎo)體（CMOS）圖像傳感器技術(shù)、智能化圖像信息處理方法和光電融合集成芯片技術(shù)的進(jìn)步和研究人員不懈的努力，半導(dǎo)體智能視覺(jué)系統(tǒng)芯片的體系架構(gòu)、信息處理模式和光電融合設(shè)計(jì)技術(shù)不斷演化進(jìn)步，取得了一系列重要的進(jìn)展[4-12]。文章中，我們重點(diǎn)介紹和評(píng)述半導(dǎo)體智能視覺(jué)系統(tǒng)芯片體系架構(gòu)的演變和最新研究成果。

1 智能視覺(jué)系統(tǒng)芯片的概念

▲圖1 人的視覺(jué)系統(tǒng)示意圖

▲圖2 智能視覺(jué)系統(tǒng)芯片的示意圖

圖2給出了智能視覺(jué)系統(tǒng)芯片的示意[1]，它由相當(dāng)于視網(wǎng)膜的視覺(jué)圖像傳感器、相當(dāng)于視皮層的多級(jí)并行處理網(wǎng)絡(luò)和片上存儲(chǔ)器組成。視覺(jué)圖像傳感器將捕獲到的外界光學(xué)圖像信號(hào)轉(zhuǎn)換成電子圖像信號(hào)，并進(jìn)行圖像信號(hào)的彩色處理、灰度調(diào)整、噪聲消除和靈敏度控制等增強(qiáng)處理操作，然后電子圖像信號(hào)傳輸給圖像處理器進(jìn)行多級(jí)圖像信息并行處理。多級(jí)并行處理器接收來(lái)自視網(wǎng)膜的圖像信號(hào)并進(jìn)行圖像信息處理，通過(guò)進(jìn)行多層次視覺(jué)圖像特征的提取和圖像目標(biāo)的檢測(cè)，完成視覺(jué)信息的學(xué)習(xí)、記憶和識(shí)別功能。這種芯片的智能含義主要體現(xiàn)在兩個(gè)方面：首先，芯片能夠分析視覺(jué)圖像傳感器獲得的圖像質(zhì)量，并判斷圖像是否能夠滿(mǎn)足后續(xù)信息處理的要求，然后優(yōu)化傳感器的拍攝條件進(jìn)行圖像獲取；其次，芯片能夠自動(dòng)地對(duì)獲取的圖像進(jìn)行智能化處理，實(shí)現(xiàn)圖像信息的學(xué)習(xí)、記憶、識(shí)別分析和判斷處理的功能。

目前的智能視覺(jué)系統(tǒng)芯片可分為兩類(lèi)：幀驅(qū)動(dòng)型視覺(jué)系統(tǒng)芯片[4-9]和事件驅(qū)動(dòng)型視覺(jué)芯片[10-12]。幀驅(qū)動(dòng)型視覺(jué)系統(tǒng)芯片通過(guò)視覺(jué)圖像傳感器以幀的形式捕獲圖像，然后將圖像數(shù)據(jù)傳輸?shù)蕉嗉?jí)并行處理器中，多級(jí)并行處理器逐幀進(jìn)行圖像信息處理，最后輸出處理結(jié)果。另一方面，事件驅(qū)動(dòng)型視覺(jué)芯片感知場(chǎng)景中的時(shí)間或空間光信號(hào)變化進(jìn)行動(dòng)態(tài)視覺(jué)成像，輸出脈沖視覺(jué)圖像數(shù)據(jù)到多級(jí)并行處理網(wǎng)絡(luò)中，然后脈沖型多級(jí)并行處理網(wǎng)絡(luò)進(jìn)行圖像信息處理，最后輸出處理結(jié)果。

這兩類(lèi)智能視覺(jué)系統(tǒng)芯片在設(shè)計(jì)方法、信號(hào)編碼、操作模式和圖像信息處理算法等方面有很大的不同。事件驅(qū)動(dòng)型視覺(jué)芯片具有感知速度快、數(shù)據(jù)稀疏、類(lèi)腦處理、能量利用率高等優(yōu)點(diǎn)。其信號(hào)編碼方式與人類(lèi)視覺(jué)系統(tǒng)中的視覺(jué)信號(hào)編碼方式相似，視覺(jué)圖像信息的表示、傳輸和處理都以脈沖形式來(lái)進(jìn)行；因此，它具有時(shí)間分辨率高和視覺(jué)信息處理能效高的特點(diǎn)。但是，事件驅(qū)動(dòng)型視覺(jué)信號(hào)時(shí)分處理困難，需要相對(duì)大規(guī)模的物理處理單元電路進(jìn)行信息處理。

另一方面，幀驅(qū)動(dòng)型視覺(jué)系統(tǒng)芯片在圖像分辨率、靜態(tài)目標(biāo)檢測(cè)、時(shí)間復(fù)用視覺(jué)圖像信息處理、芯片面積等方面具有優(yōu)勢(shì)。在幀驅(qū)動(dòng)型視覺(jué)系統(tǒng)芯片中像素電路緊湊，使得視覺(jué)圖像傳感器更加容易提高分辨率和填充因子。視覺(jué)圖像傳感器可以很好地感知靜止和運(yùn)動(dòng)的目標(biāo)，較好地支持視覺(jué)圖像信息的時(shí)間復(fù)用處理模式和處理網(wǎng)絡(luò)-存儲(chǔ)器間的中間數(shù)據(jù)傳輸，方便地采用計(jì)算視覺(jué)和深度學(xué)習(xí)的方法進(jìn)行視覺(jué)圖像想信息處理。由于篇幅的限制，本文中我們以幀驅(qū)動(dòng)型視覺(jué)系統(tǒng)芯片為例，介紹智能視覺(jué)系統(tǒng)芯片體系架構(gòu)的演變和最新的研究成果。有關(guān)事件驅(qū)動(dòng)型視覺(jué)芯片的研究?jī)?nèi)容細(xì)節(jié)可閱讀文獻(xiàn)[1]、[10-12]。

2 智能視覺(jué)系統(tǒng)芯片體系架構(gòu)

智能視覺(jué)系統(tǒng)芯片的概念提出來(lái)后，各國(guó)研究人員開(kāi)展了長(zhǎng)期的視覺(jué)系統(tǒng)芯片研究。隨著半導(dǎo)體視覺(jué)圖像傳感技術(shù)和圖像信息處理技術(shù)的不斷進(jìn)步，智能視覺(jué)系統(tǒng)芯片的體系架構(gòu)不斷演進(jìn)形成了如圖3所示的4種不同架構(gòu)，支撐著智能視覺(jué)系統(tǒng)芯片設(shè)計(jì)和應(yīng)用技術(shù)的發(fā)展。智能視覺(jué)系統(tǒng)芯片主要包括視覺(jué)圖像傳感、圖像增強(qiáng)處理、特征提取處理和圖像檢測(cè)識(shí)別處理的4個(gè)功能，能夠完成智能化的圖像感知和圖像信息處理。早期的視覺(jué)系統(tǒng)芯片通常采用架構(gòu)Ⅰ[5]，它由二維處理單元陣列組成，處理單元以單指令多數(shù)據(jù)方式進(jìn)行圖像獲取和信息處理操作。處理單元包括了光電二極管像素和圖像信息處理電路，獲取光電信號(hào)后處理電路就直接可以進(jìn)行圖像信息處理，可實(shí)現(xiàn)像素級(jí)的實(shí)時(shí)并行處理，具有工作速度高的特點(diǎn)。這種視覺(jué)系統(tǒng)芯片能完成圖像信號(hào)增強(qiáng)處理、邊緣檢測(cè)、輪廓提取、塊匹配、圖像質(zhì)心、光流計(jì)算、運(yùn)動(dòng)檢測(cè)、測(cè)距和圖像壓縮等圖像處理操作，可應(yīng)用于目標(biāo)跟蹤、產(chǎn)品檢測(cè)和人機(jī)交互等領(lǐng)域；然而，由于這種架構(gòu)的芯片存在圖像分辨率低、填充因子小和圖像信息處理功能有限等缺點(diǎn)，實(shí)際應(yīng)用推廣困難。

▲圖3 智能視覺(jué)系統(tǒng)芯片架構(gòu)的演進(jìn)

為了克服這些困難，新的視覺(jué)系統(tǒng)芯片體系架構(gòu)Ⅱ被提出來(lái)[6]。該芯片由圖像傳感器、二維處理單元陣列、行并行處理器陣列和微處理器單元構(gòu)成，它們可以分別執(zhí)行視覺(jué)圖像傳感、圖像增強(qiáng)、特征信息提取和圖像識(shí)別的操作。架構(gòu)Ⅱ克服了架構(gòu)Ⅰ圖像分辨率低的問(wèn)題，將像素陣列和二維處理單元陣列分離，可以獨(dú)立地設(shè)計(jì)像素陣列和二維處理單元陣列的規(guī)模和性能，并且圖像傳感器陣列和二維處理單元之間可以實(shí)現(xiàn)靈活的映射。但是，由于微處理器的能力無(wú)法與二維處理單元陣列和行并行處理器陣列的處理能力相匹配，限制了圖像識(shí)別處理的速度。圖像識(shí)別處理所需時(shí)間遠(yuǎn)大于前期圖像處理所需時(shí)間；因此，根據(jù)Amdahl定律，圖像識(shí)別處理將制約系統(tǒng)的性能。

為了提高圖像識(shí)別的處理速度，我們進(jìn)一步提出了新的視覺(jué)系統(tǒng)芯片體系架構(gòu)Ⅲ[7]。它由圖像傳感器、二維處理單元陣列、行并行處理器陣列、自組織映射神經(jīng)網(wǎng)絡(luò)和微處理器單元構(gòu)成，分別執(zhí)行視覺(jué)圖像傳感、圖像增強(qiáng)、特征信息提取、圖像識(shí)別的操作和芯片控制。架構(gòu)Ⅲ的特點(diǎn)是混合集成了馮·諾依曼型處理器和非馮·諾依曼型自組織映射神經(jīng)網(wǎng)絡(luò)處理器。自組織映射神經(jīng)網(wǎng)絡(luò)有效地提高了圖像識(shí)別的處理速度，使圖像識(shí)別處理的速度很好地匹配前期圖像處理的速度，顯著提高了視覺(jué)系統(tǒng)芯片的性能。其次，自組織映射神經(jīng)網(wǎng)絡(luò)電路和二維處理單元陣列電路可以在幾個(gè)時(shí)鐘周期內(nèi)通過(guò)動(dòng)態(tài)重構(gòu)方式實(shí)現(xiàn)，從而大幅度節(jié)省了芯片的面積。

隨著基于深度學(xué)習(xí)的圖像信息處理技術(shù)的發(fā)展，架構(gòu)Ⅳ的視覺(jué)系統(tǒng)芯片體系架構(gòu)被提出來(lái)[9]。由于計(jì)算視覺(jué)的圖像信息特征提取和圖像識(shí)別的精度已被深度學(xué)習(xí)超越，該架構(gòu)在特征提取處理階段用卷積神經(jīng)網(wǎng)路代替了馮·諾依曼型行并行處理器陣列。該架構(gòu)充分考慮了計(jì)算機(jī)視覺(jué)和卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算特點(diǎn)，可以支持卷積神經(jīng)網(wǎng)絡(luò)計(jì)算和計(jì)算機(jī)視覺(jué)算法計(jì)算，二維處理單元陣列、卷積神經(jīng)網(wǎng)絡(luò)電路和檢測(cè)分類(lèi)神經(jīng)網(wǎng)絡(luò)電路可以通過(guò)動(dòng)態(tài)重構(gòu)技術(shù)實(shí)現(xiàn)時(shí)分復(fù)用處理。架構(gòu)Ⅳ的視覺(jué)系統(tǒng)芯片的編程能力、圖像信息處理能力和處理能率等各個(gè)方面都明顯優(yōu)于前面的視覺(jué)芯片，具備實(shí)用化應(yīng)用的能力，在高速運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)追蹤、圖像識(shí)別、智能交通、虛擬現(xiàn)實(shí)、生產(chǎn)線自動(dòng)產(chǎn)品質(zhì)量檢測(cè)及各類(lèi)智能化玩具等領(lǐng)域具有廣泛的應(yīng)用前景。

3 智能視覺(jué)系統(tǒng)芯片的設(shè)計(jì)案例

圖4給出了基于芯片架構(gòu)Ⅲ的智能視覺(jué)系統(tǒng)芯片的照片和手勢(shì)識(shí)別實(shí)驗(yàn)結(jié)果[7]。芯片集成了高速CMOS圖像傳感器、多級(jí)馮·諾依曼型并行處理器和非馮·諾依曼型自組織映射神經(jīng)網(wǎng)絡(luò)混合處理器，具備像素級(jí)、行級(jí)、矢量級(jí)和線程級(jí)多級(jí)并行的完整片上處理功能，可完成高速圖像獲取、圖像增強(qiáng)、圖像特征提取和圖像識(shí)別的各階段圖像處理任務(wù)。芯片的特點(diǎn)是：支持片上自組織映射網(wǎng)絡(luò)在線訓(xùn)練；以約2%芯片總面積開(kāi)銷(xiāo)和3個(gè)時(shí)鐘周期的代價(jià)實(shí)現(xiàn)了二維并行處理單元陣列和自組織映射神經(jīng)網(wǎng)絡(luò)的相互重構(gòu)；是首款體系功能完整的馮·諾依曼/非馮·諾依曼混合處理視覺(jué)芯片。芯片采用 0.18 μm圖像傳感器專(zhuān)用工藝流片實(shí)現(xiàn)，它包括一個(gè)256×256的像素陣列、128×2路像素信號(hào)處理和10 bit 模數(shù)轉(zhuǎn)換器陣列、動(dòng)態(tài)可重構(gòu)的64×64 處理單元陣列處理器/16×16自組織映射神經(jīng)網(wǎng)絡(luò)處理器、64×1的行處理器陣列、32 bit精簡(jiǎn)指令集計(jì)算機(jī)（RISC）核的雙核微處理器（MPU）和控制邏輯電路，芯片面積9.8 mm×8.4 mm，系統(tǒng)時(shí)鐘頻率為50 MHz，功耗為630 MW。該視覺(jué)芯片達(dá)到了包括從圖像采集到特征識(shí)別全過(guò)程在內(nèi)的1 000 fps系統(tǒng)級(jí)性能，其中特征識(shí)別所耗時(shí)間小于0.1 ms。

▲圖4 基于架構(gòu)Ⅲ的智能視覺(jué)系統(tǒng)芯片及其測(cè)試結(jié)果

圖5 基于架Ⅳ的智能視覺(jué)系統(tǒng)芯片及測(cè)試結(jié)果

圖5給出了基于芯片架構(gòu)Ⅳ的智能視覺(jué)系統(tǒng)芯片的照片和遙感圖像船只檢測(cè)實(shí)驗(yàn)結(jié)果[9]。芯片采用65 nm CMOS工藝集成了多層次的并行處理單元整列、局域存儲(chǔ)器和片上互聯(lián)網(wǎng)絡(luò)電路。并行處理單元陣列包括16計(jì)算簇，每一個(gè)計(jì)算簇主要包含1個(gè)16位標(biāo)量處理單元、32個(gè)互相連接的16位向量處理單元及本地存儲(chǔ)器。標(biāo)量處理單元可以靈活地獲取和處理32×32圖像塊中任意數(shù)據(jù)，每個(gè)向量處理單元可以進(jìn)行像素級(jí)的圖像處理，并行處理單元陣列以單指令、多數(shù)據(jù)模式進(jìn)行并行運(yùn)算。RISC32微處理器和系統(tǒng)總線以及其他相關(guān)模塊是整個(gè)芯片的控制系統(tǒng)，指揮數(shù)據(jù)通路和計(jì)算陣列協(xié)同工作。智能視覺(jué)系統(tǒng)芯片可以支持卷積神經(jīng)網(wǎng)絡(luò)計(jì)算和計(jì)算機(jī)視覺(jué)算法計(jì)算，二維處理單元陣列、卷積神經(jīng)網(wǎng)絡(luò)電路和檢測(cè)分類(lèi)神經(jīng)網(wǎng)絡(luò)電路可以通過(guò)動(dòng)態(tài)重構(gòu)技術(shù)實(shí)現(xiàn)時(shí)分復(fù)用處理，從而可以實(shí)現(xiàn)邊緣計(jì)算型人臉檢測(cè)和如圖5（b）所示的遙感圖像船只檢測(cè)的實(shí)際應(yīng)用。這種視覺(jué)芯片具有功能完整、處理速度快、功耗低和可靈活可編程的特點(diǎn)，適合應(yīng)用于對(duì)功耗、尺寸、實(shí)時(shí)性有較高要求的邊緣計(jì)算等場(chǎng)合。

4 結(jié)束語(yǔ)

本文中，以我們研究小組長(zhǎng)期的研究成果為例子，介紹了半導(dǎo)體智能視覺(jué)系統(tǒng)芯片的研究背景、系統(tǒng)芯片的概念、芯片體系架構(gòu)的演變、視覺(jué)系統(tǒng)芯片的設(shè)計(jì)案例。盡管視覺(jué)系統(tǒng)芯片技術(shù)已取得了長(zhǎng)足進(jìn)步，但視覺(jué)系統(tǒng)芯片要真正進(jìn)入到實(shí)用階段仍然面臨著諸多亟待解決的問(wèn)題。首先，要提高圖像傳感器的高分辨下成像速度、暗光條件下成像能力、成像動(dòng)態(tài)范圍和高精度三維成像能力，來(lái)滿(mǎn)足不斷增長(zhǎng)的應(yīng)用需求；其次，目前視覺(jué)系統(tǒng)芯片的智能化處理能力相對(duì)于要求來(lái)說(shuō)比較簡(jiǎn)單，還不具備片上學(xué)習(xí)和圖像傳感器自適應(yīng)控制的能力，并且圖像信息分析和處理的能力有限，無(wú)法滿(mǎn)足各種實(shí)際應(yīng)用場(chǎng)景下完全自主工作的應(yīng)用需求；最后，在視覺(jué)系統(tǒng)芯片集成的技術(shù)方面，由于視覺(jué)圖像傳感器、智能圖像處理器和存儲(chǔ)器通常采用不同節(jié)點(diǎn)的CMOS工藝來(lái)實(shí)現(xiàn)，并且智能圖像處理器和存儲(chǔ)器所用的工藝節(jié)點(diǎn)通常要比視覺(jué)圖像傳感器的更為先進(jìn)，要在單一的硅芯片上實(shí)現(xiàn)智能視覺(jué)系統(tǒng)芯片很難平衡視覺(jué)圖像傳感器的能力和圖像處理器的性能之間的關(guān)系[12]。因此，采用三維堆疊集成技術(shù)實(shí)現(xiàn)智能視覺(jué)系統(tǒng)芯片是今后發(fā)展的重要趨勢(shì)。目前中國(guó)科學(xué)技術(shù)部的重點(diǎn)研究計(jì)劃已經(jīng)部署了相關(guān)的研究項(xiàng)目開(kāi)展研究，中國(guó)有望在視覺(jué)系統(tǒng)芯片領(lǐng)域取得重要的突破。

致謝

本文中所介紹的芯片架構(gòu)和芯片設(shè)計(jì)的案例是中國(guó)科學(xué)院半導(dǎo)體研究所超晶格國(guó)家重點(diǎn)實(shí)驗(yàn)室高速圖像傳感與圖像信息處理課題組成員共同取得的成果，在此對(duì)做出貢獻(xiàn)的全體成員表示感謝！