面向計算機(jī)視覺課程的綜合性實驗平臺

張林+沈瑩

摘 要：針對計算機(jī)視覺課程的特點，提出建立面向課程的綜合性實驗平臺，具體介紹全景拼接實驗、生物特征識別實驗、三維模型檢索實驗和深度學(xué)習(xí)實驗4個實驗平臺的特點，結(jié)合同濟(jì)大學(xué)計算機(jī)視覺課程的實際教學(xué)，介紹此實驗平臺的建設(shè)方案和經(jīng)驗。

關(guān)鍵詞：計算機(jī)視覺；全景拼接；生物特征識別；三維模型檢索；深度學(xué)習(xí)

文章編號：1672-5913（2017）05-0136-04

中圖分類號：G642

1 背 景

計算機(jī)視覺是最近20年發(fā)展起來的一門新興學(xué)科[1]，是一門研究如何使機(jī)器“看”的科學(xué)；更進(jìn)一步說，是利用計算機(jī)對傳感器如圖像傳感器、深度信息傳感器、聲音傳感器等采集的信號進(jìn)行分析，從而達(dá)到對客觀世界進(jìn)行理解的目的。作為一門科學(xué)學(xué)科，計算機(jī)視覺試圖建立能夠從圖像或者多維數(shù)據(jù)中獲取“信息”的人工智能系統(tǒng)，因此計算機(jī)視覺也可以看作研究如何使人工系統(tǒng)從圖像或多維數(shù)據(jù)中“感知”的科學(xué)。

近5年，隨著人工智能領(lǐng)域技術(shù)如深度學(xué)習(xí)技術(shù)的飛速發(fā)展，計算機(jī)視覺學(xué)科在很多問題上，如人臉識別、目標(biāo)檢測與跟蹤、像素級分割、場景理解、三維重建等，也取得突破性的進(jìn)展，其應(yīng)用范圍也變得日益廣闊。在這種大背景下，全球各大高校陸續(xù)開設(shè)了計算機(jī)視覺課程，比較有代表性的課程包括斯坦福大學(xué)李飛飛教授開設(shè)的Computer Vision： Foundations and Applications課程[2]、華盛頓大學(xué)Ali Farhadi教授開設(shè)的Computer Vision課程[3]等。同濟(jì)大學(xué)軟件學(xué)院的計算機(jī)視覺課程[4]開設(shè)于2010年秋季學(xué)期，是全國范圍內(nèi)較早在本科階段開設(shè)此課程的院系。

2 教學(xué)難點與應(yīng)對策略

計算機(jī)視覺是一門理論性和實踐性都很強(qiáng)的課程，學(xué)生較難掌握。學(xué)習(xí)本門課程需要綜合運(yùn)用多門課程的知識，如微積分、線性代數(shù)、概率論、高等幾何、數(shù)字圖像處理、機(jī)器學(xué)習(xí)等，這對教師和學(xué)生都有很高的要求。同時，由于該學(xué)科是一門新興學(xué)科，學(xué)科理論與方法目前仍處于快速發(fā)展階段，因此，如何把當(dāng)前該領(lǐng)域最新的思想和方法融入教學(xué)環(huán)節(jié)中，一直是任課教師所面臨的巨大挑戰(zhàn)。

為了加深學(xué)生對課上講授理論內(nèi)容的理解和認(rèn)識，任課教師對大部分關(guān)鍵理論和算法都給出代碼實現(xiàn)并配以驗證性實驗，學(xué)生可以利用上機(jī)課時對代碼內(nèi)容進(jìn)行學(xué)習(xí)。雖然這種方式非常有利于學(xué)生對課堂理論內(nèi)容的理解和掌握，但是在教學(xué)實踐過程中，這種教學(xué)形式還存在一些不足之處，主要體現(xiàn)在兩個方面。

（1）目前，課程的代碼實現(xiàn)都是針對獨立的算法，注重培養(yǎng)學(xué)生對關(guān)鍵算法的理解能力，而代碼和知識點都較為分散，沒有形成針對一個大型任務(wù)的整體實驗平臺，不利于培養(yǎng)學(xué)生解決整體復(fù)雜問題的能力。

（2）目前，課程的上機(jī)實驗都是驗證性實驗，教師不僅給出所有的代碼實現(xiàn)，還配置好運(yùn)行環(huán)境，準(zhǔn)備好實驗數(shù)據(jù)，而上機(jī)的主要目的是讓學(xué)生通過閱讀和調(diào)試代碼對課上所學(xué)理論內(nèi)容加以理解和消化；但是我們發(fā)現(xiàn)，部分學(xué)習(xí)自制力較差的學(xué)生不僅在上機(jī)時間沒有按照要求參與實驗，而且也沒有認(rèn)真閱讀和調(diào)試實驗程序。我們分析認(rèn)為，產(chǎn)生這種情況的部分原因是教師沒有給學(xué)生明確分配需要完成的任務(wù)，導(dǎo)致其參與度降低。

為了解決上述問題，我們建議打造4個面向計算機(jī)視覺課程的綜合性實驗平臺，覆蓋課程大約90%的知識點。總體的思路是：所有實驗都根據(jù)課程進(jìn)度劃分為若干個相對獨立的模塊，實驗的整體性框架代碼和模塊的框架性代碼都由教師提供，模塊的一些關(guān)鍵部分則空出來，留給學(xué)生完成；每次上機(jī)前，由教師描述本次上機(jī)的目的和需要學(xué)生完成的具體任務(wù)，學(xué)生可以在上機(jī)時段根據(jù)課堂內(nèi)容對模塊空缺的關(guān)鍵部分進(jìn)行完善；當(dāng)各綜合性實驗結(jié)束時，實驗程序可以處理一個相對完整和復(fù)雜的問題。這樣不僅有利于培養(yǎng)學(xué)生解決整體復(fù)雜問題的能力，還能提升學(xué)生對上機(jī)課的參與程度，培養(yǎng)學(xué)生的學(xué)習(xí)興趣。具體來說，根據(jù)目前的教學(xué)內(nèi)容，我們可以建設(shè)4個綜合性實驗平臺，包括全景拼接實驗平臺、生物特征識別實驗平臺、三維模型檢索實驗平臺和深度學(xué)習(xí)實驗平臺。

3 綜合性實驗平臺的建設(shè)

根據(jù)現(xiàn)行計算機(jī)視覺課程的教學(xué)內(nèi)容，我們可以設(shè)計4個綜合性實驗平臺。其中，總體框架性代碼和模塊的框架性代碼都由教師提供；隨著課堂教學(xué)的展開，學(xué)生須利用上機(jī)課時完成相應(yīng)模塊核心代碼的編寫工作，且模塊核心代碼所使用的算法會在理論課上講授。

3.1 全景拼接實驗平臺

全景拼接是一種把兩張或多張圖像根據(jù)重合內(nèi)容拼接成一張大的圖像的技術(shù)。這些圖像需要滿足一定的假設(shè)條件，即圖像所拍攝的景物基本上處于同一個物理平面，兩張圖像的內(nèi)容之間需要存在顯著的重合。把兩張圖像拼接成一張圖像的示例如圖1所示，其中，圖1（a）和1（b）是同濟(jì)大學(xué)軟件學(xué)院正門的有部分區(qū)域重疊的兩張圖像，圖1（c）是把1（a）變換到1（b）所在坐標(biāo)系的結(jié)果，圖1（d）是利用基于特征點的自動全景拼接算法對1（a）和1（b）進(jìn)行拼合的最終結(jié)果。

本實驗主要涉及的知識點包括圖像濾波、高斯尺度空間（Gaussian scale space）、Harris角點檢測（Harris corner detector）、基于LoG （laplacian of Gaussian）尺度空間的尺度不變點檢測、SIFT（scale invariant feature transform）描述子、射影幾何（projective geometry）、齊次線性方程組最小二乘法、隨機(jī)采樣一致性（RANdom SAmpling Consensus，RANSAC）模型擬合等。

3.2 生物特征識別實驗平臺

生物特征識別（biometrics）指的是用人體固有的生理特征或行為特征識別個人身份的技術(shù)，在刑偵、安防、銀行、社保等領(lǐng)域有著廣泛的應(yīng)用。本實驗平臺包含兩個系統(tǒng)，一個是基于WebCam攝像頭的人臉識別系統(tǒng)，另一個是非接觸式掌紋掌脈識別系統(tǒng)。endprint

基于WebCam攝像頭的人臉識別系統(tǒng)的運(yùn)行界面如圖2（a）所示。由于絕大部分學(xué)生有個人電腦并配有WebCam，因此此實驗完全可以在學(xué)生個人電腦上完成。此實驗系統(tǒng)實際上包含兩個組成部分：一部分是人臉檢測（face detection），需要從視頻流中實時檢測出人臉?biāo)诘膮^(qū)域；另一部分是人臉識別（face recognition），就是把系統(tǒng)檢測到的人臉區(qū)域和注冊人臉數(shù)據(jù)集進(jìn)行比對，從而確定系統(tǒng)檢測到的人臉的身份信息。本實驗涉及的知識點主要包括圖像濾波、Viola-Jones人臉檢測算法、向量與矩陣的微分法、基于Eigen-Face的人臉識別算法、基于稀疏表示（sparse representation）的人臉識別算法等。

非接觸式掌紋掌脈識別系統(tǒng)的外觀如圖2（b）所示。此采集系統(tǒng)主要包含一個雙CCD相機(jī)和一個包含可見光以及940nm近紅外光LED模組的定制光源，可以同時采集手掌的掌紋信息和靜脈信息。學(xué)生可以在該硬件平臺上完成整個基于掌紋掌脈信息的身份鑒別系統(tǒng)。此實驗涉及的知識點主要包括掌紋掌脈采集系統(tǒng)的設(shè)計與制造過程、掌紋ROI提取、生物特征圖像質(zhì)量評價、Gabor濾波器、競爭編碼（competitive coding）、基于Hamming距離的比對、基于掌脈信息的活體檢測等。

3.3 三維模型檢索實驗平臺

隨著3D數(shù)據(jù)采集設(shè)備的普及，3D數(shù)據(jù)也變得越來越豐富。本實驗會構(gòu)造一個三維模型檢索系統(tǒng)。2013年，同濟(jì)大學(xué)軟件學(xué)院數(shù)字媒體方向購置了一臺型號為Creaform Go Scan 3D的三維掃描儀，如圖3（a）所示。在本實驗中，教師首先要教授學(xué)生3D掃描儀的使用并構(gòu)建三維物體模型數(shù)據(jù)庫，圖3（b）展示了學(xué)生掃描的洗發(fā)水瓶和空調(diào)遙控器的三維模型；然后，學(xué)生需要完成一個三維剛體模型檢索系統(tǒng)，該系統(tǒng)可以根據(jù)一個輸入的三維模型從三維數(shù)據(jù)集合中挑選出與之最相似的三維模型。此實驗涉及的知識點主要包括三維掃描儀的使用、三維曲面重采樣、基于Fast Marching的測地距離（geodesic distance）的計算、歐氏奇異性消除、基于ICP（iterative closest point）算法的三維模型比對等。

3.4 深度學(xué)習(xí)實驗平臺

自從2012年Alex Krizhevsky等在NIPS上發(fā)表了把深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural network，DCNN）應(yīng)用于解決大規(guī)模圖像分類問題的成果以后[5]，機(jī)器學(xué)習(xí)和計算機(jī)視覺領(lǐng)域掀起了一股研究和應(yīng)用深度學(xué)習(xí)技術(shù)的熱潮，并確實在許多不同領(lǐng)域取得了很大成功。深度學(xué)習(xí)技術(shù)近來的巨大成功一方面得益于大規(guī)模帶有標(biāo)記的數(shù)據(jù)的出現(xiàn)，一方面是由于計算技術(shù)的進(jìn)步，如GPU等。深度學(xué)習(xí)實際上是一種對數(shù)據(jù)表示（representation）的學(xué)習(xí)技術(shù)，深度學(xué)習(xí)模型由多層簡單模塊疊加形成，每一層都會對輸入進(jìn)行變換，以增加數(shù)據(jù)表達(dá)的選擇性和不變性，因此，可以從原始數(shù)據(jù)中學(xué)習(xí)到它們的具有不同抽象層次的多層表示。深度學(xué)習(xí)技術(shù)的一個顯著特點就是它對數(shù)據(jù)特征的學(xué)習(xí)不是手工的，而是用通用的學(xué)習(xí)策略從數(shù)據(jù)中自動學(xué)習(xí)到的。

在計算機(jī)視覺課程中，教師介紹深度神經(jīng)網(wǎng)絡(luò)的基本知識。在本試驗中，要求學(xué)生構(gòu)建一個基于卷積神經(jīng)網(wǎng)絡(luò)的人體上半身檢測系統(tǒng)，實現(xiàn)從視頻流中實時檢測出畫面中出現(xiàn)的行人的頭肩部分。本實驗主要涉及的知識點包括圖像濾波、Softmax回歸（softmax regression）、深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural networks， DCNN）、Pooling策略、非線性激勵策略、訓(xùn)練集測試集與驗證集、隨機(jī)梯度下降法（stochastic gradient descent）等。

4 實驗平臺建設(shè)效果評估

從2015年開始，綜合性實驗平臺已在我們的計算機(jī)視覺課程中完整地應(yīng)用了兩個周期，獲得了同濟(jì)大學(xué)相關(guān)專家和學(xué)生的好評，并引起強(qiáng)烈的反響。一方面，綜合性實驗平臺的引入客觀上提升了學(xué)生在計算機(jī)視覺課程實踐環(huán)節(jié)中的參與度，從而有助于學(xué)生更加深入牢固地掌握課上所講授的理論內(nèi)容；另一方面，綜合性實驗平臺極大地提升了學(xué)生綜合運(yùn)用所學(xué)知識解決實際問題的動手能力，培養(yǎng)了他們對于計算機(jī)視覺這門學(xué)科的學(xué)習(xí)興趣。在課程結(jié)束時，不少學(xué)生表示希望將來能在相關(guān)領(lǐng)域從事開發(fā)或者研究工作。

5 結(jié) 語

經(jīng)過6年的探索實踐和沉淀積累，同濟(jì)大學(xué)的計算機(jī)視覺課程已經(jīng)形成了較為完善、具有特色的知識點體系，在教學(xué)方法上也積累了豐富的實踐經(jīng)驗。為了提升計算機(jī)視覺課程的教學(xué)效果，培養(yǎng)學(xué)生綜合運(yùn)用多學(xué)科知識解決實際視覺問題的能力，我們建設(shè)了4個綜合性實驗平臺。這些實驗平臺已經(jīng)應(yīng)用在我們的教學(xué)實踐活動中，并初步取得了良好的效果，達(dá)到了實驗平臺建設(shè)的目的。在今后的教學(xué)實踐中，我們將認(rèn)真聽取相關(guān)專家和學(xué)生的建設(shè)性意見和建議，對實驗平臺不斷進(jìn)行完善，與時俱進(jìn)，從而持續(xù)提升該課程的教學(xué)質(zhì)量。

參考文獻(xiàn)：

[1] Sonka M， Hlavac V， Boyle R. Image processing， analysis， and machine vision[M]. Stamford： CENGAGE Learning， 2008： 1-5.

[2] The vison lab. Stanford university CS 131 computer vision： Foundations and applications[EB/OL]. [2016-12-26]. http：//vision.stanford.edu/teaching/cs131_fall1617/index.html.

[3] Computer vision[EB/OL]. [2016-12-26]. https：//courses.cs.washington.edu/courses/cse576/16sp/.

[4] Zhang L.Computer vision[EB/OL]. [2016-12-26]. http：//sse.#edu.cn/linzhang/CV/CV.htm.

[5] Krizhevsky A， Sutskever I， Hinton G E. Image net classification with deep convolutional neural networks[C]∥Proceedings of Neural Information Processing Systems. Cambridge： MIT Press， 2012： 1106-1114.

（編輯：宋文婷）endprint