計算機(jī)視覺課程綜合教學(xué)案例設(shè)計與實踐

張林 沈瑩

摘? 要：針對計算機(jī)視覺課程核心知識點分散、較難以掌握的問題，設(shè)計并實踐綜合性教學(xué)案例“環(huán)視系統(tǒng)構(gòu)建及基于環(huán)視的語義信息提取”。以此案例為載體，講授相機(jī)模型、相機(jī)標(biāo)定、幾何變換和深度學(xué)習(xí)等知識點，讓學(xué)生在實踐中學(xué)習(xí)、在學(xué)習(xí)中實踐。該案例的有效性已在同濟(jì)大學(xué)的教學(xué)實踐中得到充分驗證。

關(guān)鍵詞：計算機(jī)視覺；教學(xué)案例；實踐教學(xué)；環(huán)視系統(tǒng)；核心知識點

Abstract： To solve the problem that the knowledge points of computer vision are scattered and difficult to master， a comprehensive teaching case "construction of the surround-view system and semantic information extraction from the SVS" is designed and practiced. We take this teaching case as the carrier to teach knowledge points such as camera model， camera calibration， geometric transformation and deep learning. In this way， students can learn and practice simultaneously. The effectiveness of the proposed teaching case has been fully verified in the teaching practice of Tongji University.

Keywords： computer vision; teaching case; teaching by practice; surround-view system; core knowledge point

近年來，隨著全世界對人工智能技術(shù)重視程度的日益提升，我國也加大了對人工智能專業(yè)人才的培養(yǎng)投入，許多高校陸續(xù)設(shè)置了人工智能專業(yè)并開設(shè)了相關(guān)課程[1-2]。在大多數(shù)高校制定的人工智能課程群方案中，計算機(jī)視覺都被列為了核心課程。因此，研究計算機(jī)視覺課程的教學(xué)實踐共性規(guī)律、研究如何提升該課程的教學(xué)質(zhì)量，具有重要的現(xiàn)實意義。

計算機(jī)視覺是最近30年發(fā)展起來的一門新興學(xué)科[3]，是一門研究如何使機(jī)器感知和理解周圍世界的科學(xué)。更確切地說，該學(xué)科要解決的主要科學(xué)問題是如何利用計算機(jī)對傳感器（如圖像傳感器、深度信息傳感器、聲音傳感器等）采集的信號進(jìn)行分析，從而實現(xiàn)對客觀世界的度量與理解。

近10年來，隨著人工智能領(lǐng)域技術(shù)，如深度學(xué)習(xí)技術(shù)的飛速發(fā)展，計算機(jī)視覺學(xué)科在很多問題上，如人臉識別、目標(biāo)檢測與跟蹤、像素級分割、場景理解和三維重建等，也取得了突破性的進(jìn)展，其應(yīng)用范圍也變得日益廣闊。在此大背景下，全球各大高校陸續(xù)開設(shè)了計算機(jī)視覺課程。同濟(jì)大學(xué)軟件學(xué)院的計算機(jī)視覺課程開設(shè)于2010年秋季學(xué)期，是全國范圍內(nèi)較早在本科階段開設(shè)此課程的院系[4]。在教學(xué)過程中，我們發(fā)現(xiàn)該課程具有如下教學(xué)難點：1）該課程的理論性和實踐性都很強(qiáng)，學(xué)生較難掌握；2）核心知識點較為分散，難以組織在統(tǒng)一的邏輯框架之下；3）該學(xué)科目前仍處于快速發(fā)展階段，如何把當(dāng)前該領(lǐng)域最新的思想和方法融入到教學(xué)環(huán)節(jié)中也是任課教師要面臨的巨大挑戰(zhàn)。為了有效解決這些問題，我們設(shè)計了面向計算機(jī)視覺課程的綜合性教學(xué)實踐案例“環(huán)視系統(tǒng)構(gòu)建與基于環(huán)視的語義信息提取”，其有效性已在教學(xué)實踐中得到了檢驗。

一? 案例概述

此案例為面向計算機(jī)視覺課程的綜合性實踐教學(xué)案例，覆蓋的理論教學(xué)內(nèi)容主要包括相機(jī)模型與內(nèi)參標(biāo)定、環(huán)視系統(tǒng)標(biāo)定及語義目標(biāo)檢測三部分內(nèi)容，最終目標(biāo)是讓學(xué)生綜合運(yùn)用所學(xué)知識完成車載環(huán)視系統(tǒng)的構(gòu)建及基于環(huán)視圖的語義信息提取任務(wù)。

（一）? 教學(xué)目標(biāo)

本案例面向軟件工程、計算機(jī)科學(xué)與技術(shù)等計算機(jī)相關(guān)學(xué)科本科專業(yè)的高年級學(xué)生，要求學(xué)生有一定的編程經(jīng)驗，熟悉C++、Python等語言，并熟練掌握高等數(shù)學(xué)、線性代數(shù)等相關(guān)內(nèi)容。在該案例教學(xué)過程中，學(xué)生需要分組完成環(huán)視系統(tǒng)構(gòu)建與基于環(huán)視的語義信息提取系統(tǒng)的設(shè)計與實現(xiàn)。

在具體的教學(xué)過程中，該案例可分為相機(jī)模型與標(biāo)定、環(huán)視系統(tǒng)標(biāo)定及環(huán)視語義目標(biāo)檢測與分類3個階段。

第一階段：講授相機(jī)模型、非線性最小二乘法、相機(jī)內(nèi)參標(biāo)定，讓學(xué)生使用相機(jī)拍攝標(biāo)定板圖像并完成相機(jī)的內(nèi)參標(biāo)定。

第二階段：講授幾何變換、幾何變換群、線性最小二乘法和單應(yīng)性估計等知識點，讓學(xué)生在標(biāo)定場用實驗車獲取數(shù)據(jù)，編寫程序?qū)崿F(xiàn)對環(huán)視系統(tǒng)相機(jī)外參的標(biāo)定。

第三階段：講授機(jī)器學(xué)習(xí)基礎(chǔ)、深度卷積神經(jīng)網(wǎng)絡(luò)、視覺目標(biāo)檢測與分類等知識點，帶領(lǐng)學(xué)生實地采集典型道路環(huán)境下的環(huán)視圖像樣本，并完成圖像標(biāo)注與網(wǎng)絡(luò)訓(xùn)練，最終驗證目標(biāo)檢測與分類模型的性能。

（二）? 案例材料準(zhǔn)備

學(xué)生需掌握線性代數(shù)基礎(chǔ)、數(shù)字圖像處理的知識，具備基本的編程能力。此外，根據(jù)課程講授進(jìn)度和案例執(zhí)行情況，需有針對性地提前閱讀相關(guān)文獻(xiàn)及資料[3-4]。在進(jìn)行授課前，本案例需要準(zhǔn)備如下實驗器材。

1）車載廣角魚眼相機(jī)（視場在185°以上）4個（如圖1（a）所示）。

2）實驗平臺車1臺（如圖1（b）所示）。

3）棋盤格平面標(biāo)定板1塊（如圖1（c）所示）。

4）棋盤格平面標(biāo)定場或標(biāo)定布1塊（如圖1（d）所示）。

二? 案例教學(xué)要點

本案例主要介紹計算機(jī)視覺知識在具體項目中的運(yùn)用情況，借此從理論與實踐兩方面讓學(xué)生掌握相關(guān)知識和技能。課程依照項目過程，主要分為相機(jī)模型與內(nèi)參標(biāo)定、環(huán)視系統(tǒng)標(biāo)定及環(huán)視語義信息提取3個階段。在具體授課過程中，授課教師應(yīng)當(dāng)注重數(shù)學(xué)理論與工程問題解決方案的相互結(jié)合，依照由淺入深，由一般到特殊的思路，從最基本的基礎(chǔ)理論出發(fā)，逐步過渡到真實案例中使用的具體技術(shù)。同時，每個階段都要安排相應(yīng)的實驗討論環(huán)節(jié)，讓學(xué)生通過實踐真正理解和掌握所學(xué)內(nèi)容。

（一）? 相機(jī)模型與內(nèi)參標(biāo)定

在進(jìn)行相機(jī)模型的教授之前，授課教師首先需要依照學(xué)生情況，決定是否進(jìn)行基礎(chǔ)線性代數(shù)知識的補(bǔ)充，這些知識應(yīng)涵蓋矩陣與向量的定義、矩陣乘法、矩陣行列式計算及矩陣求導(dǎo)等內(nèi)容。在確保學(xué)生具有所需的數(shù)學(xué)基礎(chǔ)后，從一般情況入手，講解針孔相機(jī)模型，分析相機(jī)成像過程包含的4個坐標(biāo)系（世界坐標(biāo)系、相機(jī)坐標(biāo)系、歸一化平面坐標(biāo)系和像素坐標(biāo)系）與相機(jī)內(nèi)外參數(shù)的定義，讓學(xué)生理解相機(jī)的基本成像流程。在此基礎(chǔ)上，進(jìn)一步講授相機(jī)的畸變模型，分析徑向畸變與切向畸變產(chǎn)生的原因，并用數(shù)學(xué)表達(dá)式給出嚴(yán)謹(jǐn)?shù)亩x。之后，逐步聚焦于車載環(huán)視系統(tǒng)中使用到的魚眼相機(jī)，講述魚眼相機(jī)的畸變模型，并分析對比魚眼相機(jī)畸變模型和普通相機(jī)畸變模型的異同。

目前，相機(jī)內(nèi)參標(biāo)定使用最廣泛的方法是張正友標(biāo)定法[5]。該方法通過從不同角度觀察有具體尺度信息的平面模式，對相機(jī)內(nèi)畸變參數(shù)給出估計。由于理論過于繁復(fù)，教師應(yīng)當(dāng)依照教學(xué)時間與學(xué)生基礎(chǔ)合理安排課程。

當(dāng)理論教學(xué)完成后，需設(shè)置實驗課程，讓學(xué)生把理論算法進(jìn)行編程實現(xiàn)。學(xué)生需通過小組合作，用相機(jī)從不同角度拍攝標(biāo)定板，并使用OpenCV或者其他框架編寫程序，計算相機(jī)內(nèi)參并完成畸變矯正。如果圖像畸變校正效果不佳，需帶領(lǐng)學(xué)生對可能的原因進(jìn)行深入分析（如特征點檢測不準(zhǔn)、拍攝角度過于單一、相機(jī)畸變過大導(dǎo)致模型難以擬合等）。

（二）? 環(huán)視系統(tǒng)標(biāo)定

環(huán)視系統(tǒng)的標(biāo)定與環(huán)視圖的生成主要基于射影空間幾何變換的理論。授課內(nèi)容需遵循由簡至繁的原則，從歐氏變換開始，逐步增加變換的自由度，依次講解歐氏變換、相似變換、仿射變換與射影變換。為估計兩平面之間的單應(yīng)性變換矩陣，教師還應(yīng)對單應(yīng)性估計與線性最小二乘法進(jìn)行講解，剖析如何通過四組二維點對或者更多的點對來估計兩平面之間的單應(yīng)性變換。最后，講解環(huán)視系統(tǒng)中相機(jī)外參的標(biāo)定流程。

環(huán)視系統(tǒng)的標(biāo)定通常依賴棋盤格平面標(biāo)定場或標(biāo)定布，如圖1（d）所示。如果條件受限，也可使用磚塊大小一致的磚地之類的具有尺度信息的平面模式替代。在標(biāo)定過程中，通常以車輛后軸中心作為車輛坐標(biāo)系原點，車輛需要被駕駛到固定的位置上，讓車輛后軸中心對準(zhǔn)標(biāo)定場內(nèi)一個固定的角點。之后，采集4個廣角魚眼相機(jī)的圖像并完成去畸變操作。此時，去畸變后的圖像平面與地平面之間存在著單應(yīng)性變換映射關(guān)系。通過在圖像上找出角點的像素坐標(biāo)，并利用格子的尺度性找到其在地面坐標(biāo)系中的坐標(biāo)，就獲得了一組二維點對。利用超過4組（通常使用8組以上）的點對，就可以解算出地面平面坐標(biāo)系到去畸變圖像平面坐標(biāo)系之間的映射關(guān)系。

學(xué)生應(yīng)當(dāng)分組編寫魚眼相機(jī)畸變?nèi)コc單應(yīng)性估計的程序，并在實際場地完成標(biāo)定，計算去畸變圖像與地平面之間的單應(yīng)性矩陣。最后，結(jié)合單應(yīng)性矩陣與相機(jī)畸變系數(shù)，生成從鳥瞰視圖坐標(biāo)系到原始魚眼圖像坐標(biāo)系的映射表，從魚眼視圖生成鳥瞰視圖。在得到4個方向的鳥瞰視圖之后，需要觀察每個攝像頭的視場范圍，找出其重疊的部分，確定出相鄰兩個視圖的圖像拼接線，將4幅鳥瞰圖像拼接成完整的鳥瞰環(huán)視圖像，如圖2所示。

在課后學(xué)生應(yīng)當(dāng)查閱相關(guān)文獻(xiàn)并分組討論分析以下幾點問題：①常見的環(huán)視系統(tǒng)標(biāo)定方案包含哪些？優(yōu)劣是什么？②影響環(huán)視圖像精度的因素主要有哪些？③如果相機(jī)位置發(fā)生改變，在不進(jìn)行重新標(biāo)定的前提下，是否有方法可以修正錯位的環(huán)視圖？

（三）? 環(huán)視語義目標(biāo)檢測與分類

標(biāo)定好了環(huán)視相機(jī)系統(tǒng)以后，就可以學(xué)習(xí)如何在環(huán)視圖中提取語義信息。在正常道路環(huán)境下，環(huán)視圖中包含的常見語義特征包括車道線、行進(jìn)指示標(biāo)識、泊車位、泊車位序號和減速帶等，教師可以根據(jù)實際情況選取想要提取的目標(biāo)類別。對環(huán)視圖中語義目標(biāo)進(jìn)行檢測與分類主要依賴深度學(xué)習(xí)的相關(guān)知識。教師需首先對機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的基礎(chǔ)知識進(jìn)行講授，尤其是應(yīng)包括卷積神經(jīng)網(wǎng)絡(luò)、目標(biāo)檢測中常見的網(wǎng)絡(luò)結(jié)構(gòu)、基于深度學(xué)習(xí)的語義分割等內(nèi)容。

比如，泊車位檢測是一個較為典型的目標(biāo)檢測與分類問題。該問題可以分解成泊車位標(biāo)志點模式檢測和局部圖像塊分類2個子問題[6-8]。常見的目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)都能用來解決泊車位標(biāo)志點模式檢測這個問題，本案例選擇了性能較好且使用較為廣泛的YOLO系列檢測子。局部圖像塊分類問題是一個典型的圖像模式分類任務(wù)，可以用任何流行的圖像分類深度神經(jīng)網(wǎng)絡(luò)來解決，比如AlexNet、ResNet、DenseNet等。

此外，神經(jīng)網(wǎng)絡(luò)的性能和訓(xùn)練數(shù)據(jù)集的數(shù)據(jù)數(shù)量與種類有著很大的關(guān)系，因此教學(xué)中還應(yīng)當(dāng)涵蓋數(shù)據(jù)集的選取、標(biāo)注與擴(kuò)充等內(nèi)容。教師需帶領(lǐng)學(xué)生采集各種情況下的環(huán)視圖像數(shù)據(jù)，需盡可能覆蓋室內(nèi)、室外、傍晚路燈光照和樹蔭遮擋等各種實際情況。然后，再進(jìn)行數(shù)據(jù)的標(biāo)注與擴(kuò)充。

在具體教學(xué)安排中，學(xué)生需要小組合作，完成數(shù)據(jù)采集與標(biāo)注、訓(xùn)練集與測試集的劃分、深度學(xué)習(xí)環(huán)境配置和深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與測試等一系列流程，在實踐過程中掌握深度學(xué)習(xí)技術(shù)在計算機(jī)視覺任務(wù)中的運(yùn)用方式。如果時間與實力允許，鼓勵學(xué)生自行探索提升系統(tǒng)性能的方法并嘗試實現(xiàn)。

三? 案例教學(xué)組織方式

為引導(dǎo)學(xué)生系統(tǒng)地學(xué)習(xí)和實踐本綜合教學(xué)案例，本案例教學(xué)計劃總共安排7周時間，分為理論教學(xué)、實踐教學(xué)和項目交流與答辯3個環(huán)節(jié)。

（一）? 理論教學(xué)

理論教學(xué)環(huán)節(jié)安排3周時間，由教師講授相關(guān)的理論知識，包括環(huán)視系統(tǒng)構(gòu)建過程中涉及的基礎(chǔ)知識（相機(jī)成像模型、射影幾何等）、線性最小二乘法、非線性最小二乘法、人工神經(jīng)網(wǎng)絡(luò)及目前學(xué)界前沿的視覺目標(biāo)檢測網(wǎng)絡(luò)結(jié)構(gòu)等。同時，除了理論授課外，案例為每一堂課都準(zhǔn)備了上機(jī)練習(xí)或者擴(kuò)展閱讀資料。上機(jī)練習(xí)可以幫助學(xué)生加深對理論知識點的理解。擴(kuò)展閱讀資料是對課堂內(nèi)容的補(bǔ)充。由于課堂時間有限，教師無法做到對所講授的知識點面面俱到。學(xué)生通過閱讀這些資料可以了解課堂上沒有觸及到的細(xì)節(jié)，以及該研究課題的學(xué)界前沿成果。

（二）? 實踐教學(xué)

實踐教學(xué)可安排2周時間，學(xué)生需自由組隊完成一個完整的車載環(huán)視及環(huán)視語義信息提取系統(tǒng)。學(xué)生需要結(jié)合理論教學(xué)環(huán)節(jié)所學(xué)知識，分析該項目中需要解決哪些問題，之后進(jìn)行合理分工，完成項目，編寫代碼并撰寫文檔。在實踐過程中，學(xué)生會碰到一些棘手的問題，這時就需要他們自己去查閱資料，搜集并研讀相關(guān)文獻(xiàn)，以解決問題。教師在該階段需要和各個學(xué)生保持定期的溝通，確保每個組項目的順利進(jìn)行，并解答他們的問題。

（三）? 項目交流與答辯

安排2周時間進(jìn)行項目交流與答辯。經(jīng)過之前5周的學(xué)習(xí)和實踐，學(xué)生基本可以按照教學(xué)計劃完成一個較為完整的車載環(huán)視系統(tǒng)。這之后，安排2周時間進(jìn)行最后的歸納總結(jié)。學(xué)生需要在這2周中回顧之前的教學(xué)知識并結(jié)合自己項目的完成情況，撰寫完整的項目文檔。文檔需包括（但并不限于）背景、概述、項目實施細(xì)節(jié)、實驗結(jié)果及總結(jié)5個部分。在課程的最后，安排答辯環(huán)節(jié)。每個小組的成員需要制作答辯PPT，對自己項目的完成情況進(jìn)行匯報。教師和其他學(xué)生聽取匯報，并提出問題或者建議。希望學(xué)生在答辯與交流的過程中能夠回顧項目完成的過程，并通過聽取他人意見、對比不同小組的完成情況，發(fā)現(xiàn)工作中的亮點以及值得進(jìn)一步研究的內(nèi)容。

四? 結(jié)束語

為了有效提升計算機(jī)視覺課程的教學(xué)效果，使學(xué)生更加深入牢固地掌握課上所講授的理論內(nèi)容，我們設(shè)計并實踐了綜合教學(xué)案例“環(huán)視系統(tǒng)構(gòu)建及基于環(huán)視的語義信息提取”。從2016年開始，本綜合性教學(xué)案例已經(jīng)在我們的計算機(jī)視覺課程中完整使用了6個周期，取得了良好的應(yīng)用效果，獲得了同濟(jì)大學(xué)相關(guān)專家和學(xué)生的好評，并引起了強(qiáng)烈的反響。該案例也獲得了2019年全國軟件工程教學(xué)案例比賽一等獎。在今后的教學(xué)實踐中，我們將認(rèn)真聽取相關(guān)專家和學(xué)生的建設(shè)性意見，對該綜合案例不斷完善，與時俱進(jìn)，從而持續(xù)提升該課程的教學(xué)質(zhì)量。

參考文獻(xiàn)：

[1] 沈瑩，高珍，張林.模式識別課程中的思政建設(shè)[J].教育現(xiàn)代化，2020，7（94）：113-115，155.

[2] 沈瑩，高珍，張林.《用戶交互技術(shù)》榮譽(yù)課程建設(shè)方案探討[J].教育現(xiàn)代化，2020，7（89）：104-108.

[3] SONKA M， HLAVAC V， BOYLE R. Image Processing， Analysis， and Machine Vision[M]. Stamford： CENGAGE Learning， 2008.

[4] 張林，沈瑩.面向計算機(jī)視覺課程的綜合性實驗平臺[J].計算機(jī)教育，2017（5）：136-139.

[5] ZHANG Z. Flexible camera calibration by viewing a plane from unknown orientations[C]//Proceedings of International Conference on Computer Vision， 1999：666-673.

[6] ZHANG L， HUANG J， LI X， et al. Vision-based parking-slot detection： A DCNN-based approach and a large-scale benchmark dataset[J]. IEEE Trans. Image Processing， 2018（27）：5350-5364.

[7] HUANG J， ZHANG L， SHEN Y， et al. DMPR-PS： A novel approach for parking-slot detection using directional marking-point regression[C]//Proceedings of IEEE Int'l Conf. Multimedia and Expo， 2019：212-217.

[8] LI L， ZHANG L， LI X， et al. Vision-based parking-slot detection： A benchmark and a learning-based approach[C]// Proceedings of IEEE Int'l Conf. Multimedia and Expo， 2017：649-654.