人工智能時(shí)代下的工程優(yōu)化教學(xué)改革研究

常甜甜，張建科，李小平，馮 晶

(西安郵電大學(xué) 理學(xué)院,陜西 西安 710121)

最優(yōu)化理論是人工智能領(lǐng)域的有力技術(shù)方法之一?！肮こ淘O(shè)計(jì)中的最優(yōu)化數(shù)學(xué)方法”(簡(jiǎn)稱為“工程優(yōu)化”)是研究生的公共課程，其在機(jī)器視覺(jué)領(lǐng)域、數(shù)據(jù)挖掘領(lǐng)域、人工智能領(lǐng)域發(fā)揮著愈來(lái)愈重要的作用。傳統(tǒng)的數(shù)學(xué)教學(xué)手段是課件結(jié)合粉筆加黑板，教師以書本內(nèi)容為主，枯燥地講授數(shù)學(xué)的理論知識(shí)?！肮こ虄?yōu)化”是一門實(shí)用性極強(qiáng)的學(xué)科，這門課程的教學(xué)方法仍然停留在“概念-理論-計(jì)算”的傳統(tǒng)教學(xué)模式，學(xué)生在學(xué)習(xí)的過(guò)程當(dāng)中不知道如何將理論與實(shí)際結(jié)合起來(lái)，不知道學(xué)習(xí)的優(yōu)化算法到底可以用來(lái)做什么？影響了學(xué)生的學(xué)習(xí)熱情和創(chuàng)造性思維的培養(yǎng)。目前高校在教育教學(xué)過(guò)程中，不斷的與時(shí)俱進(jìn)，調(diào)整教學(xué)方法和大綱，以適應(yīng)時(shí)代變化[1-13]。筆者所在最優(yōu)化教學(xué)團(tuán)隊(duì)在教學(xué)內(nèi)容和方法上進(jìn)行改革，提出案例教學(xué)法，即“工程案例-建模-理論分析-問(wèn)題求解”的教學(xué)模式。具體地首先給出一個(gè)淺顯易懂的工程案例問(wèn)題，且是該領(lǐng)域的研究熱點(diǎn)問(wèn)題，根據(jù)問(wèn)題建立最優(yōu)化模型，引導(dǎo)學(xué)生將最優(yōu)化原理與各自專業(yè)中的研究對(duì)象相結(jié)合，最后采用最優(yōu)化計(jì)算方法來(lái)求解問(wèn)題，完成一個(gè)“問(wèn)題-建模-理論-計(jì)算-應(yīng)用”的完整流程，提高學(xué)生用最優(yōu)化方法解決工程實(shí)際問(wèn)題的能力。所選案例要緊扣教學(xué)內(nèi)容，案例分析的目的是使學(xué)生加深對(duì)所學(xué)理論知識(shí)的理解和運(yùn)用理論知識(shí)解決實(shí)際問(wèn)題的能力，因此，所選案例必須是針對(duì)課程內(nèi)容的。即案例內(nèi)容具有一定的代表性和普遍性，具有舉一反三、觸類旁通的作用，而不是實(shí)踐中根本不會(huì)發(fā)生的案例，且典型的案例往往涉及的關(guān)系比較全面，涵蓋的法律知識(shí)較多，有助于學(xué)生從各個(gè)方面對(duì)所學(xué)理論加以驗(yàn)證，從中得出正確結(jié)論。因此，案例的選擇應(yīng)該具備真實(shí)可信、客觀生動(dòng)、案例多樣化、相關(guān)性以及典型性。

1 實(shí)施方案

案例教學(xué)法，即“工程案例-建模-理論分析-問(wèn)題求解”的四步教學(xué)模式。工程案例的引入可以采用具體模型(如最小二乘模型)，也可以采用實(shí)際應(yīng)用問(wèn)題(如圖像重建)。以文獻(xiàn)[13]為例，具體的工程案例設(shè)計(jì)舉例如表1所示，從表1中的涉及教材內(nèi)容方面可以發(fā)現(xiàn)，這幾個(gè)工程案例涵蓋了教材的全部?jī)?nèi)容，而且這幾個(gè)工程案例是目前學(xué)科研究方向的熱點(diǎn)研究?jī)?nèi)容。當(dāng)將這些案例吃透后，理論問(wèn)題自然而然產(chǎn)生，比如為什么初始點(diǎn)的選取會(huì)引起解不穩(wěn)定？?jī)?yōu)化模型的光滑化問(wèn)題？為什么單純形法在可行域頂點(diǎn)達(dá)到最優(yōu)解？?jī)?yōu)化模型問(wèn)題的分類問(wèn)題？帶著這些理論問(wèn)題引導(dǎo)學(xué)生進(jìn)行進(jìn)一步的定理證明及推導(dǎo)。

表1 教案設(shè)計(jì)涉及內(nèi)容

2 教學(xué)方法舉例

以醫(yī)學(xué)圖像重建[14]和模式分類[15-18]案例為例對(duì)案例教學(xué)法具體進(jìn)行說(shuō)明。

2.1 醫(yī)學(xué)圖像重建

2.1.1 醫(yī)學(xué)圖像重建背景

電阻抗圖像重建問(wèn)題遵循電磁場(chǎng)基本規(guī)律滿足MAXWELL方程，其可以簡(jiǎn)化為準(zhǔn)靜態(tài)電磁場(chǎng)問(wèn)題，滿足Laplace方程[14]：

(1)

Laplace方程給出了模型參數(shù)(電導(dǎo)率)和測(cè)量參數(shù)(邊界電壓)之間的關(guān)系，已知電導(dǎo)率σ求電勢(shì)φ稱為正問(wèn)題，已知電勢(shì)φ求電導(dǎo)率σ稱為反問(wèn)題。有限元法(FEM)是求解電磁場(chǎng)問(wèn)題的常用數(shù)值解法。FEM法需要將場(chǎng)域離散化，即將場(chǎng)域進(jìn)行剖分，剖分后圖像重建問(wèn)題可以看作是以下線性方程組：

Jσ=φ

(2)

式中：J為Jacobian矩陣，σ為電導(dǎo)率分布，φ為邊界測(cè)量電壓值。

2.1.2 最優(yōu)化模型建立

問(wèn)題(2)是一個(gè)典型的欠定問(wèn)題(ill-posed problem)， 可采用最小二乘法思想逼近其近似解， 即求解：

(3)

式中：Γ稱為正則化矩陣(在很多情況下，取單位矩陣I)。 第一項(xiàng)為擬合度量， 第二項(xiàng)為正則項(xiàng)。p取不同值:0、1、2， 即得不同類正則化算法。L2范數(shù)的優(yōu)點(diǎn)是目標(biāo)函數(shù)光滑，求導(dǎo)計(jì)算方便， L2范數(shù)正則化的典型代表是Tikhonov正則化方法:

以下就問(wèn)題(5)的求解問(wèn)題進(jìn)行討論。

2.1.3 最優(yōu)化算法理論分析

無(wú)約束優(yōu)化問(wèn)題的一般迭代格式[2]是:

σk+1=σk+λkdk

(6)

式中：λk是最優(yōu)步長(zhǎng)，dk是當(dāng)前搜索方向，σ定義同上。牛頓法的步長(zhǎng)是定長(zhǎng)的，即λk=1， 搜索方向是:

(7)

圖1 牛頓法算法迭代點(diǎn)序列圖示

式(7)是牛頓法算法的搜索方向， 點(diǎn)列迭代如圖1所示. 因此只有Hessian矩陣正定時(shí)，牛頓方向才是下降方向。給定初始值點(diǎn)x0， 過(guò)點(diǎn)做切線與x軸相交， 以交點(diǎn)做垂線與曲線相交于點(diǎn)x1，以此類推即可得到牛頓法算法的迭代點(diǎn)列，直至達(dá)到收斂要求。但是，但目標(biāo)函數(shù)曲線變化較大，或者初始值選取不當(dāng)時(shí)，牛頓法算法可能不收斂。

圖2 牛頓法算法初始點(diǎn)選取不當(dāng)情況下迭代點(diǎn)列圖示

假設(shè)圖2目標(biāo)函數(shù)f(x)的可行域?yàn)閇a，b]， 圖2(a)為目標(biāo)函數(shù)曲度變化較大時(shí)， 取b點(diǎn)為初始點(diǎn)x0，經(jīng)過(guò)幾步迭代到x2，在x2點(diǎn)做曲線的切線可以發(fā)現(xiàn)x3點(diǎn)落到了可行域[a，b]外，因此這種情況下牛頓法算法不收斂; 圖2(b)中如果初始點(diǎn)選取為a，則在下一步迭代時(shí)，點(diǎn)直接落在了可行域外，算法不收斂;但在圖2(c)中，初始點(diǎn)選為b點(diǎn)，則x1落在了可行域內(nèi)，算法收斂。由此，可以發(fā)現(xiàn)牛頓法算法對(duì)初始點(diǎn)的選取直接關(guān)系到算法的穩(wěn)定性和收斂性。

在牛頓法算法中，每次迭代都涉及到目標(biāo)函數(shù)的梯度dk和Hessian矩陣?2f-1(σk)， 具體計(jì)算如下:

梯度函數(shù)為：?f(σ)=2JT(Jσ-φ)+2ασ

Hessian矩陣為：?2f(σ)=2JTJ+2α

牛頓法步驟描述如下:

輸入:已知選定初始分布σ0，ε>0，k=0。

轉(zhuǎn)向b)

b)計(jì)算σk+1=σk+dk，k=0， 轉(zhuǎn)向a)

輸出：σ*=σk+1。

2.1.4 最優(yōu)化問(wèn)題求解及應(yīng)用實(shí)例

圖像重建問(wèn)題的正向問(wèn)題計(jì)算借助EIDORS3.10軟件[22]計(jì)算。具體的實(shí)驗(yàn)參數(shù)設(shè)置：目標(biāo)選取三種情況， 成像目標(biāo)在中心點(diǎn)位置， 成像目標(biāo)在1/2半徑處，以及成像目標(biāo)在邊界位置。電極總數(shù)為16個(gè)，接觸阻抗值為0.005 Ω，電流強(qiáng)度為1 mA，背景電導(dǎo)率為0.0025 s/m，目標(biāo)電導(dǎo)率為0.005 s/m，采用對(duì)向激勵(lì)模式，仿真數(shù)據(jù)剖分單元格總數(shù)1968個(gè)，節(jié)點(diǎn)數(shù)1049個(gè)。

表2 牛頓法成像結(jié)果

提出問(wèn)題：在實(shí)驗(yàn)中發(fā)現(xiàn)，如果初始點(diǎn)值為0.0015，牛頓法失效，代碼出現(xiàn)報(bào)錯(cuò)，提示：Hessian矩陣必須為正定矩陣。從而引起學(xué)生對(duì)于下降類算法的證明以及為什么教材中要求Hessian矩陣為正的問(wèn)題的思考。并引導(dǎo)學(xué)生對(duì)該問(wèn)題的解決方法。

2.2 模式分類

2.2.1 模式分類背景

支持向量機(jī)(support vector machine, SVM)是一種數(shù)據(jù)挖掘新方法[17]，可以解決小樣本問(wèn)題、非線性問(wèn)題以及高維數(shù)據(jù)等問(wèn)題，且推廣能力較強(qiáng)以及具有全局最優(yōu)解。被廣泛應(yīng)用于綜合評(píng)價(jià)、預(yù)測(cè)問(wèn)題、數(shù)據(jù)擬合以及模式識(shí)別等問(wèn)題。SVM模型基于極大間隔分類器的準(zhǔn)則可推導(dǎo)獲得，是一個(gè)凸二次規(guī)劃問(wèn)題，引導(dǎo)學(xué)生思考，如何求解該凸二次規(guī)劃問(wèn)題？

2.2.2 最優(yōu)化模型建立

以線性可分情況下的支持向量建模為例，SVM的算法思想是在多個(gè)分類超平面中，基于極大間隔原則，找出其中的最優(yōu)決策超平面，見(jiàn)圖3。

圖3 極大分類超平面圖示

引導(dǎo)學(xué)生并提問(wèn)：在一個(gè)線性可分問(wèn)題中可以存在多個(gè)分類面，如何使得該分類面確定且唯一？一個(gè)直觀的方法就是采用極大間隔準(zhǔn)則，如圖3所示，找一個(gè)方向向量w，在方向向量的切向量方向取一條線，沿切向量方向移動(dòng)該線，當(dāng)該線觸碰到正類樣本則停止，繼續(xù)向下平移碰觸到負(fù)類樣本后停止. 取這兩個(gè)線中間線即為要找的唯一的分類線。該法則滿足兩類樣本點(diǎn)間間隔最大原則?？梢缘玫骄€性可分支持向量分類機(jī)原始問(wèn)題為：

(8)

式中：xi為樣本點(diǎn)，yi為樣本對(duì)應(yīng)標(biāo)記，l為樣本數(shù)，w和b為超平面方程參數(shù)。為使得分類問(wèn)題可以引入核函數(shù)來(lái)處理非線性問(wèn)題，將原始問(wèn)題轉(zhuǎn)化為對(duì)偶問(wèn)題進(jìn)行研究，此處就引入了對(duì)偶問(wèn)題的理論。

2.2.3 最優(yōu)化算法理論分析

此處可引入并講解KKT條件和Wolf對(duì)偶理論，式(8)的拉格朗日函數(shù)為：

(9)

式中：α為拉格朗日乘子。由wolf對(duì)偶原理，求拉格朗日函數(shù)關(guān)于w，b的偏導(dǎo)數(shù)?？梢缘玫剑?/p>

(10)

代入(9)可得對(duì)偶問(wèn)題為：

αi≥0，i=1， …，l

(11)

在最優(yōu)化問(wèn)題(11)的求解過(guò)程中涉及到工作集(working set selection)的選取問(wèn)題，需要引入KKT條件，因此可以在這部分給學(xué)生仔細(xì)解釋KKT條件的理論知識(shí)，本文不再贅述。設(shè)α*是對(duì)偶問(wèn)題的任意解，則可按下式計(jì)算出原始問(wèn)題的解：

(12)

2.2.4 最優(yōu)化問(wèn)題求解及應(yīng)用實(shí)例[18]

為了讓學(xué)生有更直觀的理解，并測(cè)試所提出算法的有效性，實(shí)驗(yàn)數(shù)據(jù)來(lái)源于網(wǎng)絡(luò)或者實(shí)際應(yīng)用問(wèn)題，例如：UCI數(shù)據(jù)庫(kù)[23]，所選測(cè)試數(shù)據(jù)信息見(jiàn)表3。表4為SVM分類結(jié)果，評(píng)估準(zhǔn)測(cè)為精度，即：

(13)

表3 實(shí)驗(yàn)數(shù)據(jù)描述

表4 SVM分類結(jié)果

在樣例建模和求解過(guò)程中，引導(dǎo)學(xué)生思考在整個(gè)樣例過(guò)程中需要進(jìn)行哪些條件的判定？模式分類還有哪些應(yīng)用？最優(yōu)化模型的分類？停機(jī)準(zhǔn)確的選取問(wèn)題等等。

3 結(jié)論

“工程優(yōu)化”是人工智能、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等熱門研究領(lǐng)域的數(shù)學(xué)基礎(chǔ)課程，但在實(shí)際教學(xué)中發(fā)現(xiàn)，按部就班的采用傳統(tǒng)的教學(xué)方式時(shí)，學(xué)生并不能理解教材與實(shí)際應(yīng)用問(wèn)題之間的關(guān)系，以至于遇到實(shí)際工程問(wèn)題后仍然不能解決問(wèn)題。本教學(xué)改革方式采用案例教學(xué)法，通過(guò)引入各個(gè)學(xué)科的熱點(diǎn)研究問(wèn)題，針對(duì)熱點(diǎn)問(wèn)題進(jìn)行建模、分析、求解，幫助學(xué)生搭建理論與實(shí)際之間的聯(lián)系，提高學(xué)生解決實(shí)際問(wèn)題的能力。