復(fù)Hessian矩陣性質(zhì)及復(fù)正定性的研究

張宋傳

（武夷學(xué)院 數(shù)學(xué)與計(jì)算機(jī)學(xué)院，福建 武夷山 354300）

考慮復(fù)變量優(yōu)化問題：

其中，優(yōu)化變量z取值范圍是復(fù)數(shù)域，目標(biāo)函數(shù)為復(fù)變量實(shí)值函數(shù)。不同于實(shí)變量優(yōu)化問題，問題(1)中目標(biāo)函數(shù)在非常值情形下，不滿足柯西-黎曼條件[1]，因此傳統(tǒng)的復(fù)變函數(shù)微分理論無法應(yīng)用于復(fù)變量優(yōu)化問題的算法設(shè)計(jì)和理論分析上。早在20世紀(jì)初，Writinger便提出了一種擴(kuò)展的復(fù)變函數(shù)微分理論[2]。直到上世紀(jì)80年代，隨著復(fù)變量優(yōu)化問題在工程應(yīng)用領(lǐng)域的廣泛出現(xiàn)，Writinger微分理論逐漸成為復(fù)變量優(yōu)化問題研究的一個(gè)重要理論工具[5-9]。Brandwood首次引入復(fù)梯度的概念[3]，A.van den Bos進(jìn)一步給出復(fù)Hessian矩陣及復(fù)域上泰勒展開式[4]，Kreutz-Delgado系統(tǒng)總結(jié)了前人的成果，將Writinger微分理論命名為R-微分，而將傳統(tǒng)的復(fù)變函數(shù)微分理論稱為C-微分，二者統(tǒng)稱CR微分[10]。

問題(1)中目標(biāo)函數(shù)復(fù)Hessian矩陣的相關(guān)性質(zhì)，尤其是復(fù)Hessian矩陣的復(fù)正定性研究非常有意義，例如，使用復(fù)Hessian矩陣的復(fù)正定性可以判斷函數(shù)凸性與否，即問題(1)是否可收斂到局部/全局的最優(yōu)解。此外，復(fù)Hessian矩陣的復(fù)正定性在判斷優(yōu)化算法可行性時(shí)非常有用。關(guān)于復(fù)變實(shí)值函數(shù)的復(fù)Hessian矩陣定義最早出現(xiàn)在文獻(xiàn)[4]中，文獻(xiàn)[10]指出復(fù)Hessian矩陣的定義是不唯一的，復(fù)Hessian矩陣相關(guān)性質(zhì)的研究可以參考文獻(xiàn)[9-12]。在已有的研究基礎(chǔ)上，進(jìn)一步討論復(fù)變實(shí)值函數(shù)復(fù)Hessian矩陣的一些性質(zhì)，并給出復(fù)Hessian矩陣復(fù)(半)正定與Hermite(半)正定的一些充要條件。

1 預(yù)備知識

本文中，用 Cm×n與 Rm×n分別表示 m ×n 復(fù)矩陣集與實(shí)矩陣集，(·)T，，(·)H分別表示矩陣或向量的轉(zhuǎn)置，共軛及共軛轉(zhuǎn)置，Re(·),Im(·)分別表示復(fù)值對象的實(shí)部和虛部。n維復(fù)向量z與其共軛向量定義如下:

其中，zi=xi+j yi，i=1,2,…,n，j為虛數(shù)單位，即或者，z=x+j y,z=x-j y

其中，

則v=J w，輔助矩陣J定義為

其中，In表示n階單位陣。顯然，J是可逆陣，有JH，因此，w=

R微分中，考慮復(fù)變實(shí)值函數(shù)_的導(dǎo)數(shù)與微分時(shí)，形式上將復(fù)變量z∈Cn與它的共軛z認(rèn)為是兩個(gè)獨(dú)立的變量。

定義 1[10]設(shè)函數(shù) g（z）:Cn→ C ，g（z）關(guān)于 z與 z的R導(dǎo)數(shù)與R導(dǎo)數(shù)分別定義為:

定義 2[10]設(shè)函數(shù) g（z）:D? Cn→ C，設(shè) c是 D 的一個(gè)內(nèi)點(diǎn)，如果存在 c 的一個(gè)球鄰域 B（c），B（c）中任一點(diǎn)的R導(dǎo)數(shù)與導(dǎo)數(shù)都存在，并且c點(diǎn)的R導(dǎo)數(shù)與導(dǎo)數(shù)在c點(diǎn)上連續(xù)，則稱函數(shù)g（z）在點(diǎn)c上是R可微的；如果D是Cn中的開子集，函數(shù)g（z）在D上任一點(diǎn)上都R可微，則稱g（z）在D上是R可微的。

定義3[10]設(shè)D是Cn中的開子集，則函數(shù)g（z）:D→C，在D上二階R可微當(dāng)且僅當(dāng)R導(dǎo)數(shù)與導(dǎo)數(shù)在D上是R可微的。

定義 4[10]設(shè)函數(shù)g（z）:D?Cn→C在D內(nèi)關(guān)于z與z的二階導(dǎo)數(shù)R與導(dǎo)數(shù)存在，則g（z）的復(fù)Hessian矩陣定義為

注 1:g（z）的復(fù)Hessian矩陣定義是不唯一的，最早出現(xiàn)在文獻(xiàn)[4]_中，其v的結(jié)構(gòu)定義為

這在實(shí)際應(yīng)用中不是很方便。 Kreutz-Delgado在文獻(xiàn)[10]中給出另一個(gè)定義，

和定義4的最大不同只表現(xiàn)在g（z）的二階泰勒展開式的不同。為了討論方便，本文只采用定義4中的形式。

R 微分中，g（z）常常寫作 g（z，z）。另一方面，g（z）也可視為實(shí)變函數(shù)g（x,y），其中z=x+j y，習(xí)慣上我們使用不同的函數(shù)名予以區(qū)分，此處使用 f（x,y）或 f（w）表示，同時(shí)記▽2f∈ R2n×2n為 f（x,y）的實(shí) Hessian 矩陣。

定義 5[13]設(shè) A∈ R2n×2n，如果對任意非零 ξ∈ Rn，都有ξHAξ≥0，則稱A為實(shí)半正定矩陣。若上式取嚴(yán)格不等號，則稱A為實(shí)正定矩陣。

定義 6[13]設(shè) A∈ Cn×n，如果對任意非零 ξ∈ Cn，都有Re（ξHAξ）≥ 0，則稱A 為復(fù)半正定矩陣。若上式取嚴(yán)格不等號，則稱A為復(fù)正定矩陣。

易知，如果 A∈ Rn×n，則 A 為復(fù)（半）正定矩陣當(dāng)且僅當(dāng)A為實(shí)（半）正定矩陣。

定義 7[13]設(shè)A∈Cn×n，AH=A，如果對任意非零ξ∈ Cn，都有 ξHAξ≥ 0，則稱 A 為 Hermite半正定矩陣。若上式取嚴(yán)格不等號，則稱A為Hermite正定矩陣。

顯然，Hermite（半）正定矩陣是復(fù)（半）正定矩陣。

引理 1[14]若A為復(fù)（半）正定矩陣，對任意同階可逆陣P，PHAP為復(fù)（半）正定矩陣。

2 主要結(jié)果

定理 1 設(shè)函數(shù) g（z）:D?Cn→R在 D 內(nèi)關(guān)于 z與 z的二階R導(dǎo)數(shù)與導(dǎo)數(shù)存在，則f（x,y）在實(shí)域~D內(nèi)關(guān)于x與y的二階偏導(dǎo)數(shù)存在，且

證明見文獻(xiàn)[11]命題4，事實(shí)上，證明中僅用到二階導(dǎo)數(shù)與導(dǎo)數(shù)存在這一事實(shí)，因此本文定理1將原結(jié)論條件由“函數(shù) g（z）:D?Cn→R在D上二階 R可微”減弱為“函數(shù) g（z）:D? Cn→R 在 D 內(nèi)關(guān)于 z與的二階R導(dǎo)數(shù)與導(dǎo)數(shù)存在”。

定理 2 設(shè)函數(shù)g（z）:D?Cn→R在D 上二階R可微，則進(jìn)而▽2g=（▽2g）H，即▽2g 是Hermitian陣，同時(shí)，▽2f為實(shí)對稱陣。

證明：由于函數(shù) g（z）:D?Cn→R在D上二階R可微，根據(jù) Hessian 矩陣對稱性定理[15]，? i，k∈ ｛1,2,… ,n｝有再由定理1易知結(jié)論成立。

定理 3 設(shè)函數(shù)g（z）:D?Cn→R在D 內(nèi)關(guān)于z與的二階R導(dǎo)數(shù)與導(dǎo)數(shù)存在，▽2g是復(fù)(半)正定當(dāng)且僅當(dāng)▽2f是實(shí)(半)正定。

證明：J為可逆陣，且▽2f=JH▽2g J，由引理1得。

定理 4 設(shè)函數(shù)g（z）:D?Cn→R在D 內(nèi)關(guān)于z與的二階R導(dǎo)數(shù)與導(dǎo)數(shù)存在，▽2g是復(fù)半正定的當(dāng)且僅當(dāng)

證明：不失一般性，我們僅考慮復(fù)半正定的情形。如果▽2g是復(fù)半正定的，?η≠0∈Cn，由定義6可得Re（ψ（η）H▽2gψ（η））＝ψ（η）H▽2gψ（η）≥ 0，(3)式成立。

反之，如果(3)式成立，? ξ∈ R2n，且 ξ≠ 0，由定理1，有 ξH▽2fξ=ξHJH▽2g Jξ，因?yàn)?/p>

故有 ξH▽2fξ=ψ（η）H▽2gψ（η）≥ 0，即▽2f是實(shí)半正定的，由定理3知，▽2g是復(fù)半正定，證畢。

考慮到

進(jìn)一步有：

推論1▽2g是復(fù)半正定的當(dāng)且僅當(dāng)

Re（ηHH1η）+Re（ηHH2≥ 0,?η≠ 0∈ Cn；▽2g是復(fù)正定的當(dāng)且僅當(dāng)上式不等號嚴(yán)格成立。

結(jié)合定理2，我們有

推論 2 設(shè)函數(shù)g（z）:D?Cn→R在D 上二階R可微，▽2g是Hermite半正定矩陣當(dāng)且僅當(dāng)

（ηHH1η）+Re（ηHH）≥ 0,? η≠ 0∈ Cn；▽2g是Hermite正定矩陣當(dāng)且僅當(dāng)上式不等號嚴(yán)格成立。

3 例子

考慮如下復(fù)變量優(yōu)化問題：

其中,b∈ Cm，A∈Cn×n是行滿秩的。文獻(xiàn)[11]提出一種復(fù)值拉格朗日神經(jīng)網(wǎng)絡(luò)算法解該類優(yōu)化問題，若▽2g是復(fù)正定的，則復(fù)值拉格朗日神經(jīng)網(wǎng)絡(luò)是李雅普諾夫意義下全局漸進(jìn)穩(wěn)定的，輸出軌跡全局收斂到問題的最優(yōu)解。本節(jié)給出兩個(gè)具體的復(fù)變量優(yōu)化問題，目標(biāo)函數(shù)的復(fù)Hessian矩陣的正定性判定將應(yīng)用第二節(jié)中的主要結(jié)果，并通過復(fù)值拉格朗日神經(jīng)網(wǎng)絡(luò)算法求解，實(shí)驗(yàn)進(jìn)一步證實(shí)上述結(jié)果的有效性。

例 1 考慮 g（z）=Re（zHMz）+Re（qHz），其中 q∈ Cn,M ∈ Cn×n是復(fù)正定矩陣，計(jì)算得

由推論1可知，▽2g是復(fù)正定矩陣。任取初始點(diǎn)，求解該問題的復(fù)值拉格朗日神經(jīng)網(wǎng)絡(luò)是李雅普諾夫意義下全局漸進(jìn)穩(wěn)定的，輸出軌跡全局收斂到問題的最優(yōu)解。圖1展示了一數(shù)值實(shí)驗(yàn)中，任取10個(gè)隨機(jī)初始點(diǎn)，輸出解的目標(biāo)函數(shù)值 g（z（t））的收斂過程。

圖1 復(fù)值拉格朗日神經(jīng)網(wǎng)絡(luò)輸出解的目標(biāo)函數(shù)值的收斂過程Figure 1 Transientbehaviors of g（z(t)）based on the complex-valued Lagrange neural network

例2考慮

? η≠ 0∈ Cn，易證得

由推論2可知，▽2g是Hermite正定矩陣。圖2展示了任取10個(gè)隨機(jī)初始點(diǎn)，求解該問題的復(fù)值拉格朗日神經(jīng)網(wǎng)絡(luò)輸出解z（t）的收斂過程。

圖2 復(fù)值拉格朗日神經(jīng)網(wǎng)絡(luò)輸出解的收斂過程Figure 2 Transientbehaviors of z(t)based on the complex-valued Lagrange neural network