基于深度學(xué)習(xí)的上市企業(yè)財(cái)務(wù)困境預(yù)測(cè)研究

摘要：識(shí)別面臨財(cái)務(wù)困境的公司對(duì)于維護(hù)投資者信心、防范金融風(fēng)險(xiǎn)至關(guān)重要。為此，提出了一種新的Attention-LSTM-MOWOA模型，該模型在LSTM模型中集成了注意力機(jī)制和多目標(biāo)鯨魚(yú)優(yōu)化算法（MOWOA）。與依賴單目標(biāo)鯨魚(yú)算法的傳統(tǒng)模型相比，模型結(jié)合了非優(yōu)勢(shì)集和擁擠距離計(jì)算，最終在鯨魚(yú)算法中形成了一個(gè)更復(fù)雜的多目標(biāo)優(yōu)化框架。這一改進(jìn)使分類器能夠敏銳地識(shí)別輸入序列中的關(guān)鍵數(shù)據(jù)并確定其優(yōu)先級(jí)，從而生成帕累托解決方案集。

關(guān)鍵詞：財(cái)務(wù)困境預(yù)測(cè)；注意力機(jī)制；長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)；多目標(biāo)鯨魚(yú)優(yōu)化算法

一、前言

當(dāng)前因財(cái)務(wù)困境導(dǎo)致企業(yè)經(jīng)營(yíng)出現(xiàn)問(wèn)題甚至破產(chǎn)的案例不斷增多。上市公司出現(xiàn)財(cái)務(wù)危機(jī)，不僅會(huì)給財(cái)務(wù)投資方、債權(quán)人和投資者帶來(lái)巨大的投資風(fēng)險(xiǎn)，而且會(huì)產(chǎn)生一系列連鎖反應(yīng)，使得證券市場(chǎng)的規(guī)范化和上市公司的治理能力備受質(zhì)疑。對(duì)上市公司開(kāi)展財(cái)務(wù)風(fēng)險(xiǎn)預(yù)警研究，有助于及時(shí)規(guī)避投資風(fēng)險(xiǎn)，保護(hù)各利益相關(guān)方權(quán)益，對(duì)于重塑投資者信心具有積極作用。肖毅等[1]認(rèn)為所謂的財(cái)務(wù)困境（或財(cái)務(wù)危機(jī)），是指企業(yè)受復(fù)雜多變的外部環(huán)境影響或內(nèi)部經(jīng)營(yíng)不善而導(dǎo)致的財(cái)務(wù)狀況的惡化，無(wú)力償還到期債務(wù)和當(dāng)前股利等情形。

20世紀(jì)90年代后，機(jī)器學(xué)習(xí)技術(shù)已成為財(cái)務(wù)困境預(yù)測(cè)領(lǐng)域的主導(dǎo)方法。然而，盡管出版的相關(guān)論文數(shù)量巨大，數(shù)據(jù)不平衡仍然是當(dāng)前研究的焦點(diǎn)和挑戰(zhàn)[2]。數(shù)據(jù)分類不平衡是一種普遍存在的現(xiàn)象。不平衡數(shù)據(jù)是響應(yīng)變量的分布在不同類別之間差異很大的數(shù)據(jù)集。樣本較少的響應(yīng)變量稱為正樣本或少數(shù)樣本，而樣本較多的響應(yīng)變量稱為負(fù)樣本或多數(shù)樣本。特別是在財(cái)務(wù)困境預(yù)測(cè)領(lǐng)域，與沒(méi)有面臨財(cái)務(wù)困境（NFD）的公司相比，經(jīng)歷財(cái)務(wù)困境（FD）的公司比例要小得多。何雯雯[3]指出，當(dāng)數(shù)據(jù)集中NFD與FD公司的比例超過(guò)4：1（即80%NFD和20%FD）時(shí)，模型的預(yù)測(cè)性能會(huì)下降。在真實(shí)的數(shù)據(jù)集中，面臨財(cái)務(wù)困境的公司比例往往不超過(guò)5%～10%，加劇了問(wèn)題的嚴(yán)重性。不平衡問(wèn)題的主要特點(diǎn)是當(dāng)少數(shù)樣本數(shù)量極小時(shí)，分類器無(wú)法學(xué)習(xí)少數(shù)樣本的所有特征[3]。在少數(shù)群體至關(guān)重要的情況下，這個(gè)問(wèn)題的重要性尤其明顯。研究人員普遍承認(rèn)，將陷入財(cái)務(wù)困境的公司錯(cuò)誤地歸類為健全的公司，可能比錯(cuò)誤地將健康的公司視為陷入財(cái)務(wù)困境的公司造成更有害的后果[4]。例如，當(dāng)金融機(jī)構(gòu)使用預(yù)測(cè)模型評(píng)估貸款申請(qǐng)人時(shí)，正確識(shí)別面臨財(cái)務(wù)困境的公司至關(guān)重要。如果不這樣做，可能會(huì)導(dǎo)致向?yàn)l臨破產(chǎn)的公司提供貸款。相反，將健康的公司錯(cuò)誤地歸類為陷入困境的公司可能會(huì)剝奪它們重要的財(cái)務(wù)資源。雖然這可能會(huì)導(dǎo)致決策不理想，但通常比向陷入困境的公司提供貸款的危害要小，后者可能會(huì)造成重大財(cái)務(wù)損失并導(dǎo)致更廣泛的經(jīng)濟(jì)不穩(wěn)定。因此，提高機(jī)器學(xué)習(xí)模型對(duì)不平衡數(shù)據(jù)分類的分析和理解既有理論意義又有實(shí)用價(jià)值。

二、相關(guān)研究綜述

隨著計(jì)算機(jī)技術(shù)的進(jìn)步和發(fā)展，神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)逐漸應(yīng)用于財(cái)務(wù)困境預(yù)測(cè)[5-6]。從此，財(cái)務(wù)困境預(yù)測(cè)研究開(kāi)辟了新的研究方向。朱曉謙等[7]在土耳其商業(yè)銀行數(shù)據(jù)上采用了一種新穎的加權(quán)功能邊際分類器集合，與傳統(tǒng)模型相比，成功提高了區(qū)分健康銀行和不健康銀行的預(yù)測(cè)準(zhǔn)確性。王建飛等[8]提出了一種獨(dú)特的基于雙聚類和集成技術(shù)的破產(chǎn)預(yù)測(cè)模型，該模型通過(guò)識(shí)別特定的企業(yè)組和相關(guān)變量來(lái)改進(jìn)對(duì)各種破產(chǎn)情況的預(yù)測(cè)。

除了卷積神經(jīng)網(wǎng)絡(luò)（CNN）之外，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）也被進(jìn)一步用于財(cái)務(wù)困境預(yù)測(cè)[9]。長(zhǎng)短記憶網(wǎng)絡(luò)（LSTM）是最典型的循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)之一。Huang使用CNN和LSTM算法從中國(guó)企業(yè)年報(bào)中提取文本情緒，發(fā)現(xiàn)結(jié)合審計(jì)報(bào)告中的情緒可以顯著提高模型預(yù)測(cè)財(cái)務(wù)困境的能力。方匡南等探索了RNN和LSTM算法在企業(yè)破產(chǎn)預(yù)測(cè)中的使用。他們的結(jié)果表明這些方法超越了傳統(tǒng)技術(shù)。

最近引入的注意力機(jī)制作為一種確定上下文敏感表示的新穎方法，能夠利用有限的注意力資源從大量數(shù)據(jù)中快速提取關(guān)鍵信息，特別是在小樣本環(huán)境中。如今，Attention-LSTM廣泛應(yīng)用于財(cái)務(wù)困境預(yù)測(cè)。雖然LSTM擅長(zhǎng)學(xué)習(xí)冗長(zhǎng)的序列數(shù)據(jù)樣本，但其學(xué)習(xí)能力在涉及更多特征變量和有限數(shù)據(jù)集容量的預(yù)測(cè)任務(wù)中受到一定限制。

因此，本文結(jié)合注意力機(jī)制，為輸入特征分配不同的注意力權(quán)重，構(gòu)建Attention-LSTM模型。并評(píng)估其在不同失衡比例下的預(yù)測(cè)性能。

至于模型優(yōu)化，受自然啟發(fā)的元啟發(fā)式算法已成為一種有前途的訓(xùn)練途徑。這些算法受到自然現(xiàn)象和生物過(guò)程的啟發(fā)，顯示出有效導(dǎo)航神經(jīng)網(wǎng)絡(luò)權(quán)重和偏差搜索空間的潛力。例如，飛蛾火焰優(yōu)化（MFO）算法模擬自然界飛蛾的導(dǎo)航行為。然而，上述提到的元啟發(fā)法調(diào)整的超參數(shù)通常涉及群體大小和迭代次數(shù)。相反，鯨魚(yú)優(yōu)化算法（WOA）提供了特定超參數(shù)設(shè)置的優(yōu)勢(shì)。

因此，本研究借鑒以上研究思路，利用多目標(biāo)鯨魚(yú)優(yōu)化算法來(lái)優(yōu)化Attention-LSTM的模型結(jié)構(gòu)，更加關(guān)注少數(shù)樣本的分類情況，提高模型對(duì)少數(shù)樣本的分類能力。

三、理論模型

伴隨著大數(shù)據(jù)技術(shù)以及機(jī)器學(xué)習(xí)的演變，從1980年開(kāi)始，基于群體智能的優(yōu)化算法，如GA算法、PSO算法、SA算法、蟻群算法、差分進(jìn)化算法等方法，由于其求解的高效性，以及求解復(fù)雜非線性問(wèn)題的有效性，受到了學(xué)者的廣泛研究。然而，目前研究采用的一般都是單一目標(biāo)優(yōu)化方法，但企業(yè)財(cái)務(wù)困境預(yù)測(cè)往往面臨著數(shù)據(jù)極不平衡的處境，因此尤其需要關(guān)注對(duì)少數(shù)類樣本的分類情況。本文通過(guò)引入非支配集、層次劃分和擁擠度排序的方法，改進(jìn)傳統(tǒng)的鯨魚(yú)優(yōu)化算法，使之可以處理多目標(biāo)優(yōu)化的問(wèn)題。然后通過(guò)構(gòu)建可以有效針對(duì)少數(shù)類樣本的優(yōu)化函數(shù)，提高模型對(duì)少數(shù)類的分類能力。

LSTM加入了門控機(jī)制，以此來(lái)控制信息的去留，具有適合處理和預(yù)測(cè)時(shí)間序列中時(shí)間跨度較大的事件的能力，近年來(lái)被大量研究者用來(lái)預(yù)測(cè)股價(jià)走勢(shì)。LSTM擁有三個(gè)門，分別是遺忘門（forget gate）、更新門（update gate）和輸出門（output gate）。遺忘門通過(guò)sigmoid來(lái)控制，它會(huì)根據(jù)上一時(shí)刻的輸出和當(dāng)前輸入來(lái)產(chǎn)生一個(gè)介于0～1的值，以此來(lái)決定是否讓上一時(shí)刻學(xué)到的信息保留或者部分保留。公式如下：

（1）

其中，ft的取值范圍是0～1，取值越小遺忘越多，反之則越少。ht-1是t-1時(shí)刻的輸出，xt是t時(shí)刻本層的輸入，Wf是各變量的權(quán)重，bf是偏置項(xiàng)，σ是sigmoid函數(shù)。

更新門由sigmoid層和tanh層兩個(gè)部分來(lái)共同作用，以此來(lái)控制細(xì)胞保留下來(lái)的信息。公式如下：

（2）

（3）

（4）

其中，it介于0～1之間，tanh是雙曲正切激勵(lì)函數(shù)，Ct-1是t-1時(shí)刻的細(xì)胞狀態(tài)值。

輸出門首先通過(guò)sigmoid層輸出一個(gè)初始結(jié)果，然后用tanh將Ct值縮放到-1～1，再與sigmoid得到的輸出結(jié)果依次相乘，最終給出輸出結(jié)果。公式如下：

（5）

（6）

與傳統(tǒng)的RNN相比，LSTM有效地解決了時(shí)間序列數(shù)據(jù)中長(zhǎng)期依賴關(guān)系的難題，因此特別適合處理具有復(fù)雜時(shí)間關(guān)系的樣本。在訓(xùn)練模型的過(guò)程中，本研究發(fā)現(xiàn)增加參數(shù)的數(shù)量可以提高模型的表達(dá)能力，增強(qiáng)其存儲(chǔ)信息的能力。然而，這種增強(qiáng)帶來(lái)了新的挑戰(zhàn)：信息超載的風(fēng)險(xiǎn)。為了應(yīng)對(duì)這一挑戰(zhàn)，Attention-LSTM 模型將注意力機(jī)制引入LSTM中。這種整合旨在更有選擇性地分配計(jì)算資源，在有限容量的限制下，重點(diǎn)關(guān)注數(shù)據(jù)中相關(guān)性較高的部分。在實(shí)際應(yīng)用中，軟注意力可以通過(guò)從整個(gè)數(shù)據(jù)集學(xué)習(xí)來(lái)計(jì)算每個(gè)數(shù)據(jù)點(diǎn)的權(quán)重。因此，本文在整個(gè)研究中采用了軟注意力的概念。

鯨魚(yú)優(yōu)化算法的迭代過(guò)程為：

（7）

每次迭代通過(guò)不同的隨機(jī)概率p和收斂因子A的大小來(lái)確定不同的搜尋最優(yōu)解的策略，大幅提高了算法的局部尋優(yōu)能力。

本研究通過(guò)引入非支配集和層次劃分，將每次迭代產(chǎn)生的非支配解劃分在非劣勢(shì)集里，其余解全部劃分在劣勢(shì)集里，進(jìn)而通過(guò)擁擠度排序，來(lái)確定最符合研究目標(biāo)的帕累托最優(yōu)解。擁擠度排序的過(guò)程為：

（8）

其中，D（i）表示第i個(gè)個(gè)體的擁擠程度，fj（i+1）和fj（i-1）分別是第i+1個(gè)和第i-1個(gè)個(gè)體的目標(biāo)函數(shù)值。

四、實(shí)驗(yàn)結(jié)果

本文在幾個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，并對(duì)結(jié)果進(jìn)行了詳細(xì)分析。所報(bào)告的結(jié)果是10次實(shí)驗(yàn)的平均值和標(biāo)準(zhǔn)偏差。本研究深入研究了每個(gè)指標(biāo)的變化，以全面了解不同模型在不同不平衡比率下的性能。

本小節(jié)將介紹UCI數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果。UCI數(shù)據(jù)集包括一個(gè)我國(guó)臺(tái)灣省的公司的數(shù)據(jù)集和五個(gè)波蘭公司的數(shù)據(jù)集。我國(guó)臺(tái)灣省的公司的數(shù)據(jù)集包括6819個(gè)樣本和96個(gè)財(cái)務(wù)輸入屬性。其中，6599個(gè)樣本被歸類為NFD，其余220個(gè)樣本被歸類為FD。波蘭公司數(shù)據(jù)集包含5個(gè)不同年份的數(shù)據(jù)，有64個(gè)輸入財(cái)務(wù)屬性。

圖1展示了每個(gè)模型在不同不平衡比下的召回率?？梢钥闯觯?0組實(shí)驗(yàn)中，Attention-LSTM-MOWOA在28組實(shí)驗(yàn)中獲得了最高的召回率，高達(dá)93.3%。隨著不平衡比的增加，本研究模型在召回率方面表現(xiàn)出更明顯的優(yōu)勢(shì)，尤其是當(dāng)不平衡比為1：15和1：20時(shí)。本研究中觀察到的明顯改善可歸因于多目標(biāo)鯨魚(yú)優(yōu)化算法的使用，它使模型能夠?qū)⒏嗟淖⒁饬Ψ峙浣o少數(shù)類別。因此，這種改進(jìn)提高了不平衡數(shù)據(jù)的分類性能。此外，在27組對(duì)比實(shí)驗(yàn)中，Attention-LSTM的表現(xiàn)也優(yōu)于LSTM，占總數(shù)的90%，表明注意力機(jī)制顯著提高了召回率。

對(duì)于F1分?jǐn)?shù)，隨著不平衡率的增加，各模型的性能都有所下降，雖然在不同的實(shí)驗(yàn)條件下，Attention-LSTM-MOWOA和Attention-LSTM-WOA的F1分?jǐn)?shù)很接近，但本研究的模型總體表現(xiàn)最好。此外，Attention-LSTM和LSTM 之間也存在同樣的規(guī)律性。由此可見(jiàn)，MOWOA和注意力機(jī)制可以很好地提高模型的F1得分率。

在24組對(duì)比實(shí)驗(yàn)中，Attention-LSTM-MOWOA的精度最高，達(dá)到了80%。雖然每個(gè)模型的精確度都會(huì)隨著不平衡比例的增加而降低，但包含注意力機(jī)制的模型的精確度降低得更慢，表明它們對(duì)數(shù)據(jù)不平衡的抵抗力更強(qiáng)。

AUC值是評(píng)價(jià)分類模型性能的重要標(biāo)準(zhǔn)，尤其是在正負(fù)樣本不平衡的情況下。研究結(jié)果發(fā)現(xiàn)隨著不平衡率的增加，AUC率總體上保持穩(wěn)定，并沒(méi)有受到很大影響，與研究者的認(rèn)識(shí)是一致的。但是，本研究的模型的AUC值具有明顯的優(yōu)勢(shì)，表明區(qū)分正樣本和負(fù)樣本的能力更強(qiáng)，性能更優(yōu)越。

總之，本研究提出的模型在分類能力方面優(yōu)于所比較的Attention-LSTM-WOA、Attention-LSTM和LSTM模型，尤其是在少數(shù)樣本方面，表明MOWOA與注意力機(jī)制的整合在增強(qiáng)模型分類能力方面非常有效。

五、結(jié)語(yǔ)

本研究提出了一種可以關(guān)注少數(shù)群體的模型，即Attention-LSTM-MOWOA。通過(guò)建立多目標(biāo)鯨魚(yú)優(yōu)化算法，并將其集成到Attention-LSTM 框架中，然后通過(guò)非優(yōu)勢(shì)集和擁擠距離計(jì)算生成帕累托解決方案集。這一改進(jìn)使分類器能夠識(shí)別輸入序列中的關(guān)鍵數(shù)據(jù)并對(duì)其進(jìn)行優(yōu)先排序。結(jié)果表明，本研究提出的模型具有跨地域的有效性，在對(duì)少數(shù)群體樣本進(jìn)行分類時(shí)表現(xiàn)良好。在未來(lái)的研究中，將主要開(kāi)發(fā)能夠有效處理混合頻率數(shù)據(jù)的模型，這些數(shù)據(jù)既包括宏觀層面的政策信息，也包括詳細(xì)的微觀層面的企業(yè)數(shù)據(jù)。此外，還將關(guān)注多源異構(gòu)數(shù)據(jù)的整合。

參考文獻(xiàn)

[1]肖毅，熊凱倫，張希.基于TEI@I方法論的企業(yè)財(cái)務(wù)風(fēng)險(xiǎn)預(yù)警模型研究[J].管理評(píng)論，2020，32（07）：226-235.

[2]王昱，楊珊珊.考慮多維效率的上市公司財(cái)務(wù)困境預(yù)警研究[J].中國(guó)管理科學(xué)，2021，29（02）：32-41.

[3]何雯雯.基于不平衡數(shù)據(jù)的增量LSTM動(dòng)態(tài)財(cái)務(wù)困境預(yù)測(cè)[D].成都：西南財(cái)經(jīng)大學(xué)，2023.

[4]王凱欣.基于Lasso-Logistic模型的上市企業(yè)財(cái)務(wù)困境預(yù)測(cè)研究[D].大連：大連理工大學(xué)，2020.

[5]張杰童.上市公司財(cái)務(wù)困境的預(yù)測(cè)研究[D].上海：東華大學(xué)，2023.

[6]閆達(dá)文，李存，遲國(guó)泰.基于混頻數(shù)據(jù)的中國(guó)上市公司財(cái)務(wù)困境動(dòng)態(tài)預(yù)測(cè)研究[J].中國(guó)管理科學(xué)，2024，32（01）：1-12.

[7]孫灝，朱曉謙，李建平.考慮財(cái)務(wù)報(bào)告中文本風(fēng)險(xiǎn)信息的財(cái)務(wù)困境預(yù)測(cè)[J].系統(tǒng)管理學(xué)報(bào)，2022，31（06）：1204-1215.

[8]王建飛.基于圖表示學(xué)習(xí)的新三板企業(yè)財(cái)務(wù)困境預(yù)測(cè)研究[D].合肥：合肥工業(yè)大學(xué)，2023.

[9]袁先智，周云鵬，嚴(yán)誠(chéng)幸，等.財(cái)務(wù)欺詐風(fēng)險(xiǎn)特征篩選框架的建立和應(yīng)用[J].中國(guó)管理科學(xué)，2022，30（03）：43-54.

作者單位：首都經(jīng)濟(jì)貿(mào)易大學(xué)

■ 責(zé)任編輯：張津平 尚丹