基于注意力機制的危房等級預(yù)測方法研究

楊昌松，邱 勁，韋 俊，胡中天，王玉立，晏 俊，吳宏杰,2,3

（1.蘇州科技大學 電子與信息工程學院 江蘇 蘇州 215009；2.蘇州科技大學 蘇州智慧城市研究院 江蘇 蘇州 215009；3.蘇州大學 江蘇省大數(shù)據(jù)智能工程實驗室、江蘇省計算機信息處理重點實驗室 江蘇 蘇州 215009；4.蘇州科技大學 土木工程學院江蘇 蘇州 215011）

隨著我國城市現(xiàn)代化水平不斷開展，既有建筑的安全問題成為城市建設(shè)一大課題。建筑安全是城市穩(wěn)定發(fā)展、人民幸福滿意度的重要保障，如何預(yù)防既有建筑出現(xiàn)安全性問題也越來越受到政府的重視[1]。危房等級評估是當前既有建筑安全管理的重要手段之一。傳統(tǒng)的既有建筑的危房等級評估采用人為評估的方式，近些年來隨著機器學習方法不斷進步，采用機器學習方法不僅能自動的對危房等級進行評估，避免了人為出現(xiàn)的異常情況，而且可以批量快速的對危房等級進行評估。舊房由于各種安全問題的長期積累成為危房，即存在長期依賴問題。危房會發(fā)生局部結(jié)構(gòu)沉降和水平偏移，為避免造成人身安全事故和財產(chǎn)損失，一般需要對危房進行等級評估[2]。危房等級數(shù)據(jù)分類[3]如表1所列，其中，危房等級一級表示安全，可以居住；危房等級二級表示基本安全，可以居住；危房等級三級表示危險，不可居?。晃７康燃壦募壉硎靖呶?，不可居住。

表1 危房等級分類表

近些年來國內(nèi)外學者對建筑物的仿真預(yù)測展開了深入研究，Xiao Li等人在文獻[4]中提出了一種基于多點測量的最小二乘支持向量機對建筑位移實現(xiàn)監(jiān)測與預(yù)測，通過更好地利用最小二乘損失函數(shù)中的等式約束，提高了數(shù)據(jù)處理效率。代洪偉在文獻[5]中，通過BIM技術(shù)降低成本風險，加強建筑質(zhì)量安全管理，從而提升協(xié)同管理能力。Yozo Fujino在文獻[6]中通過對日本橋梁和建筑結(jié)構(gòu)檢測案例研究中總結(jié)出經(jīng)驗教訓及反饋意見。但是以上方法都未很好解決長期依賴問題。

LSTM是Sepp Hochreiter和Jürgen Schmidhuber于1997年提出的一種特殊RNN，它不但解決了長序列訓練過程中的梯度消失和爆炸問題，而且在解決一些工程應(yīng)用的非線性問題上也有良好的適用性。由于危房等級評估存在長期依賴問題，所以采用LSTM模型。LSTM主要包含三個連續(xù)循環(huán)結(jié)構(gòu)[7]，每個循環(huán)結(jié)構(gòu)有兩個輸出，其中一個即為單元狀態(tài)，LSTM網(wǎng)絡(luò)結(jié)構(gòu)由輸入門、遺忘門、輸出門和單元狀態(tài)這四個部分組成。

因為長短期記憶神經(jīng)網(wǎng)絡(luò)在預(yù)測過程中會存在信息衰減問題，所以加入了注意力機制用于緩解預(yù)測模型中的信息衰減。除此之外采用Adagrad梯度下降算法[8]對LSTM網(wǎng)絡(luò)結(jié)構(gòu)層中的權(quán)重參數(shù)進行修正，以達到提高模型預(yù)測精度的目的。最后，將AD-AB-LSTM模型在危房監(jiān)測數(shù)據(jù)集上做獨立測試得到了不錯的效果，說明此模型的預(yù)測效果良好。

1 基于注意力機制的危房等級預(yù)測方法

1.1 危房等級預(yù)測與監(jiān)測數(shù)據(jù)

監(jiān)測設(shè)施部署地址為江蘇省無錫市錫山區(qū)東北塘街道東北塘社區(qū)，該地常年處于施工地段，加上房屋年代久遠，成為危房的可能性大大提高。該工程占地總面積約為400 m2，覆蓋十余戶人家，監(jiān)測概況主要如下：

（1）本工程結(jié)合物聯(lián)網(wǎng)技術(shù)與云服務(wù)平臺，A1采用HS726T-M數(shù)字型雙軸傾角傳感器，ISO9001:2015標準；A2～A7采用壓差式靜力水準儀，RS485輸出，標準Modbus-RTU協(xié)議，綜合精度0.05%～0.1%FS。

（2）工程圍繞危房，依靠導(dǎo)液管、導(dǎo)氣管與485雙絞線相連，圍繞周長約100 m，為預(yù)防冬季溫度低，導(dǎo)致液體結(jié)冰，導(dǎo)液管中液體采用防凍液以達到精準監(jiān)測目的。

（3）為準確反映危房局部結(jié)構(gòu)沉降變化情況，對危房圍設(shè)監(jiān)測點進行監(jiān)測，點位采用長螺絲固定于四周，監(jiān)測點分布圖如圖1所示。

如圖1所示，A1為危房水平位移監(jiān)測點，A2-A7點為危房局部沉降監(jiān)測點，將處理后的監(jiān)測數(shù)據(jù)作為LSTM的輸入樣本，構(gòu)建數(shù)據(jù)集[9]，選取其中70%的樣本數(shù)據(jù)作為訓練樣本，30%的樣本數(shù)據(jù)作為預(yù)測樣本。

圖1 危房結(jié)構(gòu)監(jiān)測點分布圖

其中，i∈[2，7]，Ai*為最終記錄至數(shù)據(jù)庫的監(jiān)測值，即數(shù)據(jù)集樣本值；Ai為i號靜力水準儀的本次監(jiān)測值；A10為i號靜力水準儀的基準監(jiān)測值；A20為2號靜力水準儀的基準監(jiān)測值。

1.2 危房評估總體流程

長短期記憶人工神經(jīng)網(wǎng)絡(luò)主要實現(xiàn)過程如下：

將監(jiān)測數(shù)據(jù)作為輸入，輸出的結(jié)果記為x，這里的x分別與4個權(quán)重矩陣（w（f），w（i），w（j），w（o））進行矩陣點乘操作，分別得到4個需要的結(jié)果矩陣（f，i，j，o）。其中，4個w就是LSTM細胞的核心權(quán)重，訓練LSTM的目的就是訓練這四個權(quán)重w。對4個結(jié)果矩陣分別進行s（sigmod）操作（即（s（f），s（i），s（j），s（o））。接下來就是計算新的輸出c*，

再計算新的輸出h，

結(jié)果如上步驟，一次cell就計算完畢了，可以得到c*和新h*，再將本次得到的h作為本次的輸出，將得到的c和h作為下次cell操作的輸入。

1.3 網(wǎng)絡(luò)輸入輸出設(shè)計

選取無錫市危房監(jiān)測工程結(jié)構(gòu)位移監(jiān)測點A1-A7，從2020年10月1日到2021年3月16日的沉降監(jiān)測數(shù)據(jù)為依據(jù)，將時間序列作為輸入樣本影響因素，輸出層單元個數(shù)為1，進行LSTM訓練[10]。表2為LSTM的輸入、輸出層設(shè)計[11]。其中，A*in（0＜i＜8）為號監(jiān)測設(shè)備n條監(jiān)測位移值；A*in+1為經(jīng)過神經(jīng)網(wǎng)絡(luò)訓練后得到的A*in+1號監(jiān)測設(shè)備的預(yù)測位移值。

表2 網(wǎng)絡(luò)輸入、輸出層設(shè)計

1.4 注意力機制

研究發(fā)現(xiàn)，注意力機制能夠有效緩解序列預(yù)測模型中的信息衰減[12]。注意力機制使得神經(jīng)網(wǎng)絡(luò)不僅僅依靠上下文向量，還可以在每一個時間步上考慮所有輸出向量，通過權(quán)重分配，加權(quán)求和得到LSTM在當前時間步最關(guān)注的信息。

注意力機制關(guān)注的是目標序列中某一時間片上的值xtk與依賴序列xts-te=[xts，…，xte]的相關(guān)性，而相關(guān)性則是由一組權(quán)值表示。 可知目標值xk與依賴序列xts-te中的所有元素都具有相同的維度dx。將xk與xts-te映射到參數(shù)空間后：

其中，WQ是dx×dq維的查詢參數(shù)矩陣；WK是dx×dk維的關(guān)鍵參數(shù)矩陣；WV是dx×dv維的價值參數(shù)矩陣，其中dq=dk。由于WQ、WK、WV這三個矩陣的作用類似于全連接神經(jīng)網(wǎng)絡(luò)中的權(quán)重矩陣，因此參數(shù)需要通過反向傳播算法來更新[13]。目標值與參數(shù)矩陣QUERY相乘可以使得目標值從dx維度的xtk映射為dq維度的Q；xts-te矩陣映射為元素維度為dk的K矩陣和元素維度為dv的V矩陣與上原理相同。K與V都是對依賴序列的另一種表達，兩者之間的區(qū)別在于：K是用來衡量目標值與依賴序列的相關(guān)性，即用來求解權(quán)值，V是用于計算權(quán)值與依賴序列的加權(quán)和，即用來求解注意力機制的輸出。

依賴序列與目標值之間的關(guān)系為

其中，softmax（即soft）是深度學習中常用的softmax激活函數(shù)，將數(shù)據(jù)歸一化（0，1）區(qū)間，即

1.5 梯度下降算法

Adagrad算法在對不同參數(shù)分量進行拆分的同時分配不同的學習率，這就是學習率適應(yīng)參數(shù)變化[14-15]，它可以快速且精準的識別出數(shù)據(jù)中極具預(yù)測價值但容易被忽視的特征。Adagrad算法的更新公式如下

1.6 AD-AB-LSTM

AD-AB-LSTM模型[16-17]具體步驟如下：（1）通過Adagrad找到合適的參數(shù)達到最小化LSTM目標函數(shù)誤差的目的[18-20]；（2）通過上層LSTM輸出結(jié)果至下層LSTM[21]；（3）將步驟（2）中輸出結(jié)果輸入進Attention層，通過對其分配不同的權(quán)重，加權(quán)求和得出新的輸出向量；（4）通過全連接層轉(zhuǎn)換輸出結(jié)果，根據(jù)輸出計算RE，將RE輸出。其結(jié)構(gòu)如圖2所示。

圖2 AD-AB-LSTM模型結(jié)構(gòu)

AD-AB-LSTM算法模型的偽代碼如下：

2 實驗與分析

數(shù)據(jù)集采集自無錫東北塘社區(qū)自2020年10月1日至2021年3月16日A1至A7點位，時間間隔為30分。所有監(jiān)測數(shù)據(jù)皆是以A2為基準點得出的。然后，選取每個點位時間段的前70%的樣本數(shù)據(jù)作為訓練樣本，后30%的樣本數(shù)據(jù)作為預(yù)測樣本。

實驗將AD-AB-LSTM模型與RNN模型、LSTM模型、SVM模型作比較。

實驗程序通過RNN模型、LSTM模型、SVM模型以及AD-AB-LSTM模型對危房局部結(jié)構(gòu)沉降數(shù)據(jù)已經(jīng)水平偏移數(shù)據(jù)進行了預(yù)測。結(jié)果顯示AD-AB-LSTM模型預(yù)測結(jié)果最好。

預(yù)測結(jié)果評估標準RE公式如下：

其中，RE越接近于0，表示模型預(yù)測精度更加準確，即預(yù)測效果更好。只有當危房等級都限定在二級內(nèi)，才達到安全標準，允許居住。

（1）危房等級間接預(yù)測法

表4為三種方法仿真比較結(jié)果，其中A1數(shù)據(jù)為危房局部結(jié)構(gòu)水平偏移，A2,A3，…，A7數(shù)據(jù)為危房局部結(jié)構(gòu)沉降。將未標注分類的數(shù)據(jù)輸入進算法，得出預(yù)測結(jié)果后通過計算求出危房對應(yīng)等級。由表4可知，ADAB-LSTM模型預(yù)測更加準確，精度更佳。其中，RNN模型預(yù)測平均RE=1.138 6，LSTM模型預(yù)測平均RE=0.209 4，SVM模型預(yù)測平均RE=0.332 4，AD-AB-LSTM模型預(yù)測平均RE=0.056 5?？芍狝D-AB-LSTM模型預(yù)測精度比RNN模型預(yù)測精度、LSTM模型預(yù)測精度及SVM模型預(yù)測精度分別提高了1.082 1、0.152 9及0.275 9。究其原因，還是注意力機制能夠有效緩解預(yù)測模型中的信息衰減以及梯度下降自適應(yīng)調(diào)節(jié)學習率。

表4 AD-AB-LSTM模型與RNN模型、LSTM模型和SVM模型仿真結(jié)構(gòu)比較

（2）危房等級直接預(yù)測法

在監(jiān)測數(shù)據(jù)的基礎(chǔ)上，參照危房等級分類表采用了4分類標注的方法對初始數(shù)據(jù)做了處理，將標注的結(jié)果按照如上方法輸入到預(yù)測模型中。 由表5可知，在預(yù)測精度并不明顯的結(jié)果中，SVM、LSTM與AD-ABLSTM模型的預(yù)測結(jié)果相差不大。RNN模型的預(yù)測結(jié)果存在部分差異，原因在于RNN模型訓練時前部序列信息在傳遞到后部時，信息的權(quán)重下降，導(dǎo)致了前部重要信息丟失，準確度下降，而AD-AB-LSTM模型則很好的解決了這一問題。結(jié)合實驗結(jié)果可分析出，AD-AB-LSTM模型預(yù)測更加準確，精度更佳,而實驗所依賴的工程實例危房等級為一級，達到安全標準，可居住。

表5 AD-AB-LSTM模型與RNN模型、LSTM模型和SVM模型仿真結(jié)構(gòu)比較

3 結(jié)語

針對危房局部結(jié)構(gòu)沉降預(yù)測不精確的問題，通過基于梯度下降注意力長短期記憶人工神經(jīng)網(wǎng)絡(luò)對危房等級評估，在LSTM中加入注意力機制以及隨機梯度下降算法，大大緩解序列預(yù)測模型中的信息衰減，使得LSTM模型的性能得到大幅提高。輸入特征考慮到時間影響，所以按照時間順序輸入，使得預(yù)測結(jié)果更接近實際值。

提出的AD-AB-LSTM模型運用在危房等級預(yù)測實例中，預(yù)測值和實際采集數(shù)據(jù)偏差在可接受范圍內(nèi)，實際危房等級預(yù)測起到了良好的實際效果，采用的預(yù)測方法也為以后的工作提供了新思路。此外，所采用的基于注意力長短期記憶人工神經(jīng)網(wǎng)絡(luò)的優(yōu)化算法是Adagrad優(yōu)化算法，該優(yōu)化算法存在些許缺陷，下一步的研究改進方向是選取更優(yōu)的梯度下降算法，優(yōu)化LSTM的模型結(jié)構(gòu)，降低相應(yīng)預(yù)測模型的誤差率。