基于投票人影響因子的投票預測模型

張新昀 張紹武 任 璐 楊 亮 徐 博 張益嘉 林鴻飛

計算政治學[1]又稱計量政治學，是分析相關數據描述和研究政治現象的學科.議會作為某些國家的政治關鍵組成部分和立法機構，是計算政治學研究人員密切關注的對象,而在議會中作為投票人的議員，更是計算政治學中投票預測的研究重點.本文以人工智能相關理論方法為基礎進行投票預測研究.

根據相關國家議會議事規(guī)則，議案分為4類：決議案(Simple Resolution)、共同決議案(Concurrent Resolution)、聯合決議案(Joint Resolution)和法案(Bill).法案是最常見、使用最多的立法形式，占議案總數的85.2%以上.法案由一個或多個立法者提出，法案想法可以是原創(chuàng)的，也可來自選民、公職人員或利益集團.為了成為法律，該法案需要在被提出的議院經過一個審查程序，其中最關鍵的環(huán)節(jié)就是由全體議員投票表決.如果法案獲得通過，會被送到另一個議院完成一個同樣的程序.經兩院通過并統一文本后提交總統簽署成為國家法律，這樣的過程也被稱為立法過程.

每個法案對應一個或多個主題，擁有一份官方的標題和描述.在提出法案的議員當中，排名第一的議員稱為發(fā)起者(Sponsor),其余議員稱為共同發(fā)起者(Cosponsor).議員對于一個法案有三種投票選擇：贊成、棄權、反對.對于三種投票選擇的百分比在本文中稱為法案的投票比率.對于每位議員，相應的信息主要包含姓名、國會唯一編號、地區(qū)、黨派等.后文中，議員被稱為投票人.

投票預測中最受歡迎的技術之一是Poole等[2]提出的理想點模型(Ideal Point Model)，這是一種基于統計學的投票預測模型，假設投票人的意識形態(tài)和法案反映的意識形態(tài)都是單一維度，計算空間距離，得到投票人對于法案的傾向性.Simon[3]使用貝葉斯統計方法實現對理想點模型的模擬和簡化.Clinton等[4]將理想點模型發(fā)展為投票人的多維意識形態(tài)立場估計.Gerrish等[5]在理想點模型中引入國會法案相關的文本信息，利用法案相關文本的主題推斷法案在意識形態(tài)空間中的位置，根據歷史投票記錄得到投票人在意識形態(tài)空間中的位置，并依照立法主題進行調整，然后對比投票人與法案的空間距離，預測投票人支持法案的可能性，預測準確率得到一定提升.Yano等[6]研究從第103屆到第111屆國會的法案，發(fā)現利用法案處理問題的緊迫性和重要性的特征，以及從共同發(fā)起人中提取的一組特征，有助于模型預測.Nay[7]研究大量國會法案文本，確定最適合投票預測的文本結構，最終發(fā)現，模型中使用法案的全文可提高預測精度.Yang等[8]提出基于圖卷積網絡(Graph Convolutional Network, GCN)[9]的對投票人和法案聯合表征學習的方法，利用GCN學習共同發(fā)起者之間的聯系，能得到更好的法案和投票人的特征表示，再通過對比投票人和法案的空間距離，確定投票人對法案的偏好，提高預測精度.

盡管上述工作提升投票預測的精度，但都未考慮投票過程中投票人的相互影響，因此存在改進的可能性.在現實的投票過程中，不僅少數的共同發(fā)起者之間有聯系，每位投票人之間都會因為黨派不一、理念異同、關系遠近、地位高低而產生或強或弱的投票選擇的影響.也就是說確定其中一位投票人的投票選擇，就可以高置信度地認定另一位投票人的投票選擇.但是以往的模型都單方面注重投票人對于法案的傾向性，忽視投票過程中投票人之間的相互影響.

GCN是一種直接運行在圖數據結構上的神經網絡，能從圖數據結構中抽取局部特征或全局特征.近年來，學者們嘗試將GCN應用在不同的自然語言任務當中，并證實有效性.Bastings等[10]把GCN融入機器翻譯模型之中.Nguyen等[11]使用GCN完成事件檢測.Yao等[12]應用GCN到文本分類.Zhang等[13]在事件抽取任務中使用GCN.在自然語言處理(Natural Language Processing, NLP)任務當中，上述方法都恰當地應用GCN，取得當時最佳的表現.

通過投票人影響因子，可得到近似真實博弈結果.為了模擬現實中投票人之間的聯系，本文提出基于投票人影響因子的投票預測模型.結合投票人影響因子圖與投票人的特征信息，輸入GCN,學習投票過程中投票人的相互影響及投票人的影響范圍和影響特征.此外，考慮到法案文本中上下文信息的關聯性，利用雙層長短期記憶網絡(Bi-directional Long Short-Term Memory, BiLSTM)替代單層長短期記憶網絡(Long Short-Term Memory， LSTM)理解法案文本描述的語義信息，獲得法案特征向量.鑒于法案文本的規(guī)范性導致的術語頻繁、用詞重復，使用引入TF-IDF(Term-Frequency-Inverse Document Frequency)因子的TextRank替代樸素TextRank,得到法案的關鍵詞.實驗表明，本文模型的精確度和F1值都有所提升.

1 基于投票人影響因子的投票預測模型

1.1 模型基本結構

基于投票人影響因子的投票預測模型的基本結構如圖1所示.將投票人的唯一編號、地區(qū)、黨派等基本信息作為輸入，得到投票人初始特征向量.使用歷史法案投票結果計算投票人之間的影響因子，并利用優(yōu)化器優(yōu)化影響因子，得到投票人影響因子圖.把投票人的特征向量和投票人影響因子圖共同輸入GCN中，獲得投票人的最終特征向量.利用BiLSTM得到法案的特征向量，計算各位投票人對法案的投票偏好并排序,得到投票人序列.

圖1 本文模型基本結構

投票偏好是以投票人最終特征向量和法案特征向量之間的相似度衡量的.再利用投票比率的感知模型得到投票比率，綜合投票人序列和投票比率可得到最終投票結果.本文模型的基本結構優(yōu)點在于能學到投票人之間的相互影響，較好地在向量空間中映射每位投票人的位置.投票比率感知模型的優(yōu)點在于能充分學到投票過程中的背景信息,得到投票比率.相比直接得到投票人投票選擇的模型結構，投票人序列和投票比率分別學習后再結合的模型結構預測精度更高.

1.2 投票人序列

1.2.1 投票人初始特征向量矩陣

本文每位投票人的信息由唯一編號、出身州和黨派類別組成.唯一編號由國會制定.

將投票人i對應的唯一編號、出身州和黨派類別分別輸入預訓練模型msmarco-MiniLM-L-6-v3，嵌入得到特征向量VID(i)、VState(i)、VParty(i)，依次拼接,得到投票人i的初始特征向量:

Vlgt(i)=VID(i)+VState(i)+VParty(i).

組合所有投票人的初始特征向量，得到投票人初始特征向量矩陣Vlgt.

1.2.2投票人影響因子圖

如果完全模擬投票過程中的真實博弈過程，除了需要考慮投票人的黨派、出身、經歷、理念、地位等因素，還需要考慮該投票人與其他投票人的關系，該投票人與各個利益集團之間的來往及該投票人對自身信念的堅定程度等因素.所以真實博弈過程的模型構建過于困難，權重關系復雜，同時涉及許多難以獲得的非公開信息.上述分析說明在客觀上難以完全模擬投票過程中的真實博弈過程.

針對上述問題，本文采用“唯結果論”的“逆推”方法，計算兩兩投票人的歷史投票行為的擬合程度，即投票人影響因子，模擬近期未來兩兩投票人之間的真實博弈過程的結果.

本文具體統計分析2014～2018年度投票人投票選擇相似度分布,具體如表1所示.

表1 2014～2018年投票人投票選擇相似度分布

由表1可發(fā)現，有40.37%的兩兩投票人的投票選擇相似度在80%以上，而僅有6.08%的兩兩投票人的投票相似度在40%以下.這是因為議會中有大量符合社會共識的法案，如教育、民生等領域的法案.對于這些法案，投票人會舍棄派別等方面的對立而共同致力于法案的通過，導致投票人之間的對立分歧不是非常明顯.此外通過實驗發(fā)現，因為數量過少，加入負影響的投票人影響因子對本文實驗結果幾乎無影響.所以本文僅考慮在模型中加入正影響的投票人影響因子.

投票人影響因子矩陣S中的元素si,j表示投票人i與投票人j之間的影響因子:

歷史投票選擇存在高擬合度的投票人在未來的投票中也會大概率擁有同樣的投票選擇，所以模型在預測投票結果時要充分注意到高擬合度投票人之間的聯系，忽視弱擬合度投票人生成的噪音信息.本文使用優(yōu)化器優(yōu)化投票人影響因子矩陣S，增強高擬合度投票人之間的聯系，削弱擬合度投票人之間的相互聯系，得到新的投票人影響因子矩陣S′.優(yōu)化器函數

(1)

通過此優(yōu)化器優(yōu)化后，投票人之間的聯系被賦予馬太效應，高相似度投票人之間的聯系變得更強，低相似度投票人之間的聯系變得更弱.忽視歷史投票選擇擬合度小于等于60%的投票人之間的聯系，這些投票人的歷史行為不會對彼此的投票預測結果產生影響.

投票人影響因子圖由構建好的投票人影響因子鄰接矩陣S′表示.在投票人影響因子圖中，把代表某投票人的節(jié)點作為中心節(jié)點，而該中心節(jié)點的一階鄰域的節(jié)點集合叫作某投票人在投票人影響因子圖中的周邊空間分布.在投票人影響因子圖中，除了最直接的投票人影響因子，投票人在投票人影響因子圖中的周邊空間分布也值得注意.原因是不同投票人的周邊空間分布表示不同投票人各自的影響范圍和影響特征，這也是模擬真實博弈過程的重要信息.所以如何讓模型精確學習到每位投票人的周邊空間分布狀態(tài)也是提升模型性能的關鍵.

1.2.3法案特征向量

法案的文本冗長，上下文聯系密切.普通循環(huán)神經網絡(Recurrent Neural Network, RNN)能容納的上下文信息有限，在處理較長序列時，容易出現梯度消失現象.所以本文引入BiLSTM，由兩層的前向LSTM和后向LSTM組合拼接而成，能更好地學習文本上下文語義信息，抽取文本的語義特征.

使用BiLSTM獲得法案k的信息特征向量:

Vlgn(k)=BiLSTM(lk(t)),

其中，

lk(t)=lk(title)+lk(des)

表示法案k的文本信息，lk(title)表示法案k的標題，lk(des)表示法案k的描述.

1.2.4投票人最終特征向量矩陣

基于譜域卷積實現GCN，由輸入信號x∈RN和過濾器gθ=diag(θ)共同定義如下：

gθ*x=UgθUTx.

其中:*為卷積運算，U為標準化圖拉普拉斯矩陣L的特征矩陣，

Λ為L的特征值對角矩陣，UTx為輸入x的圖傅里葉變換；gθ可理解為L的特征值函數，即gθ(Λ).為了減小計算開銷，Hammond等[14]提出gθ(Λ)可通過切比雪夫多項式近似為Tk(x),得

(2)

其中，

為拉普拉斯算子的一個K階多項式.本文將分層卷積限制為K=1，即關于L是線性的，因此在拉普拉斯譜上有線性函數.進一步近似λmax≈2,可將式(2)簡化為

其中,θ′0、θ′1為自定義系數，過濾器參數被整個圖共享.通過連續(xù)堆疊這種形式的過濾器，可有效卷積節(jié)點的K階鄰域，進一步簡化為

其中，

W為可學習的參數矩陣.

通過上述分析可發(fā)現，GCN的實現是基于鄰域聚合.首先聚合某節(jié)點的一階鄰域特征，再合并鄰域聚合的特征與當前節(jié)點特征，以更新當前節(jié)點特征.所以結合投票人影響因子圖，GCN不僅可直接學習投票人對其他投票人的影響力大小，還能學到投票人周邊空間分布，即產生相互影響的投票人的數量.

在本文模型中，使用雙層GCN結構，雙層GCN結構之間使用SeLU激活函數連接.相比ReLU等激活函數，SeLU激活函數的自歸一化能力在解決梯度消失和梯度爆炸問題的同時，可使網絡更快地收斂.

把投票人的初始向量矩陣Vlgt和投票人影響因子圖S′作為輸入，得到投票人的最終特征向量矩陣:

Zlgt=F(SeLU(F(Vlgt,S′)),S)，

1.2.5投票人排序

投票人序列依照各位投票人對被預測法案的偏好程度的高低進行排序.各位投票人對被預測法案的偏好程度由投票人的最終特征向量與法案特征向量的相似度決定,即

根據數值大小從高到低排序的相似度序列為:

list=sort(sim1,sim2,…,simn)，

simi的排名就是對應投票人對法案偏好的排名，即投票人序列.

1.3 投票結果的預測

根據圖1可知，投票人序列和投票比率對于投票結果預測缺一不可.為了得到投票比率，本文應用投票比率的感知模型，如圖2所示.

圖2 投票比率的感知模型結構框圖

為了得到法案的相似度矩陣，需要得到每個法案文本的嵌入表示:

其中:kw表示使用TextRank得到法案文本中的關鍵詞,每篇法律文本選擇前n個關鍵字；kwglove表示關鍵詞kw在預訓練詞向量GloVe-6B-100d中的嵌入表示.考慮到法案文本中有很多專業(yè)辭令，雖然出現頻率較高，但不能較好地作為關鍵字使用，所以本文模型引入TF-IDF因子，kwTF-IDF表示關鍵詞的TF-IDF值.

法案相似度圖M中的結點mk,j表示法案k與法案j的相似度值：

mk,j=cos(ed(k),ed(j)).

使用BiLSTM獲得所有法案的信息特征向量，組成法案特征向量矩陣Vlgn.將法案相似度圖M與法案特征向量矩陣Vlgn一起輸入GCN中，法案的最終特征向量矩陣為:

Zlgn=F(SeLU(F(Vlgn,M)),M),

R=MLP(Zlgn+Vlgn)，

其中，Rk為投票比率矩陣R中的第k行，表示第k個法案的投票比率，即該法案中贊成、棄權及反對這三種投票選擇的比例.結合投票比率和投票人序列，得到最終的投票結果.

2 實驗及結果分析

2.1 實驗環(huán)境

實驗數據來自于Yang等[8]在2020年公開的國外議會網站數據集，包含1993年至2018年的立法信息和投票結果，共有215 857項立法，2 234 082項投票記錄，2 347位投票人.

考慮到實驗數據的時間跨度較大，本文依次抽取1993年至2018年內連續(xù)五年的數據，構建22個單獨的數據塊.第1個數據塊包含1993年至1997年的數據，第2個數據塊包含1994年至1998年的數據.依此類推，一共有22個數據塊.在每個數據塊中，隨機抽取前四年的數據作為訓練集和驗證集，比例為4∶1，使用最后一年的數據作為測試集.

本文選擇準確率(Accuracy)和F1值作為主要評價指標，具體公式如下：

其中:TP表示實際為正樣本且被判定為正樣本的數量;TN表示實際為負樣本且被判定為負樣本的數量;FP表示實際為負樣本但被判定為正樣本的數量;FN表示實際為正樣本但被判定為負樣本的數量.文中準確率取在22個數據塊上的平均結果.

本文模型中GCN深度為兩層，隱藏層維度為32.BiLSTM深度為雙層，輸出維度為32.投票人特征向量的維度是32(ID維度16，黨派維度8，地區(qū)維度8).模型的學習率設置為0.000 1，采用自適應矩估計(Adaptive Moment Estimation, Adam)優(yōu)化器.為了防止過擬合，采用提前終止策略.損失函數為三元組損失函數(Triplet Loss).

2.2 實驗結果對比

本文選擇如下基準模型進行對比實驗.

1)文獻[4]模型(A Statistical Model for Roll Call Analysis).利用理想點模型計算投票人和法案的空間位置，投票人和法案的空間距離用于表征投票行為.

2)文獻[5]模型(Text and Ideal Point Models).利用立法文本信息擴展理想點模型，使用文本回歸嵌入立法立場.

3)Bert.使用Bert[15]的CLS位作為法案的特征向量，對比法案之間的相似度，進行遷移學習.

4)LSTM+MLP(Multi-layer Perception).使用LSTM獲得投票人和法案的特征向量.結合兩種特征向量，使用雙層感知機模型預測投票結果.

5)LSTM+DeepWalk[8].使用DeepWalk[16]，基于共同發(fā)起者之間的關系建模，獲得投票人的特征向量，LSTM獲得法案的特征向量.結合兩種特征向量，使用雙層感知機模型預測投票結果.

6)LSTM+GCN[8].使用GCN，基于共同發(fā)起者之間的關系建模，獲得投票人的特征向量，LSTM獲得法案的特征向量.結合兩種特征向量，使用雙層感知機模型，預測投票結果.

7)文獻[8]模型(Joint Representation Learning of Legislation and Legislators).基于GCN，對共同發(fā)起者之間的關系建模，獲得投票人的特征向量.利用LSTM獲得法案的特征向量.結合兩種特征向量，獲得投票人序列.使用基于TextRank的投票比率感知模型獲得投票比率，結合投票人序列和投票比率，預測投票結果.

各模型的指標值結果如表2所示.由表可發(fā)現，文獻[4]模型表現最差，表明忽略法案文本信息的理想點模型的預測能力有限.加入文本信息后，相比文獻[4]模型，文獻[5]模型可大幅提高預測能力.

表2 各模型的指標值對比

Bert的表現只強于文獻[4]模型，這可能是Bert在預訓練時未學習到足夠的法案相關的語料，注意力機制缺乏對法案關鍵信息的敏感性，不能較好地捕捉立法過程中的特征.

對比LSTM+MLP、LSTM+DeepWalk、LSTM+GCN和文獻[8]模型可發(fā)現，基于共同發(fā)起者之間的關系使用GCN建模是有效的.雖然DeepWalk和GCN都把共同發(fā)起者視為節(jié)點，但是相比Deep-Walk，GCN表現更優(yōu)，這是因為GCN不僅學習每個節(jié)點及其鄰域的結構關系，同時可將每個節(jié)點自身的特征融入其中進行更全面的學習.

相比LSTM+GCN，文獻[8]模型加入投票比率感知模型，由于能更準確地劃分不同的投票群體及比例，進一步提高模型準確率.

相比文獻[8]模型，本文模型引入投票人影響因子，通過GCN學習投票人之間的相互影響及投票人影響范圍和影響特征，在某種程度上實現投票的動態(tài)過程.同時由于改進為BiLSTM和融入TF-IDF因子的TextRank，本文模型能容納立法過程中更多的背景信息，更好地捕捉投票人和法案的特征，取得更佳結果.

2.3 改進驗證實驗

為了驗證本文模型中多項改進的有效性，進行驗證實驗，選用如下模型.

1)文獻[8]模型-BiLSTM.使用雙層BiLSTM替代文獻[8]模型中單層LSTM.

2)文獻[8]模型-factor.在文獻[8]模型中引入投票人之間的影響因子.

3)文獻[8]模型-TR-with-TI.在文獻[8]模型中使用融入TF-IDF因子的TextRank.

各模型的驗證結果如表3所示.由表可發(fā)現，相比文獻[8]模型，文獻[8]模型-BiLSTM提升0.32%的準確率，0.006 8的F1值，這是由于BiLSTM能學習更多的立法文本上下文關聯的語義信息，更好地抽取立法文本的語義特征.在基準模型中融入投票人之間的影響因子之后，文獻[8]模型-factor在預測過程中開始捕捉投票人之間的相互影響及投票人影響范圍和影響特征，注意到某些投票人大概率具有相似的投票選擇，因此準確率提升1.94%，F1值提升0.011 3，是提升最大的一項改進.將基準模型使用的TextRank改為融入TF-IDF因子的TextRank之后，文獻[8]模型-TR-with-TI的準確率提升0.40%，F1值提升0.007 2，效果的提升是因為投票比率感知模型更好地對比法案之間的相似度，使下游的GCN和MLP得到高質量的輸入，輸出更準確的投票比率.

表3 各模型的驗證實驗結果

2.4 超參數和預訓練詞向量驗證實驗

優(yōu)化器函數(式(1))中的n,k為超參數，對預測準確度的影響如表4所示.

表4 超參數n,k對預測準確度的影響

由表4可知，n=60,k=3時效果較優(yōu)，這也符合表1中投票人投票選擇相似度分布.

在近期的應用中，預訓練詞向量表現出良好的通用性，在很多任務中取得較好效果.常見的預訓練詞向量有GloVe(GlobalVectorsforWordRepresen-tation)[17]和FastText[18].進行英文詞向量預訓練的語料庫一般采用CommonCrawl、Twitter、Wikipedia.預訓練詞向量的維度分為50維、100維、300維等.不同類型的預訓練詞向量和維度可根據任務特點進行靈活選擇.

在本文模型中，投票比率感知模型使用基于Wikipedia語料庫的GloVe預訓練詞向量.相比CommonCrawl和Twitter語料庫，Wikipedia語料庫的行文更正式，內容更專業(yè)，與法案文本內容較契合.為了確定GloVe預訓練詞向量維度對預測準確率的影響,選擇3種GloVe預訓練詞向量:GloVe-6B-50d、GloVe-6B-100d、GloVe-6B-300d.它們都是在60億詞元上訓練的，維度分別為50維、100維和300維.在本文模型上進行對比實驗,結果如表5所示.

表5 預訓練詞向量維度對指標值的影響

由表5可看出，GloVe預訓練詞向量維度對預測準確率有一定的影響.從50維增加到100維時，模型準確率提升0.27%，F1值提升0.002 6.從100維增加到300維時，模型的準確率下降0.20%，F1值下降0.002 3.預訓練詞向量維度在100維時取得最高準確率.因此本文模型最終應用基于Wikipedia語料庫的GloVe-6B-100d預訓練詞向量.

2.5 正確案例與錯誤案例分析

為了更好地理解本文模型的工作方式，進行正確案例與錯誤案例分析.以2018年的數據為例，深入探究后發(fā)現意識形態(tài)排名、黨內偏離度排名和相互影響投票人數對投票人投票預測的準確率產生明顯影響，具體結果如表6所示.

表6中一共列舉10位投票人，前5位投票人是投票預測準確率最高的5位投票人，后5位投票人是投票預測準確率最低的5位投票人.意識形態(tài)排名數據來自于GovTrack，一共435位投票人，排名越高意識形態(tài)越保守，排名越低意識形態(tài)越自由.將投票人在投票中沒有跟隨黨內多數人投票的行為稱作偏離行為，黨內偏離度排名越高,偏離行為越嚴重.相互影響投票人數是指與該投票人產生相互影響的投票人數量.

表6 正確案例與錯誤案例分析結果

通過觀察發(fā)現，在意識形態(tài)方面，前5位投票人的意識形態(tài)都較保守，相比之下，后5位投票人的意識形態(tài)較中立.在黨內偏離度方面，前5位投票人的黨內偏離程度較低，而后5位投票人的偏離程度較高.在相互影響投票人數方面，前5位投票人與大量的投票人產生相互影響，相比之下，后5位投票人幾乎不與其他投票人產生相互影響.

據此可得到結論：投票人的意識形態(tài)越鮮明，黨內偏離程度越低，相互影響投票人數越高，模型的投票預測準確率越高；否則越低.而且相互影響投票人數因素的作用最清晰.

3 結 束 語

投票預測就是盡可能地模擬真實的投票過程，而投票人之間的相互影響不可或缺.因此本文提出投票人影響因子，并在相應數據集上進行研究.加入投票人影響因子圖到GCN中，使本文模型模擬真實投票過程中投票人之間相互影響的博弈過程.同時，考慮到法案文本語義的嚴謹性和用詞的規(guī)范性，使用BiLSTM和引入TF-IDF因子的TextRank，得以充分理解法案文本語義信息,并挖掘法案的細粒度文本特征，使投票過程的模擬更貼近現實.實驗表明，本文模型能取得較好結果.今后將考慮建立并引入投票人辯論文本集或外部知識庫等，進一步提升模型性能.