基于人工智能的政務(wù)辦公系統(tǒng)預(yù)置批示與分工方法

黎嘉明

(廣東省環(huán)境信息中心, 廣州 510220 )

0 引 言

機(jī)器學(xué)習(xí)是人工智能目前應(yīng)用最廣泛、最成功的一個(gè)分支。在解決某一類問(wèn)題時(shí)，機(jī)器學(xué)習(xí)讓計(jì)算機(jī)可以從觀測(cè)數(shù)據(jù)(樣本)中尋找規(guī)律，并利用學(xué)習(xí)到的規(guī)律(模型)對(duì)未知或無(wú)法觀測(cè)的數(shù)據(jù)進(jìn)行預(yù)測(cè)。近年來(lái)，在深度學(xué)習(xí)算法以及專用處理器軟硬雙引擎的推動(dòng)下，機(jī)器學(xué)習(xí)已廣泛應(yīng)用于數(shù)據(jù)挖掘、計(jì)算機(jī)視覺(jué)、生物特征識(shí)別、語(yǔ)音識(shí)別、語(yǔ)音合成、機(jī)器翻譯、無(wú)人機(jī)等領(lǐng)域，并接近甚至超過(guò)人類的水平。從2017年開(kāi)始，本文作者將機(jī)器學(xué)習(xí)的技術(shù)應(yīng)用到政務(wù)辦公系統(tǒng)中，希望人工智能的引入能大大提升其中一些關(guān)鍵環(huán)節(jié)的工作效率。經(jīng)過(guò)對(duì)業(yè)務(wù)數(shù)據(jù)的發(fā)掘和模型的測(cè)試，基于哈工大ltp、谷歌 tensorflow、keras、LSTM等技術(shù)，開(kāi)發(fā)出人工智能系統(tǒng)，可實(shí)現(xiàn)批示文本和部門(mén)分工的預(yù)置。

1 政務(wù)辦公系統(tǒng)的痛點(diǎn)——“中樞節(jié)點(diǎn)”

政務(wù)辦公系統(tǒng)是政府信息化中發(fā)展比較成熟的系統(tǒng)，其推行使政府部門(mén)實(shí)現(xiàn)了“無(wú)紙化”辦公，大大提高了工作效率，也使政府內(nèi)部的辦公流程實(shí)現(xiàn)了標(biāo)準(zhǔn)化和規(guī)范化。政務(wù)系統(tǒng)的工作流中有各種各樣的節(jié)點(diǎn)，如收文、辦文、存檔等，每個(gè)節(jié)點(diǎn)是一個(gè)處理環(huán)節(jié)，有固定的處理人員和工作任務(wù)。其中有一個(gè)特殊的節(jié)點(diǎn)，所有公文都需要先匯集到此，然后經(jīng)過(guò)其分發(fā)，稱為“中樞節(jié)點(diǎn)”。處理人需要根據(jù)來(lái)文的內(nèi)容，做出初步的批示，以及將任務(wù)分工給相應(yīng)的領(lǐng)導(dǎo)或者部門(mén)。這項(xiàng)工作需要處理人對(duì)部門(mén)分工非常熟悉、對(duì)業(yè)務(wù)工作有廣泛的認(rèn)識(shí)，而且言辭要嚴(yán)謹(jǐn)?shù)卯?dāng)，辦理速度要快捷。這個(gè)節(jié)點(diǎn)也成為政務(wù)辦公流程中的“痛點(diǎn)”，一方面所有流程都經(jīng)過(guò)該節(jié)點(diǎn)，而且時(shí)效要求高，一旦滯后會(huì)影響后續(xù)很多的環(huán)節(jié)；另一方面其工作質(zhì)量要求高，能高質(zhì)量完成這個(gè)處理工作的處理人員又很少。

2 為“中樞節(jié)點(diǎn)”提供預(yù)置數(shù)據(jù)

在煩雜的文件處理過(guò)程中，若“中樞節(jié)點(diǎn)”的2項(xiàng)工作成果(批示和分工)能夠在一開(kāi)始就預(yù)置好，處理人員就可以此為藍(lán)本做些修改或者直接使用其作為結(jié)果，這無(wú)疑可以大大提高處理的效率，加快流轉(zhuǎn)的速度。利用機(jī)器學(xué)習(xí)技術(shù)，基于歷史數(shù)據(jù)作為樣本，可以訓(xùn)練出一個(gè)模型，實(shí)現(xiàn)這些預(yù)置數(shù)據(jù)的推演生成。在“中樞節(jié)點(diǎn)”這個(gè)場(chǎng)景中，樣本就是十年來(lái)積累的約4萬(wàn)個(gè)來(lái)文的信息(包括時(shí)間、標(biāo)題、來(lái)文部門(mén)、文號(hào)、正文等)以及處理人員做出的結(jié)果(包括批示和分工)。可以把來(lái)文信息設(shè)為x，而把做出的結(jié)果設(shè)為y，利用現(xiàn)有樣本數(shù)據(jù)訓(xùn)練出x->y規(guī)律的模型，有新的來(lái)文時(shí)，就是新的x，可以通過(guò)模型推演出新的y，作為預(yù)置的批示和分工。

作為模型輸入的來(lái)文信息，都是文本這種非結(jié)構(gòu)化的數(shù)據(jù)，而對(duì)于文本(字符串)一類數(shù)據(jù)在機(jī)器學(xué)習(xí)領(lǐng)域比較成熟有效的方法是使用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network) ，簡(jiǎn)稱RNN，以及其派生的LSTM等模型。但作為模型輸出結(jié)果數(shù)據(jù)的批示和分工是2種不同類型，其中批示是文本，同樣可以用RNN、LSTM模型來(lái)處理。目前，機(jī)器學(xué)習(xí)領(lǐng)域可使用seq2seq(sequence to sequence，即序列到序列)模型實(shí)現(xiàn)字符序列(文本)到另一個(gè)字符串序列的轉(zhuǎn)換，即用LSTM對(duì)輸入序列進(jìn)行編碼，得到一個(gè)向量，然后用LSTM對(duì)向量解碼，生成輸出的序列。另外一種輸出結(jié)果是分工，這里的分工是指比如有30個(gè)部門(mén)，應(yīng)該由哪些部門(mén)對(duì)這個(gè)文件做處理，這其實(shí)是一個(gè)多選結(jié)果(multi-hot)的結(jié)構(gòu)化的數(shù)據(jù)。目前，可以用文本分類(text classifier)模型來(lái)實(shí)現(xiàn)字符串序列(文本)到多選結(jié)果的轉(zhuǎn)換。

3 預(yù)置系統(tǒng)的開(kāi)發(fā)過(guò)程

系統(tǒng)采用python3.6語(yǔ)言開(kāi)發(fā)，運(yùn)行在ubuntu 16.04操作系統(tǒng)上，使用tensorflow1.6作為機(jī)器學(xué)習(xí)框架，硬件加速設(shè)備為一個(gè)nvidia 970 GPU，使用這些平臺(tái)和工具主要是因?yàn)檫@些平臺(tái)和工具都是業(yè)界比較成熟和主流的技術(shù)，有非常多的學(xué)習(xí)資料和經(jīng)驗(yàn)可供借鑒，可減少搭建開(kāi)發(fā)平臺(tái)的耗時(shí)，將時(shí)間集中用于業(yè)務(wù)數(shù)據(jù)的分析和模型的實(shí)現(xiàn)。

預(yù)置系統(tǒng)需要通過(guò)4萬(wàn)多條的樣本數(shù)據(jù)訓(xùn)練2個(gè)模型，通過(guò)測(cè)試并達(dá)到較高的準(zhǔn)確度后，再與政務(wù)辦公系統(tǒng)連接，自動(dòng)為“中樞節(jié)點(diǎn)”推演出預(yù)置的批示和分工，提供給處理人員參考。系統(tǒng)還會(huì)將處理人員實(shí)際的操作結(jié)果(有可能修改了預(yù)置的內(nèi)容)用于持續(xù)訓(xùn)練模型，使后面的推演更接近新的實(shí)際的要求。其中，推演的步驟比較簡(jiǎn)單，只要加載之前訓(xùn)練好的模型，將新的x(來(lái)文信息)輸入，即可推演出新的y(批示和分工)，以此作為預(yù)置交給政務(wù)辦公系統(tǒng)。而持續(xù)訓(xùn)練的步驟與初始訓(xùn)練差不多，差別只在于樣本的多少。因此，本文主要介紹模型的初始訓(xùn)練過(guò)程。如圖1所示，訓(xùn)練主要由3部分組成，第一部分是對(duì)樣本數(shù)據(jù)的預(yù)處理，然后針對(duì)2種結(jié)果數(shù)據(jù)(批示、分工)分別建立模型做訓(xùn)練。

預(yù)處理是訓(xùn)練之前必不可少的步驟，其目的是將從政務(wù)辦公系統(tǒng)中獲取的“業(yè)務(wù)”數(shù)據(jù)轉(zhuǎn)化成一般的機(jī)器學(xué)習(xí)模型可處理的“矢量”數(shù)據(jù)。例如，來(lái)文信息文本為“關(guān)于召開(kāi)全省‘ 兩 學(xué)一做’ 學(xué)習(xí) 教育工作會(huì)議的通知”，需轉(zhuǎn)化成數(shù)字序列“72 96 326 97 1219 4550 1032 299 107 448 740 142 82 80 83”?！笆噶俊鞭D(zhuǎn)換需要對(duì)原始文本分離編碼，根據(jù)漢語(yǔ)的特點(diǎn)，要以“詞”而不是以“字”為單位對(duì)文本進(jìn)行分離，這就是“分詞”。本系統(tǒng)使用了哈工大社會(huì)計(jì)算與信息檢索研究中心研制的語(yǔ)言技術(shù)平臺(tái)(ltp)作為分詞工具。而且根據(jù)政務(wù)的特點(diǎn)，將單位部門(mén)以及單位領(lǐng)導(dǎo)的全名和簡(jiǎn)稱都作為ltp工具的預(yù)置詞典，可讓分詞更加準(zhǔn)確。將分詞后的詞去重，一行一個(gè)詞歸納到一個(gè)文本文件中，行號(hào)(數(shù)字)就成為這個(gè)詞的代號(hào)，這就歸納成了一個(gè)囊括樣本數(shù)據(jù)中所有詞的“詞典表”，通過(guò)這個(gè)詞典表的詞與行號(hào)的映射，就可將文本的詞序列轉(zhuǎn)變?yōu)閿?shù)字序列。

圖1 模型初始訓(xùn)練過(guò)程圖

生成批示的模型是一個(gè)seq2seq模型，其輸入輸出都是文本序列，主要思路是通過(guò)深度神經(jīng)網(wǎng)絡(luò)模型(常用的是多個(gè)LSTM——長(zhǎng)短記憶網(wǎng)絡(luò))將一個(gè)作為輸入的序列映射為一個(gè)作為輸出的序列，這一過(guò)程由編碼輸入與解碼輸出2個(gè)環(huán)節(jié)組成。本系統(tǒng)測(cè)試了多個(gè)seq2seq模型，嘗試了在不同參數(shù)下使用4萬(wàn)多條樣本數(shù)據(jù)對(duì)這些模型進(jìn)行訓(xùn)練，對(duì)比這些模型的準(zhǔn)確率、損失、耗時(shí)等指標(biāo)，選定了在編碼和解碼各自使用2層LSTM，并使用注意力機(jī)制(Attention Model)，這樣構(gòu)造的seq2seq模型在效率和準(zhǔn)確率方面都有令人滿意的結(jié)果。模型的訓(xùn)練監(jiān)視曲線如圖2所示。

生成分工的模型使用的是一個(gè)文本分類(textclassifier)模型，文本分類是根據(jù)文本內(nèi)容本身將文本歸為不同的類別。在本系統(tǒng)中的模型，需要的是多種分類的映射，即一個(gè)文本可以在若干個(gè)分類中對(duì)應(yīng)多個(gè)，類似多選題，而每一個(gè)分類，在本系統(tǒng)的場(chǎng)景中，就代表一個(gè)分工。此外，在筆者工作的部門(mén)，“中樞節(jié)點(diǎn)”有3種類型的分工：領(lǐng)導(dǎo)辦理、部門(mén)主辦、部門(mén)傳閱。因此，還需要為3種類型的分工各自訓(xùn)練文本分類模型。經(jīng)過(guò)對(duì)比測(cè)試，使用了詞向量和雙向LSTM層來(lái)實(shí)現(xiàn)這些文本分類模型，可以得到比較好的準(zhǔn)確率和運(yùn)行效率。模型訓(xùn)練的監(jiān)視界面如圖3所示。

由圖中數(shù)據(jù)可以看到驗(yàn)證的準(zhǔn)確率已經(jīng)達(dá)到0.98以上。預(yù)置系統(tǒng)中的2個(gè)經(jīng)過(guò)訓(xùn)練的模型準(zhǔn)確度較高，與政務(wù)辦公系統(tǒng)連接后，則每15 min查詢“中樞節(jié)點(diǎn)”中未處理的來(lái)文。根據(jù)來(lái)文信息利用模型推演出批示和分工信息，并預(yù)置到辦公系統(tǒng)中。待處理人員辦理時(shí)，將依據(jù)預(yù)置的信息去辦文，一般只需要少量的改動(dòng)或者不改就可以形成處理結(jié)果，工作效率大大提高。

圖2 模型的訓(xùn)練監(jiān)視圖

圖3 模型訓(xùn)練的監(jiān)視界面

4 結(jié)束語(yǔ)

機(jī)器學(xué)習(xí)技術(shù)應(yīng)用在政務(wù)辦公系統(tǒng)“中樞節(jié)點(diǎn)”上能取得這么好的應(yīng)用效果，可以說(shuō)是“好鋼用在刀刃”上?！昂娩摗敝傅氖枪ご髄tp、tensorflow、LSTM這一系列先進(jìn)成熟的技術(shù)，“刀刃”就是“痛點(diǎn)”所在的中樞節(jié)點(diǎn)。一方面，這個(gè)節(jié)點(diǎn)很需要這種高效的輔助手段，因?yàn)檫@個(gè)節(jié)點(diǎn)的處理量很大，時(shí)限要求又高，處理滯后就會(huì)造成系統(tǒng)堵車；另一方面，機(jī)器學(xué)習(xí)技術(shù)也恰好適用于“中樞節(jié)點(diǎn)”的特點(diǎn)，這是因?yàn)椤爸袠泄?jié)點(diǎn)”要求的處理結(jié)果是“明確的”、“嚴(yán)謹(jǐn)?shù)摹?，短期?nèi)不易變化的，可以說(shuō)是一種“規(guī)范化”的處理，這樣的場(chǎng)景比較適合機(jī)器學(xué)習(xí)發(fā)揮其經(jīng)驗(yàn)學(xué)習(xí)、歷史模仿的優(yōu)勢(shì)。相反，倘若一個(gè)場(chǎng)景需要更多的創(chuàng)造性、自由發(fā)揮的思維，機(jī)器學(xué)習(xí)就難以給出滿意的答案了。