基于工作者多屬性特征模型的任務(wù)分配方法

原博洋，王麗清

(云南大學(xué) 信息學(xué)院，云南 昆明 650091)

0 引 言

眾包(crowdsourcing)作為一種依托互聯(lián)網(wǎng)受眾實現(xiàn)任務(wù)分配和協(xié)同工作的方法，隨著任務(wù)需求的復(fù)雜和深化，已逐漸向多學(xué)科、多領(lǐng)域技術(shù)融合的方向發(fā)展。依托信息技術(shù)強(qiáng)大的計算和分析能力，在眾包的任務(wù)分配、過程控制、激勵和結(jié)果評價反饋等多個方面實現(xiàn)了技術(shù)融合和突破。對于眾包的任務(wù)分配來說，任務(wù)得以有效完成并取得高質(zhì)量任務(wù)結(jié)果的關(guān)鍵是如何從眾包工作者中篩選出最合適的參與者。

為此，一方面可以從定義一個更完整和精準(zhǔn)的工作者特征的角度，來達(dá)到提升眾包任務(wù)和工作者之間匹配度的目的。包括基于Argo+框架技術(shù)按工作者特征和任務(wù)屬性匹配，再利用機(jī)器學(xué)習(xí)技術(shù)輔助的方法[1]，以及基于工作者信譽(yù)值進(jìn)行模型構(gòu)建或分配的方法[2，3]；還有學(xué)者采用基于滑動窗口的方法，提出專業(yè)準(zhǔn)確率的定義，衡量工作者的專業(yè)水平[4]；建立擴(kuò)展模型評估工作者能力，對工作者屬性進(jìn)行深層次的描述[5]；或者通過對工作者歷史信息的分析，從興趣、專長、活躍度等方面構(gòu)建不同的任務(wù)分配方法[6-8]。

另一方面是分析任務(wù)需求，給出更詳細(xì)的任務(wù)描述的方法。例如定義任務(wù)的成本邊界值，增加任務(wù)質(zhì)量要求的方法[9]；針對不同的任務(wù)分配環(huán)境，結(jié)合人工智能或基于歷史數(shù)據(jù)的在線學(xué)習(xí)進(jìn)行篩選的方法[10，11]；或者借助數(shù)據(jù)庫支撐任務(wù)匹配和完成[12]；還有從任務(wù)內(nèi)容角度和任務(wù)可靠性要求的分配方式[13，14]。

隨著任務(wù)需求復(fù)雜性、難度的逐漸提高，對工作者特征模型的建立和任務(wù)分配，提出了更全面、更靈活、更精準(zhǔn)和更高效的要求[15]。不論是單方面從工作者的角度還是從任務(wù)定義的角度，都難以完整、準(zhǔn)確地描述雙方的特征，從而帶來任務(wù)匹配效果不佳的問題。

為此，本文以中泰的眾包協(xié)同翻譯作為實例，根據(jù)非通用語語言翻譯任務(wù)的具體要求，分析對于承擔(dān)該任務(wù)，并盡可能取得較好任務(wù)結(jié)果的工作者，應(yīng)該具備的典型特征。然后，基于層次分析法(analytic hierarchy process，AHP)構(gòu)建工作者的多屬性特征模型，實現(xiàn)對任務(wù)需求和工作者特征的多點匹配，最后據(jù)此完成任務(wù)分配。這樣，既避免了任務(wù)需求和工作者素質(zhì)脫節(jié)的問題，又有效地提高了眾包任務(wù)分配的準(zhǔn)確性，提高了任務(wù)完成的質(zhì)量和效率。此外，對于在任務(wù)分配中由于對新任工作者缺乏歷史數(shù)據(jù)描述而造成的“冷啟動”問題，也可以在提取少量初始信息的基礎(chǔ)上，得到該工作者的特征描述，進(jìn)而對其完成初期任務(wù)的高質(zhì)量匹配，取得較好的任務(wù)效果。

1 多屬性特征模型構(gòu)建

針對非通用語言眾包協(xié)同翻譯任務(wù)，需要工作者在語言的專業(yè)翻譯能力、工作者的積極性和工作態(tài)度，甚至在當(dāng)下的工作狀態(tài)上具有良好的表現(xiàn)，才能在參與任務(wù)中取得滿意的結(jié)果，進(jìn)而提升任務(wù)完成效率和質(zhì)量，降低任務(wù)成本。

因此，用評價指標(biāo)的設(shè)計將任務(wù)需求和工作者的特征描述緊密結(jié)合起來，再進(jìn)行權(quán)重和量化計算，給出每個指標(biāo)的權(quán)重系數(shù)，以便篩選出最佳工作者。

根據(jù)以上分析，在任務(wù)分配中，根據(jù)層次分析方法原理和步驟，從評價指標(biāo)定義、構(gòu)造多因素判斷矩陣、權(quán)重向量計算來構(gòu)建工作者的多屬性特征模型。

1.1 評價指標(biāo)定義

在對模型進(jìn)行指標(biāo)定義時，本文結(jié)合要解決的具體任務(wù)和工作者的特征建立自上而下的三層結(jié)構(gòu)模型，將決策目標(biāo)定義為翻譯能力指標(biāo)A，并據(jù)此篩選出不同翻譯水平的工作者。

準(zhǔn)則層包括專業(yè)語言能力評價B1，其下包括翻譯結(jié)果接受次數(shù)、翻譯結(jié)果質(zhì)量加權(quán)分、綜合成績排名、語言證書等級、學(xué)歷共5個方案層指標(biāo)[16]；

參與度評價B2，包括任務(wù)響應(yīng)速度、任務(wù)主動參與數(shù)、任務(wù)接受次數(shù)、在線時長、近3個月參與次數(shù)[16]；

工作態(tài)度評價B3，包括任務(wù)完成率、完成時間效率、黃金檢測通過次數(shù)、責(zé)任心參數(shù)[16]。完整的模型指標(biāo)體系結(jié)構(gòu)見表1。

表1 各級評價指標(biāo)定義

針對相應(yīng)的指標(biāo)，研究并定義了其具體的量化計算方法或計算公式。

(1)專業(yè)語言能力評價

目的是描述工作者的專業(yè)能力和水平。其中：

C1翻譯結(jié)果接受次數(shù)是該工作者被任務(wù)發(fā)起者所接受的任務(wù)累計數(shù)量。

C2翻譯結(jié)果質(zhì)量加權(quán)分是任務(wù)發(fā)起者對工作者完成任務(wù)的滿意度(cs)評價，用數(shù)值表示，從不滿意(值為0)到很滿意(值為5)，然后通過計算式(1)計算得到加權(quán)分AR[16]

(1)

式中：rei表示第i個任務(wù)的評測結(jié)果，csj表示第j級滿意度。

其它專業(yè)能力評價指標(biāo)也分別根據(jù)不同能力和水平用分值進(jìn)行量化描述。

(2)參與度評價

該指標(biāo)用于描述工作者參與任務(wù)的積極性和活躍度。其中任務(wù)響應(yīng)速度(RS)的計算公式如式(2)所示[16]

RS=(Te-Ta)/(Te-Ts)

(2)

式中：Te為任務(wù)執(zhí)行截止時間，Ta為任務(wù)接受時間，Ts為任務(wù)發(fā)布時間[16]。

C9在線時長(OT)計算公式如式(3)所示

OT=Tl-Te

(3)

Tl和Te分別代表工作者登錄和注銷的時間。

其它參與度指標(biāo)根據(jù)工作者參與任務(wù)的實際數(shù)據(jù)統(tǒng)計得出。

(3)工作態(tài)度評價

該指標(biāo)描述了工作者近期的工作狀態(tài)和工作態(tài)度。其中任務(wù)完成率(TC)的計算公式如式(4)所示[16]

TC=Nc/Na

(4)

式中：Nc為完成的任務(wù)數(shù)；Na為接受任務(wù)數(shù)。

完成時間效率(TE)的計算公式如式(5)所示

TE=Tf-Ta/Te-Ts

(5)

式中：Tf為任務(wù)的完成時間,Ts和Te分別表示任務(wù)的發(fā)布時間和截止時間，Ta為任務(wù)接受時間。

1.2 構(gòu)建多因素判斷矩陣

層次指標(biāo)和模型構(gòu)建完畢后，構(gòu)建判斷矩陣。根據(jù)運(yùn)籌學(xué)家Satty提出的層次分析法中對于兩兩因素的比較關(guān)系量化表(表2)[17]，本文對各個指標(biāo)的重要性要求使用7分位比率計算量化結(jié)果，構(gòu)造出A、B1、B2、B3判斷矩陣。

表2 關(guān)系量化分析

1.3 特征權(quán)重計算

(1)一致性檢驗

構(gòu)建了判斷矩陣后，需要對判斷矩陣進(jìn)行一致性檢驗。對于一致性檢驗不通過的矩陣，需要重新構(gòu)造，直至達(dá)成矩陣一致性為止。根據(jù)參考文獻(xiàn)[17]的定義，一致性檢驗根據(jù)判斷矩陣的最大特征值，通過按如下公式計算一致性指標(biāo)CI和一致性比率CR完成

(6)

CR=CI/RI

(7)

當(dāng)CR<0.1時，則表示CI在允許范圍內(nèi)，矩陣滿足一致性。其中RI取值見表3。

表3 RI取值

(2)計算特征權(quán)重

根據(jù)以上方法，得到判斷矩陣A的最大特征值λ=3.0536，CR=0.0268/0.58= 0.046，CR值小于0.1，因此矩陣A滿足一致性檢驗。

計算A特征向量并歸一化處理后為：δ=[0.6441,0.2706,0.0976]，即為準(zhǔn)則層各個評價指標(biāo)的權(quán)重，見表4。權(quán)重從高到低，可以看出各個評價指標(biāo)對A翻譯能力的影響程度。

按照上述方法求出矩陣B1、B2和B3的歸一化特征向量，即得到各級指標(biāo)的權(quán)重值計算結(jié)果見表4[16]。

表4 各級指標(biāo)權(quán)重對照

根據(jù)表4按式(8)即可計算出各個工作者的翻譯能力評價指標(biāo)A

(8)

其中，Bi的計算公式為

(9)

式中：Bi、Cj分別表示準(zhǔn)則層和方案層指標(biāo)值，Wbi、Wcj分別表示Bi和Cj的指標(biāo)權(quán)重[16]。

2 任務(wù)分配

通過上述方法建立的工作者特征模型，即可在協(xié)同翻譯任務(wù)的分配中提取出綜合工作能力更優(yōu)秀的工作者，完成對應(yīng)的翻譯工作。工作者篩選和任務(wù)分配的流程如圖1所示。

首先采集工作者初始數(shù)據(jù)，并存儲到數(shù)據(jù)庫，完成模型初始化和對工作者的量化指標(biāo)計算，對計算結(jié)果排序后即篩選出滿足任務(wù)需求的能力優(yōu)異的工作者，對其進(jìn)行任務(wù)分配。

圖1 基于特征模型的任務(wù)分配流程

3 實驗與結(jié)果分析

3.1 實驗數(shù)據(jù)

在實驗中，由于需要具備中泰兩種語言的工作者，標(biāo)準(zhǔn)數(shù)據(jù)難以取得，因此依托高校外語學(xué)院相關(guān)專業(yè)通過征集志愿者，獲取了志愿者包括專業(yè)、成績等在內(nèi)的初始數(shù)據(jù)，建立了工作者屬性表。其中，對于成績排名、證書等級、學(xué)歷等級等難以量化的信息，采用預(yù)定義量值的方式解決。數(shù)據(jù)經(jīng)處理后存儲到數(shù)據(jù)庫，作為工作者初始特征數(shù)據(jù)。

對于任務(wù)內(nèi)容，從經(jīng)專業(yè)翻譯審核完成的中泰標(biāo)準(zhǔn)平行譯文知識庫中抽取固定數(shù)量的短譯文作為待翻譯的任務(wù)實驗數(shù)據(jù)。中文提交給工作者作為任務(wù)完成翻譯，對應(yīng)泰文作為標(biāo)準(zhǔn)譯文，用于評測工作者翻譯質(zhì)量。

3.2 實驗結(jié)果與分析

為比較任務(wù)分配的執(zhí)行效果，采用隨機(jī)分配工作者和對工作者首先進(jìn)行翻譯測試，然后根據(jù)測試結(jié)果分配任務(wù)的方法作為對比，對3種不同分配方法最后取得的翻譯結(jié)果與標(biāo)準(zhǔn)譯文基于BLEU評估方法進(jìn)行質(zhì)量對比，來完成對本文研究結(jié)果的分析。

實驗結(jié)果見表5～表7。

表5 基于翻譯測試評測分配的實驗結(jié)果

表6 基于隨機(jī)分配方法的實驗結(jié)果

表7 基于工作者特征分配模型的譯文評測

使用散點圖直觀表示如圖2所示。

圖2 3種分配模型BLEU質(zhì)量對比

從實驗結(jié)果可知，采用本文提出的方法取得的譯文平均質(zhì)量要高于按照隨機(jī)分配和基于測試的分配方法所最終得到的譯文。

在翻譯結(jié)果中，存在基于翻譯測試評測方式篩選出的某工作者所提交譯文質(zhì)量比本模型篩選工作者高的情況(例如表6中的工作者5)。分析其原因，一是對于翻譯質(zhì)量，一方面很大程度依賴于翻譯者的綜合水平，但另一方面也會受到翻譯中是否有外來因素影響，造成翻譯結(jié)果波動的問題；二是對于本研究的譯文質(zhì)量評價，主要基于BLEU評價方法，為更全面、客觀地對譯文質(zhì)量進(jìn)行綜合評定，還可以引入其它評價指標(biāo)，甚至主觀評定來完成一個更準(zhǔn)確的評估。

4 結(jié)束語

本文所提出的面向具體任務(wù)需求的多屬性工作者特征模型分配算法，主要以中泰語言的眾包協(xié)同翻譯作為任務(wù)需求，基于層次分析法，通過對任務(wù)工作者的需求特征分析，建立多因素的評價指標(biāo)體系，并據(jù)此完成基于工作者特征的篩選模型構(gòu)建和任務(wù)分配算法設(shè)計。

該方法在研究中依托層次分析法在面對復(fù)雜和缺少數(shù)據(jù)的多因素影響問題中能夠定性和定量結(jié)合進(jìn)行分析的優(yōu)勢，對語言翻譯工作者進(jìn)行基于需求特征的評價指標(biāo)定義，并提出指標(biāo)量化方法，為快速計算和篩選出最優(yōu)工作者提供了方法。

根據(jù)實驗，采用該模型和方法，可以更精準(zhǔn)、更快速地篩選出任務(wù)的最佳工作者群體，并取得更好質(zhì)量的任務(wù)結(jié)果。對于其它任務(wù)需求的模型構(gòu)建，同樣可以采用該方法進(jìn)行特征模型的建立，主要區(qū)別在于評價指標(biāo)的設(shè)計。該模型的部分指標(biāo)(包括參與度、工作任務(wù)完成率和完成質(zhì)量等)隨著工作者對于任務(wù)的不斷參與，在取得工作者累積歷史數(shù)據(jù)的情況下，將會獲得更好的任務(wù)分配效果。

為進(jìn)一步提高對結(jié)果質(zhì)量的控制，今后考慮在任務(wù)執(zhí)行過程中增加對工作者的監(jiān)督，避免不可預(yù)見因素影響對工作結(jié)果帶來的波動。