基于社交平臺(tái)的眾包質(zhì)量控制算法研究

丁岳偉+王飄

摘要：

眾包產(chǎn)生于比較復(fù)雜的互聯(lián)網(wǎng)平臺(tái)上，必須對互聯(lián)網(wǎng)平臺(tái)上的眾包質(zhì)量進(jìn)行控制，研究基于社交平臺(tái)的眾包質(zhì)量控制算法尤為必要。根據(jù)眾包問題涉及領(lǐng)域，將用戶在社交平臺(tái)領(lǐng)域的直接信譽(yù)度算法與用戶對歷史任務(wù)完成情況的質(zhì)量評估算法相結(jié)合完成用戶篩選，并根據(jù)篩選用戶給出的方案集，利用最大期望算法（E-M算法）獲取正確率相對較高的方案。實(shí)驗(yàn)結(jié)果表明，即使在加入了一些惡意工作者的情況下，利用直接信譽(yù)度算法與用戶質(zhì)量評估算法篩選用戶，并使用E-M算法處理方案集能夠使社交平臺(tái)上的眾包質(zhì)量得到較好控制。

關(guān)鍵詞：

眾包；社交平臺(tái)；質(zhì)量檢測；領(lǐng)域信譽(yù)度；最大期望算法

DOIDOI：10.11907/rjdk.171970

中圖分類號：TP312

文獻(xiàn)標(biāo)識碼：A 文章編號：1672-7800（2017）012-0090-04

Abstract：As crowd-sourcing is generated on the Internet platform complex relatively， it is necessary to control the quality of crowd-sourcing on the Internet platform. So far， however， there has been little research into crowd-sourcing quality control on social platforms. Mainly studies the quality control algorithm of crowd-sourcing based on social platform. Firstly， this paper adopts the user's direct reputation algorithm based on the social platform and the user's quality evaluation algorithm for the completion of the historical task to filter users， according to the domain covered of crowd-sourcing problem. Finally， according to the scheme set of the filtered users， the maximum expectation algorithm （EM algorithm） is adopted to obtain the scheme with correct rate relatively high. The experimental results show that， even in the case of some malicious workers joining in， using the direct algorithm of the reputation and the quality of the user evaluation algorithm to filter users， and using EM algorithm to process scheme set can make the quality of crowd-sourcing on social platform get control better.

Key Words：crowdsourcing； social networking platform； quality inspection； field of credibility； maximumexpected algorithm

0 引言

作為一種新興的分布式計(jì)算模型，眾包已成為一大研究熱點(diǎn)。在這種分布式計(jì)算模型中[1-2]，企業(yè)通過互聯(lián)網(wǎng)平臺(tái)分配任務(wù)招募優(yōu)秀工作者，讓他們?yōu)槿蝿?wù)提供更合理的解決方案。目前，越來越多的企業(yè)開始使用眾包模式[3]。對于企業(yè)而言，眾包可以為他們降低成本并提高他們的技術(shù)水平和創(chuàng)造力。目前數(shù)據(jù)顯示，使用亞馬遜（AMT）眾包的應(yīng)用最為廣泛，社交平臺(tái)對眾包的應(yīng)用最少。隨著Facebook等社交平臺(tái)對眾包的應(yīng)用，以及社交平臺(tái)的不斷發(fā)展壯大，眾包在社交平臺(tái)的應(yīng)用會(huì)越來越廣泛。但是眾包是一種面向互聯(lián)網(wǎng)大眾的分布式問題解決機(jī)制，它通過整合計(jì)算機(jī)和互聯(lián)網(wǎng)未知大眾完成計(jì)算機(jī)單獨(dú)難以完成的任務(wù)。當(dāng)面臨諸多解決方案時(shí)，發(fā)包者很難作出選擇。但并不是每個(gè)工作者都是合格的工作者，由于不同背景的工作者信譽(yù)和能力不同，甚至可能在眾包平臺(tái)上存在惡意工作者，因此，從大量的眾包工作者中挖掘出工作者的信譽(yù)并判斷工作者的意圖十分重要。為了使眾包在社交平臺(tái)能夠得到更加準(zhǔn)確的應(yīng)用，本文著重對社交平臺(tái)上的眾包質(zhì)量控制算法進(jìn)行研究。

1 相關(guān)工作

近年來，眾包作為一種新型的分布式技術(shù)，已經(jīng)得到了廣泛應(yīng)用，并且在很多領(lǐng)域已經(jīng)運(yùn)用于眾包平臺(tái)。目前數(shù)據(jù)顯示，使用亞馬遜（AMT）眾包平臺(tái)的應(yīng)用最為廣泛，社交平臺(tái)上眾包的應(yīng)用最少。但隨著Facebook等社交平臺(tái)對眾包的應(yīng)用，以及社交平臺(tái)的不斷發(fā)展壯大，眾包在社交平臺(tái)上的應(yīng)用也會(huì)越來越廣泛。大多數(shù)眾包都是依賴線下或人工方式對質(zhì)量進(jìn)行控制和評估[4]，忽略了互聯(lián)網(wǎng)平臺(tái)上的質(zhì)量控制問題，鑒于此，很多研究者[5-7]開始關(guān)注互聯(lián)網(wǎng)平臺(tái)上眾包的質(zhì)量控制。其中，Kamar等[8]提出了一個(gè)模型使得系統(tǒng)能夠平衡預(yù)期收益和雇傭工作者的成本。Vakharia andLease[9]在其調(diào)查中將質(zhì)量精確度控制作為調(diào)查的重要部分，在很多眾包平臺(tái)上使用不同方法和不同控制工具以控制工作者的質(zhì)量。這些方法或多或少都需要人工干預(yù)，對工作者質(zhì)量的人工控制嚴(yán)重影響了眾包發(fā)展，對在線工作者的質(zhì)量評估[10]已經(jīng)吸引了越來越多人的注意力。

Joglekar[13]基于對方案集的分歧評估工作者質(zhì)量，同時(shí)為了提高評估精確度，使用置信區(qū)間評估工人。Rzeszotarski和Kittur[11-12]通過討論工作者的行為評判不同的工作者，這需要眾包系統(tǒng)提供不同工作者的行為。這些方法大多是對商業(yè)平臺(tái)的眾包質(zhì)量控制，沒有考慮基于專門平臺(tái)對眾包質(zhì)量的控制，同時(shí)也沒有考慮到一些隱含因素。當(dāng)前其研究方法雖有一定進(jìn)展，但仍然受幾大因素的限制：任務(wù)發(fā)布平臺(tái)、時(shí)間、經(jīng)濟(jì)、參與者。

針對上述不足，本文基于社交平臺(tái)，利用參與者的相關(guān)背景知識或者其在該領(lǐng)域的活躍程度，判斷用戶在該領(lǐng)域的信譽(yù)度，并結(jié)合參與者歷史任務(wù)完成情況對參與者進(jìn)行綜合評價(jià)，選出優(yōu)質(zhì)參與者作為工作者，同時(shí)采用最大期望算法驗(yàn)證方案集的合理性。本文結(jié)合這兩種評判指標(biāo)對社交平臺(tái)上的眾包進(jìn)行質(zhì)量檢測與控制。

2 社交平臺(tái)上的眾包質(zhì)量檢測

社交平臺(tái)上的質(zhì)量檢測包含若干環(huán)節(jié)，本文主要討論其中的兩個(gè)環(huán)節(jié)：一是檢查參與者是否為誠實(shí)的工作者；二是檢測所得方案集的合理性。通過控制這兩個(gè)環(huán)節(jié)提高社交平臺(tái)上的眾包質(zhì)量。

2.1 用戶直接信任度

本環(huán)節(jié)檢測參與者是否為誠實(shí)的工作者，實(shí)質(zhì)上是在所有參與者中過濾掉那些惡意的工作者。本文根據(jù)社交平臺(tái)上發(fā)布的問題所涉及領(lǐng)域，計(jì)算工作者在該領(lǐng)域的直接信任度，再根據(jù)其值篩選工作者。

2.1.1 參與者領(lǐng)域衰減因子

現(xiàn)實(shí)生活中，每個(gè)人對不同領(lǐng)域的興趣度持續(xù)時(shí)間不同，惡意工作者所持續(xù)時(shí)間比信譽(yù)度較高的工作者持續(xù)時(shí)間要短很多。因此，參與者衰減因子越小，代表用戶越可靠，反之亦然。

可以選取社交平臺(tái)的一段相對比較長的時(shí)間，然后將時(shí)間離散化，分成若干個(gè)時(shí)間段，給每一個(gè)時(shí)間段進(jìn)行標(biāo)號，序號按照時(shí)間依次變大。其中，時(shí)間間隔表示用戶在該領(lǐng)域進(jìn)行交互的時(shí)間段序號與現(xiàn)在時(shí)間段序號的差值。若用戶對于某個(gè)領(lǐng)域的評分行為保持連續(xù)性，則認(rèn)為該參與者對該領(lǐng)域有一定了解。因此，用戶在該領(lǐng)域的持續(xù)性可用參與者從第一次在該領(lǐng)域互動(dòng)的時(shí)間段序號與當(dāng)前時(shí)間段序號之間，用戶在該領(lǐng)域進(jìn)行交互所占比例表示，比例越高，持續(xù)性越好，衰減速度越慢。

2.4 眾包結(jié)果篩選

眾包質(zhì)量檢測在收到所篩選的參與者給出方案集時(shí)，并不能保證所接受的方案是正確的，需要將正確率低的結(jié)果過濾掉。本文采用較為通用的最大期望值算法。

最大似然估計(jì)算法利用迭代過程，主要應(yīng)用于存在缺失或者隱含數(shù)據(jù)情況下的最大似然估計(jì)。算法主要分為兩步：①E步中對隱含數(shù)據(jù)的估計(jì)，需要根據(jù)已經(jīng)觀測到的數(shù)據(jù)和當(dāng)前估計(jì)的概率模型參數(shù)確定；②M步根據(jù)E步中得到的隱含數(shù)據(jù)，通過最大似然函數(shù)估計(jì)新的概率模型參數(shù)。

4 實(shí)驗(yàn)結(jié)果與分析

由實(shí)驗(yàn)1可知，當(dāng)取0.6時(shí)， Pselected得到的正確性最高；由實(shí)驗(yàn)2可知，在不斷添加作弊者數(shù)目時(shí)，Pselected相對于TU，V、ScorceW影響更?。挥蓪?shí)驗(yàn)3可知，E-M算法比M-V算法選擇效果更好。由此可以得出，應(yīng)利用參與者在社交平臺(tái)上的直接信譽(yù)度與工作者質(zhì)量評估函數(shù)相結(jié)合判斷選擇合適的工作者。同時(shí)，在所得到的結(jié)果中用E-M算法比其它算法得到的正確率更高。

5 結(jié)語

通過上述實(shí)驗(yàn)結(jié)果可知，通過計(jì)算參與者的直接信任度方法與E-M算法結(jié)合對社交平臺(tái)上眾包質(zhì)量的控制與檢測，增加惡意工作者數(shù)量顯然使得最后方案集的準(zhǔn)確率更高，影響也更少，這使得眾包的優(yōu)勢得到很好體現(xiàn)。

本文重點(diǎn)探討了眾包在社交平臺(tái)上的質(zhì)量檢測，而對于眾包在其它平臺(tái)上的質(zhì)量控制方法尚有待進(jìn)一步研究。同時(shí)，本文對于眾包的質(zhì)量控制并沒有考慮一些隱含因素，比如：根據(jù)工作者每次提交任務(wù)的時(shí)間等進(jìn)行工作者篩選，這在后續(xù)工作中需加以考慮。

參考文獻(xiàn)：

[1] BRABHAM D C.Crowdsourcing as a model for problem solving： an introduction and cases[J].the International Journal of Research Into New Media Technologies，2008， 14（1）：75-90.

[2] ALLAHBAKHSH M， BENATALLAH B， IGNJATOVIC A，et al.Quality control in crowdsourcing systems：issues and directions[C].IEEEInternet Computing IEEE Internet Computing，2013，17（2）： 76-81.

[3] CLOUGH P，SANDERSON M， TANG J， et al.Examining the limits of crowdsourcing for relevance assessment[J].IEEE Internet Computing，2013，17（4）：32-38.

[4] HOWE J.Therise of crowdsourcing [J].Wired Agazine，2006，14（4）：1-5.

[5] WANG J， KRASKA T， FRANKLINM J， et al. CrowdER：crowdsourcing entity resolution，[J].Proceedings of the VLDB Endowment， 2012，11（5）：1483-1494.

[6] MANISONNEUVEN，CHOPARD B.Crowdsourcing satellite imagery analysis： study ofparallel and iterative models[J].Crowdsourcing satellite imagery analysis： Study of parallel and iterative models，2012，7478（1）：116-131.

[7] WU S， WANG X， WANGS， ZHANG Z， et al. K-anonymity for crowd sourcing database[J].IEE Transactions on Knowledge and Data Engineering， 2014，26（9）：2207-2221.

[8] KAMAR E， HACKERS HORVITZ E. Combining human and machine intelligence in large-scale crowdsourcing[J].Proceedings of the 11th International Conference on Autonomous Agents and Multiagent Systems，2014，27（1）： 129-164.

[9] VAKHARIA D，LEASEM.Beyond AMT：an analysis of crowdwork platforms[Z].Research Gate，2013.

[10] LIU Q，PENGJ，IHLER A.Variational inference for crowdsourcing[Z].2012.

[11] KARGERD R， OH S，SHAH D. Iterative learning for reliable crowdsourcing systems[J].25th Annual Conference on Neural Information Processing Systems （NIPS），2011：1-8.

[12] RZESZOTARSKI J M，KITTUR A. Instrumenting the crowd：using implicit behavioral measures to predict task performance[C].In Proceedings of the 24th Annual ACM Symposium on User Interface Software and Technology，UIST11， ACM，2011： 13-22.

[13] JOGLEKAR M， GARACIA-MOLINA H， PARAMESWARAMA.Evaluating the crowd with confidence[Z].2014.

（責(zé)任編輯：孫 娟）