基于社會心理學的協(xié)作式眾包測試效率研究

周艷

摘要 眾包（Crowdsourcing）是將一項任務在網(wǎng)絡上分包給許多人共同完成，傳統(tǒng)的競爭式眾包中，眾包工人獨立完成測試任務，往往進行大量冗余工作，未能充分發(fā)揮群體智能優(yōu)勢。本文旨在研究協(xié)作式眾包工作機制，引導眾包工人進行信息交互，協(xié)作完成眾包任務，基于社會心理學的相關理論，研究協(xié)作對眾包測試效率的提升。為了驗證該機制的可行性，本文收集了來自協(xié)作式眾包平臺的實驗數(shù)據(jù)，設置對照試驗，分析不同眾包模式下的任務完成情況，眾包工人的貢獻差異，實驗結果表明，協(xié)作能夠提升眾包測試效率。

關鍵詞 協(xié)作式眾包 社會心理學 測試效率

1.引言

眾包近年來得到工業(yè)界和學術界的共同重視，作為群體智能的典型應用，被社會學、心理學、經(jīng)濟學、計算機學、系統(tǒng)工程學科廣泛研究。當前的眾包只能在簡單任務上形成群體協(xié)作，在復雜任務上無法支撐群體智能的協(xié)作，只是獨立完成測試任務，由眾測平臺審核海量報告并選擇高質量的報告作為最優(yōu)方案，無法支撐眾包工人之間的有效地增效性的協(xié)作，簡單的說，現(xiàn)在面對復雜問題的眾包，無法實現(xiàn)1+1>2。

只有針對不同的測試場景引導眾包工人協(xié)作完成測試任務，才能使工人更高效地完成測試任務。社會心理學為協(xié)作式眾包提供了更多理論支撐[1]。美國社會心理學家拉塔奈（B.Latane）提出社會作用理論，其證明了群體行為對個體行為具有制約作用，個體行為是個體需要與其所處的心理環(huán)境的函數(shù)的著名社會作用力公式，從社會立場角度探討個人行為受他人和社會影響的問題，如群體合力影響的倍增效益，協(xié)作式眾包測試也將提升眾包測試效率。在協(xié)作式眾包測試[2]中，所有Bug報告對眾包工人都是可見的（即信息共享），眾包工人以Wiki（多人協(xié)作的寫作系統(tǒng)）協(xié)作編輯的方式完成測試報告以減少重復報告;眾包工人不僅可以提交報告，也能對他人報告進行審核，幫助眾包測試平臺識別高質量報告。協(xié)作式眾包測試通過提供特定協(xié)作方式，減輕對眾包工人專業(yè)能力的要求，給眾包工人提供多樣的任務類型，使眾包工人有更強的參與感和成就感;同時通過眾包工人協(xié)作，使Bug報告聚合產(chǎn)生高質量報告，能以更快的速度交付給任務發(fā)布者高可用的軟件缺陷列表。本文主要貢獻：

嘗試將社會心理學相關理論引入到眾包測試當中去以激勵眾包工人去通過不斷修改別人的答案，使得整體任務的結果質量提高;

設置對照試驗，分析不同機制下的效率狀況，不同貢獻模型下的眾包工人成績影響;

針對基于社會心理學的協(xié)作式眾包測試提出協(xié)作建議。

2.協(xié)作式眾包機制

本文使用的協(xié)作式眾包測試平臺眾包測試系統(tǒng)能夠將完成整個測試任務進行過程中的信息共享與任務分配，眾包工人在整個過程中，既是提交者也是審閱者，充分利用用戶之間的協(xié)作以及平臺推薦引導來提升報告質量。其中，用戶對于推薦報告可以選擇點贊、點踩，眾測平臺在報告整合階段，可以參照該信息，對于報告質量做出初步評價。同時，用戶亦可以選擇共同編輯（Fork），對推薦報告進行補充。眾包工人之間相互協(xié)作，信息共享，可以在很大程度上減少冗余測試報告，同時共同完善測試報告，幫助開發(fā)人員進行Bug重現(xiàn)。

3.實驗

3.1實驗設計

本次眾包測試任務是一項復雜的移動應用測試，考察眾包工人多方面的測試能力。我們選擇了一款漫畫閱讀軟件，“ComicsIsland”。眾包工人需要手動對其進行測試，特別是功能測試，盡可能覆蓋所有測試需求并提交測試用例和測試報告。

為了分析在協(xié)作機制與傳統(tǒng)競爭機制環(huán)境下的測試效率，我們設置了一組對比實驗：將眾包工人按1：1比例方法分別設為協(xié)作測試組和獨立測試組，在測試環(huán)境、測試任務及測試時間一致的情況下，協(xié)作測試組開展協(xié)作眾包測試，獨立測試組獨立測試并提交測試用例和報告。

為了深入研究協(xié)作眾包測試機制對眾包工人的影響，我們在測試任務完成后對眾包工人進行了一次匿名在線問卷調查以了解工人的個人真實想法，并結合眾包工人的測試結果進行分析。我們發(fā)放了50份調查問卷，最后收到了38份調查反饋，并對其進行了一定的篩選，刪除無效報告（如所有選項均相同），最后只留下28份有效調查報告。

3.2結果分析

3.2.1協(xié)作對眾包測試結果的提升

我們對整個測試過程進行研究分析。本次眾包測試時常為4小時，我們每隔半小時對兩類學生在測試過程中已找到的bug總數(shù)進行了統(tǒng)計，目的是想了解不同機制背景下的眾包工人在測試實踐過程中測試表現(xiàn)是否會存在差別。統(tǒng)計詳情如圖1所見。

觀察上圖Bug數(shù)量的變化趨勢，我們看到橙色折線（協(xié)作測試組找到的Bug數(shù)量）幾乎是一直呈現(xiàn)穩(wěn)定增長，而灰色折線（獨立測試組發(fā)現(xiàn)的Bug數(shù)量）在測試開始3小時后則趨于平緩，近乎可以被看作是一條拋物線的一部分。在不考慮已發(fā)現(xiàn)Bug的有效性的前提下，我們很容易就可以得出眾包工人通過協(xié)作方式發(fā)現(xiàn)缺陷問題的數(shù)明顯多于獨立測試情況所發(fā)現(xiàn)缺陷數(shù)的結論。隨著時間推移，兩個實驗組找到bug數(shù)量的差距明顯越來越大。可以看出，協(xié)作式眾包工作機制能夠實現(xiàn)很好的支撐眾包工人之間的有效地增效性的協(xié)作，提高了眾包測試效率與質量。

3.2.2協(xié)作對眾包測試的影響

圖2和圖3分別為問題Q1和Q2的調查結果統(tǒng)計。分析上述結果，我們知道雖然只有10.71%的學生一點都不想?yún)⒓拥奖姲鼫y試當中去，但高達64.29%的學生對眾包測試有一定興趣。也就是說，絕大多數(shù)眾包工人以積極態(tài)度參與此次眾包測試，此次的實驗結果對于我們分析不同機制下的測試效率差異是有價值的。從眾包工人對眾包測試的評估結果來看，協(xié)作測試組中認為眾包測試對自身測試能力的提高有幫助的人數(shù)遠遠多于獨立測試組的人數(shù)，獨立測試組的多數(shù)眾包工人（62.33%）認為眾包測試對自己是毫無幫助的。結合上文提到的社會心理理論，群體社會中的個體在能力更高的同伴、成人或工具的幫助下自身的認知潛力將被很大程度的挖掘出來，即能力獲得提升，這與協(xié)作測試組眾包工人認為眾包測試是有幫助的是相通的。綜上所述，眾包工人間的相互協(xié)作對于每個眾包工人的認知發(fā)展和知識獲得至關重要。

4.結論

本文嘗試將社會心理學相關理論引入到眾包測試效率分析中。為了分析協(xié)作的作用，我們設置對照試驗，分析不同機制下的效率狀況，不同貢獻模型下對眾包工人影響。根據(jù)實驗結果所示，基于社會心理學理論建立起來的協(xié)作機制能夠實現(xiàn)很好的支撐眾包工人之間的有效地增效性的協(xié)作，使眾包工人在相互交流的過程中獲取知識，促進個體高級認知能力的發(fā)展，這對現(xiàn)代化教育有很大的借鑒意義。