機(jī)器學(xué)習(xí)需要更好的數(shù)據(jù)標(biāo)注

崔滔

人們意識到AI非常強(qiáng)大，但為了實現(xiàn)它，必須獲得大量的訓(xùn)練數(shù)據(jù)。有人在蘋果花了數(shù)億美元收集標(biāo)簽數(shù)據(jù)，但依然沒有好的結(jié)果。

看到這一需求，許多專業(yè)標(biāo)注公司誕生了。例如Datasaur，這是一個自動化數(shù)據(jù)標(biāo)注的軟件。當(dāng)然，數(shù)據(jù)標(biāo)注首先需要以人工的方式開始，特別是在人工智能項目的開始階段，到了項目的中期或末期，機(jī)器學(xué)習(xí)本身可以用于自動標(biāo)記數(shù)據(jù)，也可以生成合成數(shù)據(jù)。

Datasaur軟件的主要目標(biāo)是簡化人工數(shù)據(jù)標(biāo)注的操作，并引導(dǎo)他們以最低的成本創(chuàng)建更高質(zhì)量的訓(xùn)練數(shù)據(jù)。由于它的目標(biāo)是那些需要整天標(biāo)記數(shù)據(jù)的高級用戶，因此創(chuàng)建了功能鍵來加速標(biāo)注過程，以及適合專用數(shù)據(jù)標(biāo)注系統(tǒng)的其他功能。

不過在這個過程中，Datasaur也有了其他幾個目標(biāo)，包括消除偏見。還提供了項目管理能力，以清楚地闡明標(biāo)簽指南，確保隨著時間的推移，標(biāo)簽標(biāo)準(zhǔn)繼續(xù)得到保持。

數(shù)據(jù)標(biāo)注的主觀性是使這門學(xué)科充滿陷阱的原因之一。

例如，想出一種方法，自動給文章貼上適合或不適合家庭的標(biāo)簽。通常可以參考電影分級制度，類似PG、PG13、R級。你可能認(rèn)為這是一個非常簡單的任務(wù)，而事實證明，科技公司認(rèn)為合適的做法與電影行業(yè)認(rèn)為合適的做法有很大不同。還有很多灰色地帶的實例，對于什么是合適的，什么是不合適的，都會有非常不同的觀點(diǎn)。

解決這類問題沒有捷徑可走。但是，有一些方法可以幫助公司將這些業(yè)務(wù)流程自動化，包括提供一個用于回答這些數(shù)據(jù)標(biāo)注問題的決策譜系，這就是創(chuàng)建Datasaur軟件的原因。因為你不會讓團(tuán)隊為設(shè)計師創(chuàng)建一個Photoshop，只要買現(xiàn)成的Photoshop就好。當(dāng)你只需要做數(shù)據(jù)標(biāo)注，也可以找一家這樣專業(yè)的公司。

起初，許多客戶認(rèn)為計算機(jī)視覺是最熱門的AI技術(shù)。但最近，NLP的用例非常熱門，特別是那些依賴于大型模型的用例，如BERT和GPT-3。因此Datasaur產(chǎn)品開始獲得注意力，每周被用于給100萬條數(shù)據(jù)貼標(biāo)簽，包含Netflix、Zoom和Heroku等知名公司都在使用。

Datasaur也被專業(yè)數(shù)據(jù)標(biāo)注機(jī)構(gòu)使用，例如iMerit。在世界各地?fù)碛? 000名員工，iMerit已成長為數(shù)據(jù)標(biāo)簽行業(yè)的強(qiáng)大力量。該公司擁有100個客戶，其中包括許多家喻戶曉的品牌，這些客戶利用其數(shù)據(jù)標(biāo)注網(wǎng)絡(luò)，讓深度學(xué)習(xí)模型與高質(zhì)量的標(biāo)注數(shù)據(jù)保持一致。

數(shù)據(jù)標(biāo)簽的主觀性使得它成為不是單純的一項交易。

通常情況下，需要坐下來，弄清楚數(shù)據(jù)在哪里，需要什么，它不僅僅是工具、人員或過程，這是三者的結(jié)合。

上下文對于數(shù)據(jù)標(biāo)注過程至關(guān)重要。這大概是因為機(jī)器對上下文的理解能力很差，也可能是因為AI用例在不斷變化。不管是什么原因，這種需求是顯而易見的。

分享一個卡車上施工工人的例子，可以證明上下文對于開發(fā)高質(zhì)量的培訓(xùn)數(shù)據(jù)是多么重要。想象一下，有一個工人坐在卡車上，每到一個維修路段，就要下車干活，然后又回到卡車上。所以數(shù)據(jù)標(biāo)簽的問題是：工人是行人嗎？他是卡車的一部分嗎？還是說他是第三種人？

如果在計算車輛，就不會在意工人上下，只會對工程車感興趣，但如果你試圖操縱其他東西（比如自動駕駛或交通流量控制），避免撞到清潔工，清潔工的動作將會引起你極大的興趣。如果你在尋找可疑的行為，就會想把清潔工排除在一系列類似的行為之外。

但很明顯，工人有不同的存在狀態(tài)，取決于人工智能應(yīng)用的視角。對于數(shù)據(jù)標(biāo)注來說，事實是在不同的時間，一條數(shù)據(jù)可以有不同的標(biāo)注，很多時候，沒有單一的答案。

數(shù)據(jù)標(biāo)注過程的細(xì)致性對于提高數(shù)據(jù)質(zhì)量至關(guān)重要，這直接影響機(jī)器學(xué)習(xí)模型的預(yù)測推理質(zhì)量。數(shù)據(jù)可以讓預(yù)測準(zhǔn)確率達(dá)到60 % ～70 %，也可以讓預(yù)測準(zhǔn)確率達(dá)到95 %。

根據(jù)用例的不同，準(zhǔn)確性是至關(guān)重要的。假如正在構(gòu)建一個模型從視頻中來識別偷東西的行為，一個錯誤的否定（沒有發(fā)現(xiàn)盜竊行為）和一個錯誤的肯定（指控?zé)o辜的顧客）之間的后果有很大區(qū)別。