一千三百七十億參數(shù)谷歌帶來(lái)新語(yǔ)言模型LaMDA，將實(shí)現(xiàn)更安全更高質(zhì)量對(duì)話

如今，語(yǔ)言模型的能力越來(lái)越強(qiáng)，在各種任務(wù)中都發(fā)揮了很大的作用。其中，開(kāi)放域?qū)υ捒赡苁亲铍y以完成的一類(lèi)任務(wù)，需要做到能夠就任何主題進(jìn)行對(duì)話。

在對(duì)話任務(wù)中，除了生成人類(lèi)認(rèn)為合理、有趣且特定于上下文的響應(yīng)之外，語(yǔ)言模型還須按照負(fù)責(zé)任的人工智能框架工作，以免生成無(wú)信息源證實(shí)的內(nèi)容。

近日，谷歌在以《LaMDA：對(duì)話應(yīng)用程序的語(yǔ)言模型》為題的一篇論文中介紹了語(yǔ)言模型LaMDA在安全、可靠和高質(zhì)量的對(duì)話方面取得的最新進(jìn)展。

據(jù)悉，LaMDA模型具有1370億個(gè)參數(shù)，通過(guò)微調(diào)采用Transformer架構(gòu)的專(zhuān)用對(duì)話神經(jīng)語(yǔ)言模型而構(gòu)建，可以利用外部知識(shí)源展開(kāi)對(duì)話。

對(duì)于訓(xùn)練對(duì)話模型來(lái)說(shuō)，定義目標(biāo)和指標(biāo)至關(guān)重要。LaMDA模型具有質(zhì)量、安全和扎實(shí)性三個(gè)關(guān)鍵目標(biāo)，每個(gè)目標(biāo)有各自的衡量指標(biāo)。

質(zhì)量上，谷歌將其拆分為合理性、特異性和趣味性這三個(gè)方面。

其中，合理性是指模型在對(duì)話中作出有實(shí)際意義的回應(yīng)，如回應(yīng)中沒(méi)有出現(xiàn)常識(shí)性錯(cuò)誤;特異性是指模型在對(duì)話中針對(duì)特定的上下文來(lái)響應(yīng)，而不是在常規(guī)情形下的通用響應(yīng);趣味性是指模型作出了富有洞察力和智慧的回應(yīng)。

安全上，谷歌在開(kāi)發(fā)和部署負(fù)責(zé)任的人工智能方面有很大的進(jìn)步。為避免出現(xiàn)各種偏見(jiàn)以及可能對(duì)用戶造成傷害的內(nèi)容，其用一組可限制模型輸出對(duì)話的安全目標(biāo)來(lái)組成安全指標(biāo)。

由于語(yǔ)言模型有時(shí)會(huì)輸出貌似合理實(shí)際卻與已知事實(shí)相悖的內(nèi)容，谷歌對(duì)LaMDA模型的扎實(shí)性展開(kāi)了研究。

扎實(shí)性是指在外部世界聲明上能夠獲得權(quán)威外部信息來(lái)源支持的百分比。但是，在這些來(lái)源中建立的LaMDA模型也無(wú)法完全保證所生成響應(yīng)的準(zhǔn)確性，所以谷歌允許用戶及外部系統(tǒng)來(lái)源的可靠性來(lái)判斷響應(yīng)有效與否。

此外，谷歌在論文介紹了LaMDA模型的預(yù)訓(xùn)練和微調(diào)階段。

預(yù)訓(xùn)練階段，谷歌做了一個(gè)包含1.56T詞匯的數(shù)據(jù)集，并將該數(shù)據(jù)集中的詞匯標(biāo)記為2.81T Sentence Piecetoken ，接著通過(guò)GSPMD系統(tǒng)對(duì)LaMDA模型進(jìn)行預(yù)訓(xùn)練。

據(jù)了解，谷歌將經(jīng)過(guò)預(yù)訓(xùn)練的LaMDA模型用于其自然語(yǔ)言處理的研究中，包括程序合成、零樣本學(xué)習(xí)和風(fēng)格遷移等。

微調(diào)階段，谷歌讓LaMDA模型執(zhí)行兩類(lèi)任務(wù)，一類(lèi)是作出面向指定上下文自然語(yǔ)言回應(yīng)的混合生成任務(wù)，另一類(lèi)響應(yīng)是否安全和高質(zhì)量的分類(lèi)任務(wù)，從而成為一個(gè)多任務(wù)模型。

對(duì)話時(shí)，LaMDA生成器會(huì)對(duì)面向的上下文生成幾個(gè)候選回應(yīng)， 然后LaMDA分類(lèi)器預(yù)測(cè)每個(gè)候選回應(yīng)的合理性、特異性和趣味性和安全分?jǐn)?shù)，最后根據(jù)這兩項(xiàng)數(shù)據(jù)的排名選出最佳回應(yīng)。

人類(lèi)可以通過(guò)現(xiàn)存的工具和知識(shí)庫(kù)來(lái)明確事實(shí)，而語(yǔ)言模型僅能依靠其內(nèi)部參數(shù)來(lái)得到訊息。

為此， 谷歌做了一個(gè)人類(lèi)與LaMDA模型交流的數(shù)據(jù)集，并通過(guò)該數(shù)據(jù)集對(duì)LaMDA模型的生成器和分類(lèi)器進(jìn)行微調(diào)，讓其在與對(duì)話期間調(diào)用外部信息檢索系統(tǒng)，以提高回應(yīng)的扎實(shí)性。

谷歌表示，“在對(duì)LaMDA模型進(jìn)行評(píng)估后得出，其在每個(gè)維度和所有模型大小情況下都顯著優(yōu)于預(yù)先訓(xùn)練的模型。無(wú)論微調(diào)與否，合理性、特異性和趣味性等質(zhì)量指標(biāo)通常會(huì)隨模型參數(shù)量而提升。而安全性雖然無(wú)法僅根據(jù)模型縮放變化，但可以通過(guò)微調(diào)來(lái)提升?！?/p>

此外，LaMDA模型的扎實(shí)性會(huì)因模型大小的增加而不斷提升。造成的原因可能是，模型越大，其記住不常見(jiàn)知識(shí)的能力越強(qiáng)，且微調(diào)允許模型訪問(wèn)外部知識(shí)源，并將記住知識(shí)的負(fù)載轉(zhuǎn)移到外部知識(shí)源。

不過(guò)，微調(diào)雖然縮小了語(yǔ)言模型與人類(lèi)之間的差距，但該模型在安全性和扎實(shí)性上的水平依然弱于人類(lèi)。

LaMDA模型的出現(xiàn)為完成開(kāi)放域?qū)υ掗_(kāi)辟了新的途徑，同時(shí)表明了神經(jīng)語(yǔ)言模型面臨的關(guān)鍵挑戰(zhàn)，如安全指標(biāo)的使用和扎實(shí)性的提高，以及如何通過(guò)更大的模型和更清晰標(biāo)記的數(shù)據(jù)來(lái)進(jìn)行微調(diào)。

但是，這還是一項(xiàng)非常早期的工作，且具有很大的局限性。未來(lái)，谷歌將探索新的方法來(lái)進(jìn)一步改進(jìn)安全指標(biāo)和LaMDA模型的扎實(shí)性，并與其人工智能原則保持一致。