Ilya Sutskever：ChatGPT 的幕后天才

本刊記者/俞靈琦

正是在Ilya Sutskever 的領(lǐng)導(dǎo)下，OpenAI在開(kāi)發(fā)尖端技術(shù)和推動(dòng)人工智能領(lǐng)域的發(fā)展方面取得了重大進(jìn)展。

ChatGPT，因其更高的智能程度、更寬泛的領(lǐng)域知識(shí)、更靈活的響應(yīng)能力、更自然的對(duì)話語(yǔ)境使整個(gè)互聯(lián)網(wǎng)都受到極大的沖擊?？梢哉f(shuō)，ChatGPT 的成功不應(yīng)僅僅被看作新一代聊天機(jī)器人的突破，而應(yīng)該重視其對(duì)人工智能乃至整個(gè)信息產(chǎn)業(yè)帶來(lái)的革命。

近日，人工智能實(shí)驗(yàn)室OpenAI 又丟下一顆“重磅炸彈”。據(jù)官方推特宣布，安卓版ChatGPT 已在美國(guó)、印度、孟加拉國(guó)和巴西提供下載，并計(jì)劃在近期推廣至更多國(guó)家。ChatGPT正在拓展渠道，獲得更多的用戶(hù)和更強(qiáng)的使用粘性，在引發(fā)人工智能領(lǐng)域引發(fā)新一輪科技競(jìng)賽同時(shí)，也讓生成式AI 的浪潮在持續(xù)推高。

隨著ChatGPT 的橫空出世，我們不應(yīng)忘記在它背后默默無(wú)聞的天才。Ilya Sutskever 是OpenAI 的聯(lián)合創(chuàng)始人和首席科學(xué)家。正是在他的領(lǐng)導(dǎo)下，OpenAI 在開(kāi)發(fā)尖端技術(shù)和推動(dòng)人工智能領(lǐng)域的發(fā)展方面取得了重大進(jìn)展。

求知不息，前行不止

Ilya Sutskever 出生在俄羅斯，在以色列長(zhǎng)大，16 歲時(shí)他的父母移居加拿大。Ilya Sutskever 的父母希望全家過(guò)上更好的生活，但移居美國(guó)通常比移居加拿大更復(fù)雜，而當(dāng)你搬到加拿大時(shí)，多倫多通常是第一個(gè)去的地方。

“我的父母說(shuō)我從小就對(duì)AI很感興趣。我也很受意識(shí)的激勵(lì)。我對(duì)它感到非常不安，我對(duì)可以幫助我更好地理解它的事物感到好奇?！盜lya Sutskever 談道，“因?yàn)槲覀儼岬搅思幽么?，我立即能夠加入多倫多大學(xué)。我真的很想做機(jī)器學(xué)習(xí)，因?yàn)槟撬坪跏侨斯ぶ悄茏钪匾姆矫?，在?dāng)時(shí)是完全無(wú)法接近的?！?/p>

在這樣的熱情下，Ilya Sutskever 在多倫多大學(xué)讀本科期間，遇見(jiàn)了對(duì)于他而言在人工智能領(lǐng)域重要的導(dǎo)師——深度學(xué)習(xí)三巨頭之一的Geoffrey Hinton 教授。

Geoffrey Hinton，加拿大認(rèn)知心理學(xué)家和計(jì)算機(jī)科學(xué)家，被譽(yù)為“人工智能教父”。他現(xiàn)任谷歌副總裁兼工程研究員，同時(shí)在多倫多大學(xué)教書(shū)育人，也是VectorInstitute首席科學(xué)顧問(wèn)。2018 年因作為“深度學(xué)習(xí)領(lǐng)域的三大先驅(qū)之一”獲得圖靈獎(jiǎng)，被彭博社選為2017 年改變?nèi)蛏虡I(yè)格局的50 人。

Ilya Sutskever 想加入Geoffrey Hinton 教授的深度學(xué)習(xí)實(shí)驗(yàn)室。于是，他在某天直接敲開(kāi)Geoffrey Hinton 教授辦公室的門(mén)，詢(xún)問(wèn)自己是否可以加入實(shí)驗(yàn)室。教授讓他提前預(yù)約，但I(xiàn)lya Sutskever 不想再浪費(fèi)時(shí)間，所以他立即問(wèn)：就現(xiàn)在怎么樣？

Geoffrey Hinton 意識(shí)到Ilya Sutskever 是一個(gè)敏銳的學(xué)生，于是給他2 篇論文讓他閱讀。1 周后，Sutskever 回到教授辦公室，然后告訴教授他不理解。

“為什么不理解？”教授問(wèn)。

Ilya Sutskever 解釋說(shuō)：“人們訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)解決問(wèn)題，當(dāng)人們想解決不同問(wèn)題時(shí)，就得用另外的神經(jīng)網(wǎng)絡(luò)重新開(kāi)始訓(xùn)練。但我認(rèn)為人們應(yīng)該有一個(gè)能夠解決所有問(wèn)題的神經(jīng)網(wǎng)絡(luò)?！?/p>

這段話展示了Ilya Sutskever 得出結(jié)論的獨(dú)特能力，而這種能力即使是有經(jīng)驗(yàn)的研究人員也需要花費(fèi)數(shù)年時(shí)間才能找到，Geoffrey Hinton 于是向他發(fā)出邀請(qǐng)，希望他加入自己的實(shí)驗(yàn)室。這也開(kāi)啟了Ilya Sutskever 的人工智能夢(mèng)。

“多虧與Geoffrey Hinton 合作，我才有機(jī)會(huì)研究我們這個(gè)時(shí)代最重要的一些科學(xué)問(wèn)題，并追求大多數(shù)科學(xué)家都非常不理解，結(jié)果卻是完全正確的那些想法?！盜lya Sutskever 表態(tài)道。

堅(jiān)守初心，夢(mèng)圓Open AI

“智力究竟是如何運(yùn)作的呢？我們?cè)鯓硬拍苁褂?jì)算機(jī)稍微智能一點(diǎn)呢？我有一個(gè)非常明確的意圖，即為AI 做出很小但真正的貢獻(xiàn)。所以，我能理解智力是如何運(yùn)作的嗎？并為此做出貢獻(xiàn)？這是我最初的動(dòng)機(jī)。”Ilya Sutskever 說(shuō)道。

帶著這份初心，Ilya Sutskever 在人工智能道路上前行著，然而一開(kāi)始卻并不順利。Ilya Sutskever 一直記得2000 年前后在Geoffrey Hinton 的實(shí)驗(yàn)室工作的時(shí)光。他表示，當(dāng)時(shí)還是“人工智能冬季”，有10個(gè)左右的學(xué)生在Geoffrey Hinton 的實(shí)驗(yàn)室做研究，那時(shí)人工智能研究領(lǐng)域的工作和資金都很匱乏，而且來(lái)自行業(yè)的資助也越來(lái)越少?！拔覀兪蔷滞馊?，但我們覺(jué)得我們有一種罕見(jiàn)的洞察力，覺(jué)得我們與眾不同?！盜lya Sutskever 說(shuō)道。

帶著這份信心，Ilya Sutskever 繼續(xù)保持著對(duì)于人工智能領(lǐng)域的探索。終于在2012 年，在Geoffrey Hinton 的指導(dǎo)下，Ilya Sutskever 和博士生同學(xué)Alex Krizhevsky 開(kāi)發(fā)了AlexNet，它在2012 年ImageNet LSVRC-2012 的比賽中脫穎而出。

Ilya Sutskever 和Alex Krizhevsky 打破了傳統(tǒng)的手工設(shè)計(jì)方案，采用了深度神經(jīng)網(wǎng)絡(luò)，并突破了75%的準(zhǔn)確率大關(guān)。因此他們贏得了ImageNet 競(jìng)賽，從那時(shí)起，圖像識(shí)別領(lǐng)域煥然一新。

更重要的是，AlexNet 讓Ilya Sutskever 意識(shí)到深度學(xué)習(xí)可以解決任何模式識(shí)別問(wèn)題——只要你有大量深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)。

對(duì)于神經(jīng)網(wǎng)絡(luò)訓(xùn)練，Ilya Sutskever曾談道：“我意識(shí)到，如果你在一個(gè)足夠大的數(shù)據(jù)集上訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)，該數(shù)據(jù)集指定了人們所做的一些復(fù)雜任務(wù)，比如視覺(jué)，那么你必然會(huì)成功。它的邏輯是不可簡(jiǎn)化的；我們知道人腦可以解決這些任務(wù)，并且可以快速解決。而人腦只是一個(gè)神經(jīng)元速度較慢的神經(jīng)網(wǎng)絡(luò)。因此，我們只需要采用一個(gè)較小但相關(guān)的神經(jīng)網(wǎng)絡(luò)并在數(shù)據(jù)上對(duì)其進(jìn)行訓(xùn)練。計(jì)算機(jī)內(nèi)部最好的神經(jīng)網(wǎng)絡(luò)將與我們大腦中執(zhí)行此任務(wù)的神經(jīng)網(wǎng)絡(luò)有關(guān)?！?/p>

此后，帶著對(duì)于人工智能領(lǐng)域的新思路，Ilya Sutskever 進(jìn)入谷歌不斷深耕積累。在谷歌的團(tuán)隊(duì)，Ilya Sutskever 參與了谷歌用于大規(guī)模機(jī)器學(xué)習(xí)的開(kāi)源框架TensorFlow 的開(kāi)發(fā)，提出的Seq2seq 給機(jī)器翻譯帶來(lái)了革命，也與DeepMind 的研究人員保持聯(lián)系，是AlphaGo 登上《自然》封面論文的作者之一。

2015 年7 月，Ilya Sutskever 參加了Y Combinator 總裁Sam Altman 舉辦的晚宴，在那里他邂逅了此后將改變他命運(yùn)的人——Greg Brockman。據(jù)說(shuō)當(dāng)時(shí)，在場(chǎng)的每個(gè)人都同意一件事：一個(gè)致力于發(fā)展通用人工智能的組織必須是非營(yíng)利組織，沒(méi)有任何競(jìng)爭(zhēng)性激勵(lì)來(lái)淡化其使命，它還需要世界上最好的人工智能研究人員。

思想的交匯促使夢(mèng)想種子加速生根發(fā)芽，在Greg Brockman 的邀請(qǐng)下，2015 年12 月，Ilya Sutskever 邁出了夢(mèng)想開(kāi)啟的那一步。Ilya Sutskever 和其他幾名研究人員聚集在一起，嘗試是否還有可能與該領(lǐng)域最優(yōu)秀的人才組成一個(gè)研究實(shí)驗(yàn)室。當(dāng)討論到這個(gè)將成為OpenAI 的實(shí)驗(yàn)室時(shí)，Ilya Sutskever 意識(shí)到他找到了一群志同道合的人，他們與他的信念和愿望相同。

谷歌知道這件事后，向Ilya Sutskever提供了一筆可觀的金額來(lái)加入他們。被拒絕后，谷歌將他們的薪資提高到第一年近200萬(wàn)美元，這是OpenAI 要付給他的兩三倍。但Sutskever 還是愉快地放棄了谷歌數(shù)百萬(wàn)美元的工作機(jī)會(huì)，最終成為非營(yíng)利組織OpenAI的聯(lián)合創(chuàng)始人。

這樣的抉擇印證了Ilya Sutskever 的憧憬：“有可能在我們的有生之年，我們將建立一個(gè)在每個(gè)有意義的維度上都具有認(rèn)知能力的人工智能系統(tǒng)?！?/p>

“以最有可能造福人類(lèi)的方式推進(jìn)數(shù)字智能并使之成為一個(gè)整體”——匯聚著多位像Ilya Sutskever 這樣先驅(qū)者的夢(mèng)想，Open AI 揚(yáng)帆起航。

奔跑在人工智能的最前沿

2022 年12 月初，人工智能實(shí)驗(yàn)室Open AI 發(fā)布了一款名為ChatGPT 的自然語(yǔ)言生成模型。

多語(yǔ)言撰寫(xiě)充滿(mǎn)想象力的詩(shī)歌，編寫(xiě)可運(yùn)行的程序，快速生成論文摘要，自動(dòng)制作數(shù)據(jù)表格，糾正文章中的語(yǔ)法和表達(dá)錯(cuò)誤，把一周大事寫(xiě)成新聞綜述……ChatGPT 不僅能理解很多人類(lèi)問(wèn)題和指令，流暢展開(kāi)多輪對(duì)話，也在越來(lái)越多領(lǐng)域顯示出解決多種通用問(wèn)題的能力?？梢哉f(shuō)，ChatGPT 不僅是新一代聊天機(jī)器人的突破，也將為信息產(chǎn)業(yè)帶來(lái)巨大變革。

據(jù)官方數(shù)據(jù)顯示，ChatGPT 的用戶(hù)數(shù)量在上線5 天后正式突破100 萬(wàn)。除了暴漲的用戶(hù)數(shù)量，ChatGPT 也成為了新的流量密碼，截至發(fā)稿時(shí)間，無(wú)論是專(zhuān)業(yè)媒體還是社交媒體，都充斥著關(guān)于ChatGPT 的討論。查閱百度指數(shù)、微信指數(shù)等幾個(gè)國(guó)內(nèi)的主流熱點(diǎn)趨勢(shì)指數(shù)可知，在過(guò)去的兩周里，ChatGPT 的熱度一度超過(guò)Alpha GO 的峰值。

“AI 即將取代人類(lèi)”這一議題也再次引發(fā)了廣泛的公共討論。而在這一系列的討論里，“AI 將取代大量人類(lèi)工種”“谷歌即將迎來(lái)末路”是最為廣泛的觀點(diǎn)，AI 與人類(lèi)一較高下的時(shí)代似乎正在來(lái)臨。

我們把時(shí)間線再退回到Ilya Sutskever剛進(jìn)入Open AI 的時(shí)期，Ilya Sutskever 領(lǐng)導(dǎo)OpenAI 發(fā)明了GPT-1，隨后發(fā)展到GPT-2、GPT-3 和ChatGPT。GPT(Generative Pretrained Transformer）模型是一系列基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型。GPT 模型的每一次更新?lián)Q代，都是自然語(yǔ)言處理領(lǐng)域的突破性進(jìn)展。

在Ilya Sutskever 的眼里，人腦是世界上最好的智能。人腦是由大量的神經(jīng)元組成的，有非常多的神經(jīng)元。神經(jīng)科學(xué)家已經(jīng)研究神經(jīng)元幾十年了，試圖理解它們是如何精確工作的。雖然生物神經(jīng)元的運(yùn)作仍然神秘，但20 世紀(jì)40 年代最早的深度學(xué)習(xí)研究人員提出了一個(gè)非常大膽的猜想：計(jì)算機(jī)人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元，有點(diǎn)類(lèi)似于生物神經(jīng)元，這是一個(gè)假設(shè)。

“我們現(xiàn)在可以用這個(gè)假設(shè)來(lái)運(yùn)行這些人工神經(jīng)元，它們要簡(jiǎn)單得多，你可以用數(shù)學(xué)方法來(lái)研究它們。這是一個(gè)非常重要的突破。深度學(xué)習(xí)是反向傳播算法的發(fā)現(xiàn)所導(dǎo)致的，反向傳播算法是這些人工神經(jīng)網(wǎng)絡(luò)應(yīng)該如何學(xué)習(xí)的數(shù)學(xué)方程。它為我們提供了一種使用大型計(jì)算機(jī)并在代碼中實(shí)現(xiàn)這種神經(jīng)網(wǎng)絡(luò)的方法?！盜lya Sutskever 說(shuō)道。

在這基礎(chǔ)上，Ilya Sutskever 進(jìn)一步闡述GPT 的原理：“GPT 這個(gè)大型語(yǔ)言模型的想法是，如果你有一個(gè)非常大的神經(jīng)網(wǎng)絡(luò)，我們訓(xùn)練它們從文本的一堆單詞中猜測(cè)下一個(gè)單詞是什么。你訓(xùn)練一個(gè)大的神經(jīng)網(wǎng)絡(luò)從文本中的前一個(gè)單詞猜測(cè)下一個(gè)單詞，你希望神經(jīng)網(wǎng)絡(luò)盡可能準(zhǔn)確地猜測(cè)下一個(gè)單詞。現(xiàn)在發(fā)生的事情是，我們需要回到最初的假設(shè)：也許生物神經(jīng)元和人造神經(jīng)元沒(méi)有什么不同。因此，如果你有一個(gè)像這樣的大型神經(jīng)網(wǎng)絡(luò)，可以很好地猜測(cè)下一個(gè)單詞，也許它與人們說(shuō)話時(shí)所做的沒(méi)有什么不同。”

如今，ChatGPT 已經(jīng)來(lái)到了4.0。作為GPT 系列的最新一代產(chǎn)品，與ChatGPT3.0 相比，ChatGPT4.0 在性能和效果上都有了顯著提升，主要體現(xiàn)在它的技術(shù)架構(gòu)的創(chuàng)新與升級(jí)。據(jù)悉，GPT-4 在律師資格考試中可以擊敗90%的考生。在滿(mǎn)分1600 分的美國(guó)大學(xué)入學(xué)測(cè)驗(yàn)SAT 拿到1300 分。更精準(zhǔn)，能提供的事實(shí)性描述更多了，正確性也加強(qiáng)了，學(xué)會(huì)新能力，現(xiàn)在不但可以回應(yīng)文字，也可以回應(yīng)圖片。摘要能力直逼專(zhuān)業(yè)編輯。

此外，在Ilya Sutskever 的努力下，過(guò)去的數(shù)年里Open AI 取得了許多驚人的成就：他們創(chuàng)建了一個(gè)名為Universe 的軟件平臺(tái)，用于測(cè)量和訓(xùn)練全球各地的人工智能系統(tǒng)。它旨在讓機(jī)器人學(xué)習(xí)不同的策略；他們創(chuàng)造了人工智能的游戲玩家，在復(fù)雜的多人競(jìng)技游戲Dota2 中，他們有能力擊敗99.95%全球玩家；他們還建立了能完成日本相撲摔跤或者踢足球的虛擬機(jī)器人。

對(duì)于人工智能的前景和作用，Ilya Sutskever 認(rèn)為：“任何時(shí)候社會(huì)上有復(fù)雜的情況，哪怕是在一個(gè)公司，哪怕是一個(gè)中等規(guī)模的公司，都已經(jīng)不是任何一個(gè)人所能理解的了。而且我認(rèn)為，如果我們以正確的方式構(gòu)建AI 系統(tǒng)，我認(rèn)為AI 幾乎可以在任何情況下提供難以置信的幫助。”