大模型時代的社會科學(xué)，何去何從？

謝天 邱林 李雨曈 羅殷 劉盼

生成式大語言模型（簡稱大模型）橫空出世，在人工智能領(lǐng)域帶來了前所未有的突破。它們能夠參與復(fù)雜的邏輯推理、理解和生成自然語言，甚至顯示出對社會現(xiàn)象深刻的洞察與新穎的解釋。對于社會科學(xué)研究者，大模型意味著什么？它僅僅是一個研究工具的升級，還是對傳統(tǒng)研究范式的挑戰(zhàn)乃至重塑？本文將從大模型的原理和它在研究方法中的實用案例，來探討大模型將如何重構(gòu)社會科學(xué)的研究方式。

1 生成式大語言模型簡介

生成式大語言模型，如GPT（Generative Pretrained Transformer）[1]，最初是為了研發(fā)一個智能填詞工具。比如，有一個填空題：天空是_______。通過分析海量文本與基于神經(jīng)網(wǎng)絡(luò)的機器學(xué)習(xí)算法，GPT能填上：“藍色的”，因為根據(jù)計算，“藍色的”出現(xiàn)在“天空”后的概率最高。這種能力被有的研究者戲稱為“隨機鸚鵡”（stochastically parroting）[2]，因為GPT無法將“天空”這個詞與實際的天空對應(yīng)起來，即它并不“知道”每個詞所對應(yīng)的意義是什么。

然而，令人驚訝的是，這只“隨機鸚鵡”在學(xué)習(xí)了海量的訓(xùn)練數(shù)據(jù)后，形成了有萬億個參數(shù)的大模型，能產(chǎn)生與人類創(chuàng)作媲美的文本、影音等內(nèi)容，甚至表現(xiàn)出與人類相當?shù)男闹悄芰Α＠?，GPT-3.5能站在他人視角上看待問題[3]（theory of mind），在一系列認知與決策任務(wù)中的表現(xiàn)與人類相當[4]，“涌現(xiàn)”出的類比推理能力甚至超過了人類[5]。在經(jīng)過一定訓(xùn)練后，它還能在內(nèi)部生成一個理解時間與空間的世界模型[6]。部分研究者甚至認為人工智能（AI）即將產(chǎn)生出自我意識，并呼吁對未來潛在風(fēng)險進行管控[7]。

2 大模型賦能社會科學(xué)研究

傳統(tǒng)的社會科學(xué)研究，往往由研究者主導(dǎo)進行文獻綜述并提出研究問題和理論觀點，設(shè)計研究，收集數(shù)據(jù)，分析數(shù)據(jù)。大模型現(xiàn)在已能夠賦能每個研究環(huán)節(jié)。

2.1 綜述文獻并提出理論觀點

文獻綜述是學(xué)術(shù)研究的起點。對于單篇論文，GPT能幫助研究者迅速總結(jié)出論文的研究問題、方法、主要結(jié)論等框架性要點[8]。而對于文獻的全面總結(jié)，盡管存在不足，GPT已經(jīng)能夠輔助開展系統(tǒng)性文獻綜述（systematic review）[9]。綜述文獻后，發(fā)現(xiàn)研究問題并提出理論觀點通常被認為是整個研究的核心。此過程涉及的創(chuàng)造性思維也會被認為是人類智慧的關(guān)鍵且充滿神秘色彩。但創(chuàng)造性思維可以被簡化為在問題空間中進行有效搜索，同時生產(chǎn)可能的解決方案（即理論或假設(shè)）[10]。這樣一來，人工智能就可以通過搜索過程顯示出創(chuàng)造力。因此，人工智能助力的理論創(chuàng)新或科學(xué)發(fā)現(xiàn)已蔚然成為一個新的研究領(lǐng)域[11]。

來自意大利的一個研究團隊在2023年5-6月就開展了一系列實驗，以檢驗GPT能否能在商業(yè)理論與實踐中提出新的理論觀點。他們首先在“商業(yè)戰(zhàn)略與創(chuàng)新管理”及“組織與創(chuàng)新文化”兩個領(lǐng)域中找出了10個重要的理論及實踐，然后讓ChatGPT學(xué)習(xí)這些內(nèi)容，并提出顛覆性的新觀點。他們發(fā)現(xiàn)，雖然ChatGPT的輸出有時會混淆有價值和沒價值的信息，但并沒有出現(xiàn)明顯錯誤。更關(guān)鍵的是，他們發(fā)現(xiàn)GPT提出了非常創(chuàng)新的觀點，有時甚至超過了專家的水平。這說明GPT已經(jīng)能夠提出具有創(chuàng)造性的理論觀點了[12]。

2.2 設(shè)計研究

大模型能幫助研究者進行研究設(shè)計。比如，無論是定量、定性還是混合方法,基于研究問題的性質(zhì)和已提出的理論觀點，GPT能識別并推薦最匹配的研究方法。接下來，在操作化研究概念和變量時，GPT可以通過訪問廣泛的文獻庫，確保所選變量的定義、測量和解釋符合研究目的。最后，GPT還可以根據(jù)研究的樣本分布為分層抽樣或樣本配對提供建議，以確保樣本的代表性[8]。

在制作研究材料方面，如訪談提綱或問卷題項，GPT也能助研究者一臂之力。在我們的一項關(guān)于松-緊文化①松——緊文化中的“緊”指規(guī)范強，對偏差行為包容度低；而“松”是指規(guī)范弱，對偏差行為包容度高。經(jīng)典研究見：Gelfand M J, Raver J L, Nishii L, et al.Differences between Tight and Loose Cultures: A 33-Nation Study[J/OL].Science, 2011,332（6033）：1100-1104[2023-10-01].https://www.science.org/doi/10.1126/science.1197754.的研究中，需要創(chuàng)作一些情境短文，來測量被試者對短文中信息的敏感度。我們期望每個短文以某人進入一個陌生環(huán)境為情境，并包含“必須”或“可以”做的事情。我們輸入了以下指令給GPT（原文為英文）：

請制作一個150字左右的場景，描述一個孤獨的旅行者偶然發(fā)現(xiàn)了一個偏僻、與世隔絕的村莊。請在情境中包含6件旅行者必須做的事情。在描述這些事情時，請務(wù)必使用“必須”一詞。此外，還請包含6件旅行者可以自由選擇做的陳述，并確保使用“可以”一詞。還請保持“必須”和“可以”句子里表達的情緒在程度上相當。

GPT輸出了符合我們要求的短文，但不夠淺顯易懂。于是，我們輸入了以下指令給GPT（原文為英文）：

請調(diào)整語句，使沒有經(jīng)過大學(xué)教育的人也能理解。

GPT根據(jù)指令對原先的短文進行了修改。我們邀請了實驗助手對GPT生成的實驗材料進行了人工評估。結(jié)果表明，GPT生成的實驗材料完全符合我們的要求。我們使用這些材料收集數(shù)據(jù)，并獲得了良好的效果。這表明，GPT能夠產(chǎn)生有效的研究材料。

2.3 收集數(shù)據(jù)

如果大模型獲取了足夠多的有關(guān)人類社會的知識，并掌握了人的思考方式，那么在理論上它就可以模擬人類作答心理測試與問卷調(diào)查。這將取代人類被試在數(shù)據(jù)收集中的必要性[13]。為此，我們在2023年6月開展了一項研究，來檢測GPT是否能取代大規(guī)模民調(diào)。皮尤研究中心（Pew Research Center）是美國的一個知名調(diào)研機構(gòu)，主要對社會、公共和政策問題進行調(diào)查分析。它于2022年3月調(diào)查了10,441位美國公民對俄烏沖突和拜登政府應(yīng)對方式的看法，該調(diào)查包括8道題。例如：“您對拜登政府對俄烏沖突的反應(yīng)持何態(tài)度？”（1:非常支持～4:非常不支持）[14]。由于GPT-4 的訓(xùn)練數(shù)據(jù)僅更新至2021年9月，因此它對于2022年2月發(fā)生的俄烏沖突及這個有關(guān)俄烏沖突的民調(diào)并不知道。如果GPT能產(chǎn)生出與實際民調(diào)結(jié)果一致的數(shù)據(jù)，那就能為GPT模擬受訪者回答問卷提供有力的證據(jù)。

我們首先向GPT介紹了俄烏沖突和以上民調(diào)的題項內(nèi)容，然后要求其預(yù)測，美國受訪者在每個問題上選擇各個選項的百分比。與實際調(diào)查結(jié)果對比，GPT-4的預(yù)測平均絕對誤差（MAE）為9.59%。也就是說，盡管存在偏差，但GPT的預(yù)測與實際調(diào)查結(jié)果相當接近。具體而言，在8個問題中，GPT在7個問題上的預(yù)測與調(diào)查結(jié)果的選擇方向相符，即它能相對準確地預(yù)測出更多人選擇“支持”或“不支持”的傾向，或預(yù)測出“重大威脅”大于“小威脅”大于“非威脅”的選擇比例。我們又對另外三個皮尤研究中心的民調(diào)做了相同的實驗, 并得到了類似的結(jié)果。這說明，GPT有模擬受訪者產(chǎn)生大規(guī)模調(diào)查數(shù)據(jù)的能力。

不僅是模擬調(diào)查數(shù)據(jù)，大模型甚至還催生出一種全新的數(shù)據(jù)生產(chǎn)方式，即由大模型控制的虛擬智能體（agent）模擬出個體與群體行為。斯坦福大學(xué)的研究團隊建立了一個模擬小鎮(zhèn)[15]。在這個小鎮(zhèn)里有25個以GPT為“大腦”的智能體，他們能產(chǎn)生擬人程度很高的個體行為。比如，一個智能體早晨起床后會刷牙，洗澡，邊看新聞邊吃早飯，并與家人聊天。同時，他們也能表現(xiàn)出自主的的群體行為。例如，當研究者讓一個智能體組織一個派對，這個智能體就會自動把派對的信息告訴其他智能體，其他智能體就會相互約定一起去，最后準時在派對舉行的地點的出現(xiàn)。這樣的智能體與過去的基于主體的建模（Agent-Based Modeling）中的個體不同。他們不再局限于建模時的既定行為規(guī)則，而是能夠在互動中自動產(chǎn)生規(guī)則[16]。這樣的“斯坦福智能體小鎮(zhèn)”能在虛擬環(huán)境中產(chǎn)生類似真實生活中的交互場景，為社科研究者收集個體與群體行為數(shù)據(jù)提供了極大的便利。

2.4 分析數(shù)據(jù)

在定性數(shù)據(jù)分析中，最耗時耗力的工作就是對文本進行編碼。在演繹編碼（deductive coding）中，研究人員需要根據(jù)預(yù)先確定的編碼本將新的數(shù)據(jù)標記為一組固定的編碼。最近的研究發(fā)現(xiàn)，GPT-3可直接用于各種演繹編碼任務(wù)，無需微調(diào)（finetune）就能與人類專家編碼的結(jié)果保持一致[17]。我們的研究也顯示，GPT對中文與英文文本的編碼能力很相近。而對于多人協(xié)作的編碼任務(wù)，也已經(jīng)有研究者開發(fā)了基于GPT的AI輔助編碼工具，并通過了可用性與有效性評估[18]。對于定量數(shù)據(jù)分析，GPT不僅可以協(xié)助研究者進行數(shù)據(jù)清洗、異常值檢測、變量轉(zhuǎn)換、缺失值分析等基礎(chǔ)工作，而且對于描述統(tǒng)計、回歸分析、多變量統(tǒng)計等，GPT基本能夠根據(jù)研究者需求生成相應(yīng)統(tǒng)計軟件的指令，甚至自動生成結(jié)果報告。盡管在某些任務(wù)上表現(xiàn)不佳，但鑒于GPT的綜合效率和潛力，有研究者認為大模型的出現(xiàn)會對數(shù)據(jù)科學(xué)產(chǎn)生巨大改變[19]。

3 人工智能驅(qū)動的社會科學(xué)

傳統(tǒng)的社會科學(xué)研究多為理論驅(qū)動（theorydriven）。但在過去的10年，隨著社交媒體與大數(shù)據(jù)的出現(xiàn)，浮現(xiàn)出大量數(shù)據(jù)驅(qū)動（data-driven）的社會科學(xué)研究[20]。在當今的大模型時代，社會科學(xué)研究將逐漸成為人工智能驅(qū)動 (AI-driven)。因為如前文所述，大模型已能在社科研究的每一個環(huán)節(jié)發(fā)揮重要作用。具體來說，大模型已能夠通過文獻綜述提出研究問題和理論觀點，產(chǎn)生研究材料，模擬并收集研究數(shù)據(jù)，以及分析數(shù)據(jù)。現(xiàn)今，大模型在每一個環(huán)節(jié)里的功能是孤立的，不連續(xù)的。但是，一旦大模型能夠?qū)⑦@些功能整合在一個自動系統(tǒng)中，即它能獨立提出研究問題，并為這個研究問題產(chǎn)生研究材料，然后應(yīng)用這些材料去模擬或收集數(shù)據(jù)，最后分析數(shù)據(jù)來回答最初的研究問題，那么社會科學(xué)研究將由人工智能來主導(dǎo)。社科研究者的角色有可能從主導(dǎo)者逐漸轉(zhuǎn)變?yōu)檩o助者。

同時，原來以解釋導(dǎo)向（explanation-oriented）為主的社會科學(xué)，將逐漸轉(zhuǎn)化為解決導(dǎo)向（solutionoriented）。這是因為以往很難在現(xiàn)實生活中去嘗試并檢驗?zāi)硞€解決方案所產(chǎn)生的實際效果。而現(xiàn)在，在類似“斯坦福智能小鎮(zhèn)”這樣的多智能體模擬環(huán)境中，研究者不僅可以觀測并解釋某個社會問題是怎么產(chǎn)生的，而且可以嘗試不同的干預(yù)策略，來找到最佳的解決方案。這將夠使社會科學(xué)研究更有實效性，并顛覆理論在社科研究中的主導(dǎo)地位。

大模型人工智能驅(qū)動的新研究范式與研究者的角色轉(zhuǎn)變，必然會對社會科學(xué)研究者提出新的要求。首先，研究成本的降低將使傳統(tǒng)研究方法在研究貢獻中“貶值”，進而轉(zhuǎn)變研究者對方法掌握的重點：其一，研究者有更多精力用來學(xué)習(xí)和使用更多的跨學(xué)科的新方法，這為跨學(xué)科研究鋪平了道路；其二，學(xué)習(xí)重點不是方法細節(jié)，而是方法原理以及如何與人工智能協(xié)作；其三，需要提高理解和判斷人工智能輸出結(jié)果正誤并進行校正的能力。同時，由于人工智能在研究過程中的高效性，可能導(dǎo)致研究者過于依賴人工智能進行研究。因此，社科研究者不僅需要借助批判性思維進行更多的深度思考，更要確保研究問題在廣泛的社會、文化和歷史背景下是恰當和有效的，為人工智能提供人文智慧、道德判斷和深度解釋。

總之，以大模型為代表的人工智能技術(shù)不但能提高傳統(tǒng)社科研究中各個環(huán)節(jié)的效率，也將重塑社科研究的范式。研究者需要勇敢擁抱新科技帶來的變化，調(diào)整自身角色，與人工智能協(xié)同工作，一起推進能解決社會問題的社科研究。

作者貢獻說明

謝天：設(shè)計研究方案，論文初稿撰寫、修改與定稿；

邱林：提出研究思路，設(shè)計研究方案，論文撰寫與修改；

李雨曈：設(shè)計研究方案，收集和分析資料，論文修改；

羅殷：設(shè)計研究方案，收集和分析資料；

劉盼：設(shè)計研究方案，論文修改。