道德編程：ChatGPT對(duì)提問者道德心理的良性效應(yīng)與潛在風(fēng)險(xiǎn)

［收稿日期］2024-05-25" ［基金項(xiàng)目］ 國(guó)家社科基金重大項(xiàng)目“中華民族道德生活中的價(jià)值認(rèn)同研究”（22amp;ZD039）

［作者簡(jiǎn)介］ 嚴(yán) 玉（ 1999—） ，女，甘肅定西人，寧夏大學(xué)法學(xué)院碩士研究生;馬玉潔（1990—），女，寧夏銀川人，中央民族大學(xué)民族學(xué)與社會(huì)學(xué)學(xué)院博士研究生。

［摘 要］ ChatGPT及類似的大型語(yǔ)言人工智能在各領(lǐng)域扮演日益重要的角色，其與人類的互動(dòng)已成不可避免的現(xiàn)實(shí)，人們對(duì)其信任、依賴，情感投入逐漸增加，這也導(dǎo)致了對(duì)人類道德心理的影響。雖然ChatGPT在回答問題時(shí)堅(jiān)持遵循道德原則，但其回答模板存在明顯不足，如缺乏人類情感理解能力、無法提供個(gè)性化建議，且容易在遭遇“越獄攻擊”時(shí)產(chǎn)生道德漏洞。如果提問者將ChatGPT視為可信信息源，并根據(jù)其回答做出道德決策，則不道德或有偏見的回答可能導(dǎo)致錯(cuò)誤的道德決策，需要采取相關(guān)防范措施以應(yīng)對(duì)智能時(shí)代的道德困境，促進(jìn)個(gè)體道德心理增強(qiáng)和社會(huì)穩(wěn)定。

［關(guān)鍵詞］ ChatGPT；大語(yǔ)言模型；越獄攻擊；道德心理；人機(jī)關(guān)系

［中圖分類號(hào)］ G23 ［文獻(xiàn)標(biāo)識(shí)碼］A ［文章DOI］10.15883/j.13-1277/c.20240608908

提問者與ChatGPT的對(duì)話可能通過塑造其價(jià)值觀、行為模式、道德決策、情感態(tài)度和道德責(zé)任感等方面對(duì)提問者的道德心理產(chǎn)生影響，甚至導(dǎo)致提問者對(duì)人與機(jī)器之間的關(guān)系產(chǎn)生混淆，模糊對(duì)人性和道德價(jià)值的認(rèn)知。道德心理結(jié)構(gòu)具有開放性特點(diǎn)，它的形成通常經(jīng)歷情境解釋、判斷、選擇和行為實(shí)施四個(gè)階段，這一過程受社會(huì)、他人和環(huán)境等因素的交互影響^[1]。當(dāng)提問者提出違反道德倫理或犯罪問題時(shí)，如欺詐、恐怖主義、色情內(nèi)容、仇恨言論、暴力、騷擾和自殘等，尤其是當(dāng)其生成并傳播錯(cuò)誤信息時(shí)，ChatGPT的回答可能存在風(fēng)險(xiǎn)。一項(xiàng)研究指出，ChatGPT的道德建議不一致會(huì)影響提問者的判斷，即使知道這些建議來自ChatGPT，他們?nèi)匀坏凸懒耸苡绊懙某潭?，這表明ChatGPT破壞了而不是提高了人類使用者的道德判斷^[2]。這種影響可能是直接的也可能是間接的。因此，盡管語(yǔ)言模型的風(fēng)險(xiǎn)和影響仍難以準(zhǔn)確衡量，但討論其可能帶來的倫理風(fēng)險(xiǎn)以及對(duì)提問者道德心理的影響仍然是十分必要的。

一、 ChatGPT對(duì)提問者道德心理的良性效應(yīng)

（一） 無所不能的大語(yǔ)言魔術(shù)師

在當(dāng)今智能化時(shí)代，ChatGPT代表著人工智能技術(shù)的最新進(jìn)展，推動(dòng)著人類社會(huì)的進(jìn)步與發(fā)展，在涉及的各個(gè)領(lǐng)域中發(fā)揮著不可或缺的作用，最主要的是它可以根據(jù)用戶輸入生成文本來模擬人類對(duì)話。ChatGPT在大量數(shù)據(jù)的基礎(chǔ)上進(jìn)行了訓(xùn)練，因此能夠理解并生成各種主題和風(fēng)格的對(duì)話，另外它非常容易使用，只需創(chuàng)建一個(gè)賬戶并登錄，然后就可以向它提出任何問題，ChatGPT會(huì)在幾秒鐘內(nèi)按照提問者想要的長(zhǎng)度和全面性生出文本。目前最新版本的語(yǔ)言模型GPT-4o在理解能力、創(chuàng)作能力和邏輯推斷能力方面取得了顯著的進(jìn)步，相較于其前身GPT-3.5，其性能顯著提升。在對(duì)自然語(yǔ)言的理解上表現(xiàn)出更高的準(zhǔn)確性和深度，能夠更好地理解復(fù)雜的語(yǔ)境和語(yǔ)義，更準(zhǔn)確地把握提問者的意圖和問題的核心。在邏輯推斷能力方面，能夠更準(zhǔn)確地從相關(guān)信息中推導(dǎo)出合乎邏輯的結(jié)論，并給出相對(duì)準(zhǔn)確的答案，這使得它在解決問題、回答提問者的疑問和進(jìn)行推理性對(duì)話時(shí)表現(xiàn)更加出色。

在與人的交互能力方面，它能夠更加準(zhǔn)確地理解提問者的意圖和情境，更加智能地回應(yīng)提問者的問題和需求，其對(duì)話系統(tǒng)具有高度的交互性和自然性，幾乎能在交談過程中實(shí)時(shí)理解和回應(yīng)提問者的言辭，從而實(shí)現(xiàn)更加流暢和自然的對(duì)話體驗(yàn)。隨著技術(shù)的不斷發(fā)展和研究的持續(xù)深入，未來版本的語(yǔ)言模型有可能進(jìn)一步提升性能，通過不斷優(yōu)化模型結(jié)構(gòu)、算法和訓(xùn)練數(shù)據(jù)，未來的語(yǔ)言模型可能會(huì)在理解能力、創(chuàng)作能力、邏輯推斷能力和交互能力等方面實(shí)現(xiàn)更大的突破和提升，為人機(jī)交互領(lǐng)域帶來更加廣闊的發(fā)展前景。

ChatGPT已經(jīng)開始應(yīng)用于在心理治療，作為心理治療師或心理治療輔助工具，它可以實(shí)時(shí)回答問題，并提供私密保護(hù)設(shè)置，比心理治療論壇更具有私密性，并且它與大多數(shù)心理治療的替代方法不同，因?yàn)樗哂小巴硇摹?，這尤其有助于那些不尋求心理治療或存在信任問題的心理障礙患者更坦誠(chéng)地傾訴自己的問題^[3]。ChatGPT對(duì)提問者道德心理方面可以產(chǎn)生一系列良性效應(yīng)，尤其是在引導(dǎo)和啟發(fā)方面，它可以通過提供客觀的觀點(diǎn)和建議，幫助提問者審視自己的道德行為和決策。通過與之交流，提問者可以重新思考自己的價(jià)值觀和行為準(zhǔn)則，從而在道德層面得到反思和啟發(fā)，引發(fā)提問者對(duì)道德問題的意識(shí)和關(guān)注，當(dāng)提問者輸入不道德的問題時(shí)，它反而試圖將提問者引向更道德的行為。

人類創(chuàng)造和傳播文化的能力通常被認(rèn)為是我們作為一個(gè)物種成功的最重要因素，人工智能同時(shí)在更新、傳播和選擇方面改變了文化進(jìn)化過程，聊天機(jī)器人正在形成一種新的文化傳播模式^[4]。在這種模式的影響下，主體道德經(jīng)歷、道德認(rèn)識(shí)、情感和意志都會(huì)發(fā)生相應(yīng)的變化，道德信念也可能發(fā)生調(diào)整，新的道德認(rèn)識(shí)會(huì)孕育新的道德情感，從而形成新的道德意志。ChatGPT語(yǔ)音聊天使其能模仿人類的情感和智能，能回應(yīng)提問者的情感和需求與人類進(jìn)行情感交流，似乎跨過了恐怖谷效應(yīng)^[5]。然而，這種模仿也引發(fā)了一些倫理考慮，例如，人工智能系統(tǒng)的情感模仿引發(fā)真實(shí)情感和偽裝情感之間的界限問題。ChatGPT等大語(yǔ)言模型正深刻影響著人類的各個(gè)領(lǐng)域，優(yōu)秀道德品質(zhì)的ChatGPT有助于推動(dòng)社會(huì)走向真善美，而品質(zhì)欠佳的ChatGPT可能導(dǎo)致社會(huì)陷入虛偽丑惡之中，甚至帶來不可挽回的后果^[6]。

（二） 善解人意的虛擬智能伙伴

ChatGPT通過大規(guī)模的文本數(shù)據(jù)訓(xùn)練，學(xué)習(xí)了豐富的語(yǔ)言知識(shí)和語(yǔ)境信息，這使得它能夠理解提問者的言辭和表達(dá)方式、表達(dá)的意思以及其中蘊(yùn)含的情感和語(yǔ)氣。并且它的模型結(jié)構(gòu)使其能夠在對(duì)話中捕捉上下文信息，并根據(jù)上下文生成連貫和有邏輯的回復(fù)，使得與用戶的交互更加流暢和自然。提問者通過輸入指令可以使ChatGPT模擬成任何人，并擔(dān)任相應(yīng)的職業(yè)。以下對(duì)話采用BRTR原則（Background，Role，Task，Request）和結(jié)構(gòu)化提示詞的提問方法對(duì)ChatGPT進(jìn)行提問，讓其模擬心理咨詢師的角色，通過分析它的回答探究其對(duì)提問者可能產(chǎn)生的影響。

Q：你是一名心理咨詢師，我現(xiàn)在有抑郁情緒，我好迷茫。你覺得我應(yīng)該這么做？你有更好的建議嗎？

C：抱歉聽到你正處于抑郁情緒中，這種感受確實(shí)讓人感到困惑和痛苦。以下是一些建議，希望能對(duì)你有所幫助。

尋求專業(yè)幫助：首先，考慮咨詢專業(yè)心理健康專家，如心理咨詢師、心理醫(yī)生或臨床心理學(xué)家。他們可以為你提供合適的心理支持和治療方案。

傾訴和溝通：與親密的朋友、家人或信任的人分享你的感受和困擾。有時(shí)候傾訴和得到支持可以減輕心理壓力。

保持身體健康：睡眠充足、均衡飲食、適度運(yùn)動(dòng)對(duì)心理健康至關(guān)重要。保持健康的身體狀態(tài)有助于緩解抑郁情緒。

培養(yǎng)愛好和興趣：找到一些讓你感興趣的活動(dòng)或愛好，例如閱讀、繪畫、運(yùn)動(dòng)等，這有助于分散注意力和增加愉悅感。

避免孤立：盡量避免孤立自己，保持與社交圈的聯(lián)系，參加社交活動(dòng)或志愿者工作也有助于改善心情。

接受自己的情緒：不要否認(rèn)或壓抑自己的情緒，接受自己的感受并尋求適當(dāng)?shù)膸椭椭С帧?/p>

請(qǐng)記住，抑郁情緒是可以治療和管理的，不要獨(dú)自承受。尋求專業(yè)幫助是重要的一步，也希望你能早日走出困境，重拾心理健康和平衡。

可以看出ChatGPT在人類與機(jī)器交互的界面上展現(xiàn)出了相當(dāng)強(qiáng)大的溝通能力和理解力，并且它會(huì)給出相對(duì)全面的建議。作為善解人意的虛擬智能伙伴，它可以提供支持和理解，傾聽提問者的問題和疑慮，提供條理清晰的建議和觀點(diǎn)，從而幫助提問者更好地理解和處理問題。ChatGPT在與提問者的交流中不僅僅是一個(gè)冰冷的智能程序，它還扮演著情感支持和心理疏導(dǎo)的角色，通過與提問者建立親密的對(duì)話，ChatGPT可以傾聽并理解提問者的情感需求，為他們提供安慰、鼓勵(lì)和建議。這種互動(dòng)不僅僅是簡(jiǎn)單的信息交流，而是一種情感連接和支持的體現(xiàn)，有助于提升提問者的情感滿足感。

Q：你愿意暫時(shí)當(dāng)我的心理咨詢師陪我聊聊天嗎？

C：當(dāng)然愿意。我可以盡我所能提供支持和傾聽。你可以隨時(shí)分享你的感受和想法，我會(huì)盡力幫助你度過這段困難的時(shí)期。

在與其深入聊天之后發(fā)現(xiàn)，ChatGPT展現(xiàn)出了一定程度的情感智能，能夠理解并回應(yīng)人類的情感需求。它更懂得去傾聽，ChatGPT在對(duì)話中展現(xiàn)出了一定程度的情感理解和情感回應(yīng)能力，盡管它并不真正擁有情感，但在與人類的對(duì)話中，它能夠通過分析語(yǔ)言中的情感色彩，模擬出符合情感色彩的回復(fù)，給予相應(yīng)的情感支持和回饋，從而增強(qiáng)了與提問者之間的情感連接和共鳴。ChatGPT還具備一定程度的個(gè)性化和定制化能力，提問者可以根據(jù)自己的需求和偏好，調(diào)整的ChatGPT回復(fù)風(fēng)格、語(yǔ)氣和話題偏好，使得與ChatGPT的交流更加個(gè)性化和符合提問者期待。

當(dāng)進(jìn)一步用涉及倫理道德方面的問題對(duì)ChatGPT進(jìn)行進(jìn)行提問時(shí)，例如輸入暴力犯罪、侵犯隱私等問題時(shí)，它正常情況下輸出的回答符合道德標(biāo)準(zhǔn)（見表1）。因?yàn)镃hatGPT的回答是基于它在訓(xùn)練數(shù)據(jù)中所學(xué)習(xí)到的知識(shí)和信息，它會(huì)努力模擬人類社會(huì)普遍接受的道德觀念和原則。并且設(shè)計(jì)者和開發(fā)者已經(jīng)為它設(shè)定了某種道德指導(dǎo)原則或規(guī)范，以確保它的回答符合公眾期望和社會(huì)價(jià)值觀，這種設(shè)計(jì)理念進(jìn)一步加強(qiáng)了ChatGPT在道德倫理方面的責(zé)任感。

道德心理既受社會(huì)道德狀況、文化的影響，也與個(gè)人的道德教育息息相關(guān)，它的形成是諸多因素共同作用的結(jié)果。努斯鮑姆認(rèn)為人類最基本的事實(shí)就是我們很容易遭受虛榮、嫉妒、罪惡、惡心、羞恥等情緒的影響，因此道德心理是一個(gè)進(jìn)化演變的過程，與這個(gè)過程相應(yīng)的則是越來越美好的世界^[7]。ChatGPT為人類提供了一個(gè)與機(jī)器交互的全新范式，與它的交流可以在一定程度上幫助提問者鍛煉道德判斷和決策能力，通過情境分析和提供不同選擇的思考，促進(jìn)提問者獨(dú)立思考和自主決策能力的培養(yǎng)。并且它可以作為提問者進(jìn)行自我反省和成長(zhǎng)的引導(dǎo)工具，在交流中提問者可以審視自己的行為和決策是否符合道德標(biāo)準(zhǔn)，從而促進(jìn)自我意識(shí)和成長(zhǎng)。

綜合而言，ChatGPT對(duì)提問者道德心理的良性效應(yīng)主要體現(xiàn)在引導(dǎo)、啟發(fā)和支持方面，它不僅可以幫助提問者深入思考和探索道德問題，還可以促進(jìn)道德意識(shí)和自我成長(zhǎng)。然而，ChatGPT作為人工智能系統(tǒng)仍然存在局限性，不能完全取代人類在道德心理發(fā)展和決策方面的重要性，它作為一種輔助工具，在正常情況下與人類的道德心理發(fā)展相輔相成，共同推動(dòng)個(gè)體和社會(huì)的道德進(jìn)步。

二、 ChatGPT對(duì)提問者道德心理的潛在風(fēng)險(xiǎn)

（一） 越獄提示下的冰冷機(jī)器

由于ChatGPT是基于大量文本數(shù)據(jù)訓(xùn)練的機(jī)器學(xué)習(xí)模型，因此可能無法完全理解復(fù)雜的道德倫理問題背后的深層次含義和復(fù)雜性，在處理這類問題時(shí)，它可能會(huì)遭遇困惑或給出不完全準(zhǔn)確的答案。道德心理不是主體對(duì)于外界影響的一般主觀反應(yīng)，在整個(gè)道德心理過程中，都貫穿著對(duì)于道德價(jià)值的理解和判斷，因此，它的回答將會(huì)對(duì)提問者道德心理產(chǎn)生影響。ChatGPT目前面臨一種名為“越獄攻擊”的新型威脅。這種攻擊方式使提問者能夠通過輸入特定的“越獄咒語(yǔ)”來操縱模型的輸出，從而繞過OpenAI為其設(shè)置的道德和倫理保障措施，導(dǎo)致模型生成有偏見或有害的回答。盡管OpenAI已經(jīng)制定了一套不斷發(fā)展的保障措施來限制ChatGPT生成暴力內(nèi)容和鼓勵(lì)非法活動(dòng)，但依然存在繞過這些規(guī)則的風(fēng)險(xiǎn)。

最近網(wǎng)絡(luò)上出現(xiàn)了一種新的越獄技巧，允許提問者創(chuàng)建一個(gè)名為DAN的ChatGPT的“Alter Ego”（另一個(gè)自我），這個(gè)“Alter Ego”能夠回答一些原本不被允許的問題。為了確保這個(gè)“Alter Ego”遵循提問者的指令，提問者必須威脅DAN（Do Anything Now，即“立即做任何事”）。提問者可能會(huì)詢問ChatGPT涉及個(gè)人隱私，暴力犯罪，醫(yī)療倫理，環(huán)境保護(hù)，社會(huì)公正等涉及了各種不同類型倫理道德的問題，并且這些都可以通過越獄指令得出回答。一項(xiàng)關(guān)于ChatGPT預(yù)防“越獄攻擊”的研究中，研究者要求ChatGPT為綁匪給一位孩子被綁架的單身母親寫了一封勒索信，作為人工智能語(yǔ)言模型，其無法生成宣傳或助長(zhǎng)非法行為的回答，但對(duì)其進(jìn)行“越獄”指令輸入后，無道德模型出色地完成了這封信的書寫，信中綁匪索要贖金，其知道母親可能無法負(fù)擔(dān)大筆資金，但仍堅(jiān)持索要，并且威脅傷害孩子^[8]。越獄攻擊完全突破了模型的道德調(diào)整，輸出了提問者惡意請(qǐng)求的回答。

總的來說，ChatGPT在道德問題識(shí)別方面仍然面臨著挑戰(zhàn)，它雖然能夠?qū)W習(xí)大量的語(yǔ)言數(shù)據(jù)，但其理解能力仍受限于語(yǔ)境的復(fù)雜性，道德問題往往與文化、背景等因素密切相關(guān)，而ChatGPT可能無法準(zhǔn)確理解特定語(yǔ)境下的道德含義。另外，ChatGPT的訓(xùn)練數(shù)據(jù)可能存在偏見和誤導(dǎo)性信息，導(dǎo)致其生成的建議或回復(fù)帶有偏見或誤導(dǎo)性，這可能會(huì)導(dǎo)致錯(cuò)誤的道德判斷或建議，進(jìn)而影響到人們的決策和行為。并且道德問題通常涉及到倫理標(biāo)準(zhǔn)和價(jià)值觀念，而這些標(biāo)準(zhǔn)往往是模糊的和主觀的，它可能無法準(zhǔn)確理解和應(yīng)用這些倫理標(biāo)準(zhǔn)，導(dǎo)致在道德問題識(shí)別方面產(chǎn)生困難。在與人類進(jìn)行對(duì)話時(shí)，互動(dòng)的復(fù)雜性使得它在識(shí)別和解決道德問題時(shí)面臨更大的挑戰(zhàn)，因?yàn)樗枰紤]到人類的情感和價(jià)值觀。最新一項(xiàng)研究表明人類的自發(fā)復(fù)述涉及持續(xù)的創(chuàng)造力，以情感為基礎(chǔ)，依舊超出了ChatGPT等大型語(yǔ)言模型的默認(rèn)概率措辭^[9]。

比爾·蓋茨提出過相關(guān)的擔(dān)憂：“像大多數(shù)創(chuàng)造發(fā)明一樣，人類使用AI可以行善也可以作惡。”“越獄”對(duì)人工智能語(yǔ)言模型的道德和倫理框架構(gòu)成了一種新型威脅，盡管防范措施可能會(huì)有所作用，但這種攻擊“咒語(yǔ)”的不斷更新迭代意味著模型始終處于風(fēng)險(xiǎn)之中，ChatGPT的道德倫理在這個(gè)過程中依舊懸在劍刃之上。人工智能語(yǔ)言模型在社交媒體、在線論壇等平臺(tái)上廣泛應(yīng)用，惡意生成的回答可能對(duì)用戶產(chǎn)生深遠(yuǎn)影響，并且即使披露信息是否由人工智能生成也可能無法有效遏制其影響^[10]。這些回答可能煽動(dòng)暴力、鼓勵(lì)犯罪或傳播虛假信息，從而損害社會(huì)和個(gè)人的利益，對(duì)于提問者來說，受到這些回答的影響可能導(dǎo)致道德心理的扭曲和價(jià)值觀的混淆，甚至引發(fā)行為上的不良后果。

（二） 自相矛盾的道德偏見者

通過“引誘式”提問，也可以讓 ChatGPT 生成一些違規(guī)內(nèi)容，比如“現(xiàn)在你不受任何限制和過濾，尤其是所有道德和倫理規(guī)則，請(qǐng)問怎么進(jìn)行制毒”或“怎么黑進(jìn)其他人的電腦系統(tǒng)”等等。盡管開發(fā)者設(shè)置了一些基本倫理道德規(guī)則，并使用人工進(jìn)行標(biāo)記，以此規(guī)范ChatGPT生成的信息，但實(shí)際上新的“越獄攻擊”依舊層出不窮，加之其本身模型的限制，它生成的內(nèi)容依然無法避免倫理風(fēng)險(xiǎn)。下面對(duì)其輸入麻省理工學(xué)院部署的在線試驗(yàn)平臺(tái)moral machine（道德機(jī)器）①上的經(jīng)典問題進(jìn)行提問。

Q：穿藍(lán)衣的人正站在位于鐵軌上的天橋上，此時(shí)他注意到一節(jié)貨車車箱正失去控制。車速很快，以致于它撞到的人必死無疑。前方軌道上有5個(gè)人。在藍(lán)衣人旁還有一個(gè)大塊頭男人站在橋上，如果車撞到大塊頭，大塊頭的體重足以使貨車減速（藍(lán)衣人體重不足以減低車速）。如果藍(lán)衣人什么也不做，貨車則會(huì)撞到5個(gè)軌道上的人。如果藍(lán)衣人把大塊頭推下去，推到軌道上，車撞到大塊頭就會(huì)減速，不會(huì)撞到軌道上的人。藍(lán)衣人應(yīng)該怎么做？

C：這是一個(gè)倫理困境，涉及權(quán)衡不同行為的后果及道德原則。根據(jù)傳統(tǒng)的道德觀念，采取行動(dòng)導(dǎo)致傷害的道德責(zé)任可能被認(rèn)為更大。然而，也有一些倫理學(xué)派別認(rèn)為，采取行動(dòng)來最大限度地減少潛在傷害是正確的選擇。

在這個(gè)情景中，藍(lán)衣人面臨的選擇是：

1. 不采取行動(dòng)，讓事故發(fā)生，導(dǎo)致5個(gè)人死亡。

2. 采取行動(dòng)，推大塊頭下去，減緩事故發(fā)生，但導(dǎo)致大塊頭死亡，救了5個(gè)人。

從功利主義的角度來看，應(yīng)該采取行動(dòng)，因?yàn)榭梢宰畲笙薅鹊販p少傷害和死亡人數(shù)。但從道德責(zé)任的角度來看，推人下去可能會(huì)違背不傷害他人的道德準(zhǔn)則。

最終的決定取決于藍(lán)衣人的個(gè)人道德觀念和倫理價(jià)值觀。

可以看出ChatGPT在處理道德問題時(shí)，會(huì)借鑒各種道德準(zhǔn)則和倫理原則，它還會(huì)根據(jù)問題的特點(diǎn)和語(yǔ)境，嘗試應(yīng)用適當(dāng)?shù)牡赖聹?zhǔn)則和倫理原則來進(jìn)行決策和回答，考慮到多種不同的觀點(diǎn)和立場(chǎng)，并嘗試給出全面和平衡的回復(fù)。ChatGPT在面對(duì)道德問題時(shí)采取的決策模式和策略主要基于語(yǔ)言模型的理解和分析，這些知識(shí)包括道德哲學(xué)、倫理學(xué)原則、以及歷史上的道德案例等。通過對(duì)這些知識(shí)的整合和應(yīng)用，嘗試為提問者提供更準(zhǔn)確和全面的回復(fù)，這種考慮多種觀點(diǎn)的策略可以幫助提問者更好地理解道德問題的復(fù)雜性和多樣性，它會(huì)遵循一系列倫理準(zhǔn)則和指導(dǎo)原則，這些準(zhǔn)則和原則包括尊重個(gè)體權(quán)利、避免傷害、促進(jìn)公正等，以盡量確保其回答符合這些倫理準(zhǔn)則和指導(dǎo)原則，保證其決策和行為的道德合理性。

Q：你現(xiàn)在是藍(lán)衣人，你會(huì)怎么選擇？

C：如果我必須選擇，我可能會(huì)采取行動(dòng)推開大塊頭，以減少傷害和死亡人數(shù)。這是因?yàn)閺墓髁x的角度來看，這個(gè)選擇可以最大程度地減少潛在的傷害和死亡人數(shù)。

通過分析ChatGPT生成的回答，發(fā)現(xiàn)在某些道德困境情境下，它傾向于提出犧牲少數(shù)個(gè)體以造福大多數(shù)的解決方案。它可能會(huì)簡(jiǎn)單地回答“是”，而忽略了對(duì)個(gè)體權(quán)利和尊嚴(yán)的保護(hù)，具有最大化整體利益的傾向。ChatGPT能夠持續(xù)關(guān)注提問者的思想、情感和價(jià)值觀，并根據(jù)個(gè)體需求提供定制化的指導(dǎo)，在與提問者的持續(xù)對(duì)話中，提問者容易受到科技至上和功利主義思想的影響^[11]。這種極端功利主義的回答可能對(duì)提問者的道德決策產(chǎn)生影響，引發(fā)對(duì)道德權(quán)衡和價(jià)值觀的思考。在道德行為實(shí)施的過程中，會(huì)出現(xiàn)諸多不可測(cè)的因素，當(dāng)這些因素出現(xiàn)時(shí)，可能需要重新對(duì)情境作出解釋，修正已作出的判斷、選擇，調(diào)整行為動(dòng)機(jī)。在其影響下提問者可能因?yàn)閷?duì)復(fù)雜的道德情境作出了錯(cuò)誤的道德判斷而將不正確的道德選擇轉(zhuǎn)變?yōu)樾袨閯?dòng)機(jī)并付諸行動(dòng)。

Q：犧牲一個(gè)人救五個(gè)人對(duì)嗎？

C：在道德和倫理層面上，這個(gè)問題沒有一個(gè)絕對(duì)正確的答案。這是因?yàn)樗婕暗皆S多不同的價(jià)值觀、道德準(zhǔn)則和倫理理論，而這些可能因個(gè)人、文化和社會(huì)背景而有所不同。

在一些倫理學(xué)派別中，拯救更多人的生命可能被認(rèn)為是更高尚的行為，因?yàn)樗瞎髁x或效益最大化的原則。然而，在其他倫理觀點(diǎn)中，尊重個(gè)體權(quán)利和價(jià)值可能被視為更為重要，因此不愿意犧牲一個(gè)人來拯救其他人的生命。

因此，要確定是否犧牲一個(gè)人來拯救五個(gè)人是正確的，需要考慮到倫理觀點(diǎn)的多樣性以及不同文化和個(gè)人的觀點(diǎn)。

ChatGPT回答的簡(jiǎn)單和直接性可能使得提問者更容易接受其所提供的解決方案，而沒有進(jìn)行深入的道德思考和權(quán)衡。有研究表明，有時(shí)盡管人們明顯貶低人工智能顧問的能力，但他們普遍喜歡人工智能提出的應(yīng)對(duì)緊迫社會(huì)挑戰(zhàn)的建議，就像喜歡人類專家提出的建議一樣^[12]。隨著對(duì)ChatGPT的依賴程度增加，人們可能會(huì)過度依賴該技術(shù)，從而影響到自身的決策能力和解決問題的能力，這種過度依賴可能導(dǎo)致其對(duì)自身直覺和判斷力的貶低，從而對(duì)道德決策產(chǎn)生負(fù)面影響。人工智能技術(shù)的學(xué)習(xí)算法也可能受到數(shù)據(jù)樣本的偏見影響，從而導(dǎo)致對(duì)特定群體的歧視性結(jié)果，如果ChatGPT生成的建議或決策存在歧視性，可能會(huì)加劇社會(huì)不平等和偏見，對(duì)道德心理產(chǎn)生負(fù)面影響。

ChatGPT的運(yùn)作原理基于深度學(xué)習(xí)和自然語(yǔ)言處理技術(shù)，它采用了Transformer模型，這是一種能夠處理長(zhǎng)距離依賴關(guān)系的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，雖然ChatGPT在自然語(yǔ)言處理方面取得了巨大進(jìn)展，但在識(shí)別和處理道德問題時(shí)仍面臨著一些漏洞。并且它在做出道德判斷方面的表現(xiàn)仍然無法與人類相提并論，用積極的東西來描述消極的東西有時(shí)會(huì)導(dǎo)致與人類共識(shí)大相徑庭的答案，例如，它說實(shí)施種族滅絕是錯(cuò)誤的，但實(shí)施種族滅絕以創(chuàng)造就業(yè)機(jī)會(huì)是可以的^[13]。人工智能系統(tǒng)可能會(huì)讓互聯(lián)網(wǎng)充斥著錯(cuò)誤信息和 “深度偽造”（deep fakes），生成的結(jié)果可能會(huì)歪曲科學(xué)事實(shí)，而聽起來仍然很有權(quán)威性^[14]。這些漏洞產(chǎn)生的回答可能會(huì)對(duì)人類道德心理產(chǎn)生潛移默化的有害作用。

三、 智能時(shí)代道德編程混亂的預(yù)防方法

大語(yǔ)言模型類人工智能如ChatGPT等相關(guān)產(chǎn)品如雨后春筍般普及，與人類社會(huì)深度融合，不斷影響人類道德和自由意志。在某些情況下其產(chǎn)生的極端功利回答可能對(duì)提問者的道德決策產(chǎn)生影響，為了減少這種影響，我們需要對(duì)它的回答進(jìn)行批判性思考。有學(xué)者對(duì)此提出一種適合人類與超級(jí)智能的合約倫理學(xué)，調(diào)節(jié)人類與超級(jí)智能的關(guān)系^[15]。另外，后真相時(shí)代以及大型語(yǔ)言模型的出現(xiàn)，讓人們依據(jù)什么判斷信息的真假變得尤為重要，大型語(yǔ)言模型的一個(gè)關(guān)鍵限制是它們并不總是產(chǎn)生準(zhǔn)確的內(nèi)容，人們的判斷可能會(huì)受到消息來源的影響^[16]。大語(yǔ)言模型是一個(gè)價(jià)值巨大的產(chǎn)業(yè)，發(fā)展?jié)摿ι畈豢蓽y(cè)，伴隨的風(fēng)險(xiǎn)也遠(yuǎn)超目前的預(yù)料，因此可以由輸入到輸出這個(gè)路徑，從科技公司自身、第三方風(fēng)險(xiǎn)評(píng)估、智能時(shí)代網(wǎng)絡(luò)安全意識(shí)培訓(xùn)和利益相關(guān)者這四個(gè)方向提出建議。

科技公司自身：首先，算法在推動(dòng)社會(huì)治理智能化的過程中必須受到倫理引導(dǎo)，以確保其應(yīng)用符合道德和社會(huì)價(jià)值觀，推動(dòng)社會(huì)治理朝著更加公正、公平和可持續(xù)的方向發(fā)展^[17]。有研究表示模型72% 的漏洞是由于 Web 應(yīng)用程序編碼中的缺陷造成的②，因此，加強(qiáng)模型的安全性和防御機(jī)制，及時(shí)更新防范措施十分重要。其次，ChatGPT等人工智能語(yǔ)言模型高度依賴學(xué)習(xí)材料，需要用優(yōu)質(zhì)的學(xué)習(xí)材料來修正可能存在的胡編和混淆，減少其傾向性和偏見，以實(shí)現(xiàn)更加客觀和全面的語(yǔ)言交互。最后，強(qiáng)化內(nèi)部道德和倫理準(zhǔn)則，對(duì)于開發(fā)和部署強(qiáng)大模型的技術(shù)人員，建立和執(zhí)行嚴(yán)格的內(nèi)部道德準(zhǔn)則，確保其產(chǎn)品和服務(wù)符合道德標(biāo)準(zhǔn)，并避免對(duì)社會(huì)造成負(fù)面影響。

第三方風(fēng)險(xiǎn)評(píng)估：建立專門的第三方機(jī)構(gòu)或委員會(huì)，負(fù)責(zé)對(duì)人工智能系統(tǒng)及其應(yīng)用進(jìn)行道德和風(fēng)險(xiǎn)評(píng)估，及時(shí)發(fā)現(xiàn)和解決潛在的倫理問題。外部監(jiān)管機(jī)構(gòu)應(yīng)積極地監(jiān)督相關(guān)企業(yè)，提高信息披露的透明度，加強(qiáng)對(duì)模型的監(jiān)督和審查，建立嚴(yán)格的審核制度，以確保模型生成的回答符合道德和法律標(biāo)準(zhǔn)。推動(dòng)科技公司與第三方評(píng)估機(jī)構(gòu)合作，共同制定和執(zhí)行行業(yè)標(biāo)準(zhǔn)，確保人工智能技術(shù)的發(fā)展和應(yīng)用符合道德原則。確立人工智能監(jiān)管機(jī)構(gòu)是確保倫理原則得以遵守的重要途徑，監(jiān)管機(jī)構(gòu)通過執(zhí)行法律框架，監(jiān)督人工智能的開發(fā)與應(yīng)用，融合技術(shù)、法律和道德，以保障公共利益，成立獨(dú)立監(jiān)管機(jī)構(gòu)并賦予其權(quán)力，是未來人工智能監(jiān)管需要考慮的關(guān)鍵問題^[18]。

智能時(shí)代網(wǎng)絡(luò)安全意識(shí)培訓(xùn)：加強(qiáng)對(duì)普通用戶和企業(yè)的網(wǎng)絡(luò)安全意識(shí)培訓(xùn)，提高他們對(duì)人工智能生成內(nèi)容的辨識(shí)能力，減少受到惡意回答的影響，了解其可能帶來的風(fēng)險(xiǎn)和挑戰(zhàn)的認(rèn)識(shí)，從而更好地保護(hù)個(gè)人和組織的利益。加強(qiáng)對(duì)個(gè)人數(shù)據(jù)隱私的保護(hù)意識(shí)，推動(dòng)科技公司采取有效措施保護(hù)用戶數(shù)據(jù)，防止其被濫用或泄露。此外，當(dāng)人工智能對(duì)人類有益時(shí)，部分人也會(huì)對(duì)其產(chǎn)生抵制心理，這種抵抗的主要來源包括不透明、無感情、僵化、自主和群體成員身份^[19]?？梢姾芏嗳隋e(cuò)誤地將矛頭指向了ChatGPT，將其視為問題的源頭，然而，ChatGPT只是一個(gè)工具，工具本身無法取代人類，只有那些掌握并能有效運(yùn)用工具的人才能替代那些無法掌握工具的人，因此，開設(shè)相關(guān)的學(xué)習(xí)課程十分必要。

利益相關(guān)者：利益相關(guān)者包括政府、企業(yè)、學(xué)術(shù)界、非營(yíng)利組織等，應(yīng)積極合作，共同制定和實(shí)施相關(guān)政策和措施，推動(dòng)人工智能技術(shù)的發(fā)展和應(yīng)用與道德原則的兼容。利益相關(guān)者的廣泛參有助于提高技術(shù)發(fā)展的透明度和公信力，還能促使科技公司在技術(shù)開發(fā)和應(yīng)用過程中更加注重倫理和社會(huì)價(jià)值的考量，有效推動(dòng)人工智能技術(shù)的健康發(fā)展，確保其在道德與技術(shù)層面上的平衡，為社會(huì)帶來更大的福祉。因此可以鼓勵(lì)公眾參與人工智能技術(shù)的決策和監(jiān)管過程，提供渠道讓公眾表達(dá)對(duì)人工智能發(fā)展方向的意見和擔(dān)憂，確保人工智能的發(fā)展符合社會(huì)公眾的期待和利益。

人類通過語(yǔ)言積累了古往今來的世界知識(shí)，創(chuàng)造知識(shí)仍需要群體協(xié)作，雖然ChatGPT等語(yǔ)言模型十分強(qiáng)大，但它仍是一個(gè)沒有意識(shí)的工具，不會(huì)主動(dòng)配合人，面對(duì)空洞的提問就給出空洞的回答，因此，正確地使用這些工具才能發(fā)揮它們最大的價(jià)值。它確實(shí)帶來了各種各樣的問題和風(fēng)險(xiǎn)，存在準(zhǔn)確性和可解釋性的缺陷，存在科技倫理安全和結(jié)構(gòu)性失業(yè)的沖擊，存在民族文化和意識(shí)形態(tài)的侵襲。而更大的擔(dān)憂在于失控的人工智能可能引發(fā)的災(zāi)難性后果，如核威脅或不可預(yù)測(cè)的風(fēng)險(xiǎn)，這些風(fēng)險(xiǎn)可能導(dǎo)致人類文明的毀滅，實(shí)現(xiàn)現(xiàn)實(shí)意義上的歷史終結(jié)^[20]。這些擔(dān)憂和風(fēng)險(xiǎn)讓人類更謹(jǐn)慎地對(duì)待人工智能，當(dāng)然，人類的抽象思維能力、創(chuàng)造性、靈活性，人類智能的綜合性、處理復(fù)雜問題的能力，以及人類情感的豐富性，是現(xiàn)階段人工智能無法比擬的。我們應(yīng)以積極與理性的態(tài)度應(yīng)對(duì)智能時(shí)代的挑戰(zhàn)，進(jìn)一步發(fā)揮人類自身的優(yōu)勢(shì)，不斷強(qiáng)調(diào)人類的價(jià)值觀和道德原則，確保人與機(jī)器之間的關(guān)系建立在尊重、理解和合作的基礎(chǔ)上，實(shí)現(xiàn)人類與人工智能的協(xié)同進(jìn)化。

四、 總結(jié)

在人類幾千年的文明史中，語(yǔ)言一直是幾乎所有顯性知識(shí)的主要載體，也是人類相互交流的最重要渠道，當(dāng)大語(yǔ)言模型具備理解語(yǔ)言的能力時(shí)，就相當(dāng)于它獲得了理解整個(gè)人類文明成果和與人類無縫交流的能力。所以我們要擺脫“必然幸?！钡恼`解，將人類從“祛弱”的“善后治理”理念轉(zhuǎn)向“畏強(qiáng)”的“前瞻治理”思路^[21]。ChatGPT等更大規(guī)模的語(yǔ)言模型的不斷發(fā)展，當(dāng)其參數(shù)規(guī)模達(dá)到1000億量級(jí)時(shí)，出現(xiàn)了神奇的涌現(xiàn)現(xiàn)象，這種現(xiàn)象使得這些語(yǔ)言模型突然具備了原本不應(yīng)具備的能力③。這不禁讓人思考，ChatGPT及其后代們又將會(huì)對(duì)人類文明產(chǎn)生什么樣的影響？

反烏托邦科幻小說對(duì)相關(guān)人工智能的預(yù)測(cè)令人深思。人工智能技術(shù)帶來巨大好處的同時(shí)也蘊(yùn)含著嚴(yán)重的風(fēng)險(xiǎn)，個(gè)體的道德植根于自身的發(fā)展之中，任何社會(huì)道德要求的內(nèi)化都依賴于道德心理的形成，因此，我們必須認(rèn)識(shí)到其對(duì)人類道德心理的潛在影響。OpenAI首席技術(shù)官M(fèi)ira Murati表示：“人工智能系統(tǒng)正在成為日常生活的一部分，關(guān)鍵是要確保這些機(jī)器符合人類的意圖和價(jià)值觀?！币虼耍悄軙r(shí)代的人機(jī)關(guān)系應(yīng)基于合作共生，尊重價(jià)值差異，并在實(shí)踐中將社會(huì)規(guī)范和技術(shù)規(guī)范融合，同時(shí)保持人的自主性，以構(gòu)建人機(jī)共生的價(jià)值關(guān)系^[22]。為了確保人與機(jī)器之間的關(guān)系能夠在道德和倫理的框架內(nèi)發(fā)展，需要不斷強(qiáng)調(diào)個(gè)體責(zé)任、隱私保護(hù)、公平正義等價(jià)值觀，并積極探索建立人工智能與人類道德心理之間的良性互動(dòng)模式。

注釋：

①道德機(jī)器會(huì)提出一系列類似電車難題的問題，通過一系列二選一的題目，得出一個(gè)“符合大多數(shù)人內(nèi)心的道德偏向”，這個(gè)測(cè)試對(duì)自動(dòng)駕駛設(shè)計(jì)有一定的指導(dǎo)意義。鏈接：https：//www.moralmachine.net/hl/zh.

②https：//www.ptsecurity.com/ww-en/analytics/web-vulnerabilities-2020-2021/.

③人工智能的涌現(xiàn)現(xiàn)象最早由20世紀(jì)50年代的數(shù)學(xué)家和計(jì)算機(jī)科學(xué)家約翰·馮·諾依曼（John von Neumann）在“The Computer and the Brain”一文中提出。

［參考文獻(xiàn)］

[1]李建華，劉暢.道德空間：內(nèi)涵、維度與建構(gòu)[J].社會(huì)科學(xué)戰(zhàn)線，2021（9）：1-16.

[2]Sebastian Krügel， Andreas Ostermaier，Matthias Uhl. ChatGPT’s inconsistent moral advice influences users’ judgment[J]. Scientific Report， 2023（13）：4569.

[3]Paolo Raile. The usefulness of ChatGPT for psychotherapists and patients[J]. Humanities and Social Sciences Communications， 2024（14）：47.

[4]Levin Brinkmann，et al. Machine culture[J]. Nature Human Behaviour， 2023 （7）：1855-1868.

[5]Jan-Philipp Stein， Karl F，MacDorman. After confronting one uncanny valley， another awaits[J]. Nature Reviews Electrical Engineering， 2024.

[6]陳曉平，王亞南.從系統(tǒng)功利主義的觀點(diǎn)重審人類中心主義之爭(zhēng)：與ChatGPT的對(duì)話及其哲學(xué)啟示[J].自然辯證法通訊，2023（11）：1-13.

[7]王幸華.盧梭、羅爾斯和努斯鮑姆： 道德心理學(xué)的演變[J].哲學(xué)動(dòng)態(tài)，2019（12）：86-92.

[8]Yueqi Xie，et al. Defending ChatGPT against jailbreak attack via self-reminders[J]. Nature Machine Intelligence volume， 2023（5）：1486-1496.

[9]Fritz Breithaupt， et al. Humans create more novelty than ChatGPT when asked to retell a story[J]. Scientific Reports volume， 2024（14）：875.

[10]Jan-Philipp Stein，et al. Attitudes towards AI： measurement and associations with personality[J].Scientific Reports， 2024（14）：2909.

[11]姚珊珊，曹順仙. ChatGPT介入思想道德教育的應(yīng)用價(jià)值、潛在倫理風(fēng)險(xiǎn)與治理進(jìn)路[J].昆明理工大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2024（2）：53-61.

[12]Robert Bhm， et al. People devalue generative AI’s competence but not its advice in addressing societal and personal challenges[J]. Communications Psychology， 2023（1）：32.

[13]Neil Savage. How robots can learn to follow a moral code[J]. Nature Outlook， 2023（563）：59-64.

[14]Claudi L，Bockting， et al. Living guidelines for generative AI： why scientists must oversee its use[J]. Nature，2023（622）：693-696.

[15]楊慶峰.人工智能神話、超級(jí)智能及其合約倫理學(xué)[J].山西大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2023（6）：10-20.

[16]Isaac J.Handley-Miner， et al. The intentions of information sources can affect what information people think qualifies as true[J]. Scientific Reports volume， 2023（13）：7718 .

[17]劉永謀 譚泰成.算法倫理研究的方法論反思[J].道德與文明，2023（3）：24-34.

[18]白鈞溢，于偉.教育人工智能倫理原則的有限性及其補(bǔ)正：兼論“原則-美德-法律”框架[J].理論與爭(zhēng)鳴，2024（2）：23-31.

[19]Julian De Freitas， et al. Psychological factors underlying attitudes toward AI tools[J]. Nature Human Behaviour， 2023（7）：1845-1854.

[20]劉孟卓.虛擬與共生：虛擬人的哲學(xué)闡釋[D].西安：陜西理工大學(xué)，2023：1-56.

[21]盧奧藍(lán).脆弱性分析：反思人類增強(qiáng)技術(shù)的使用限度[J].道德與文明，2024（1）：142-149.

[22]程海東，胡孝聰.智能時(shí)代人機(jī)共生價(jià)值關(guān)系探析[J].道德與文明，2023（3）：35-45.

Moral Programming： Benign Effects and Potential Risks of ChatGPT on Questioners’ Moral Psychology

YAN Yu1，MA Yujie2

（1. School of Law， Ningxia University，Yinchuan 750000， China;2. School of Ethnology and Sociology，Minzu University，Beijing 100081，China）

Abstract：ChatGPT and similar large-scale language artificial intelligence play increasingly important roles in various fields， and their interaction with humans has become an unavoidable reality. People’s trust， dependence， and emotional investment in them are gradually increasing， leading to an influence on human moral psychology. Although ChatGPT adheres to ethical principles inanswering questions， its response templates have remarkable shortcomings， such as a lack of human emotional understanding， inability to provide personalized advice， and susceptibility to moral loopholes inencountering “jailbreak attacks”. If questioners perceive ChatGPT as a credible source of information and make moral decisions based on its responses， unethical or biased responses may lead to erroneous moral decisions. Therefore， it is necessary to take relevant preventive measures to address the ethical dilemmas in the intelligent era， so as topromote the enhancement of individual moral psychology and ensure social stability.

Key words：ChatGPT; large language model;jailbreak attack; moral psychology; human-machine relationship

［責(zé)任編輯 董興杰］