何懷宏：如果人工智能新物種出現(xiàn)

徐梅

圖/本刊記者 梁辰

每個(gè)中秋前的周五，都是北京最堵的一天。今年趕上國慶中秋雙節(jié)重疊，9月25日傍晚的東三環(huán)寸步難行，北京大學(xué)哲學(xué)教授何懷宏和博士生一起坐地鐵到國貿(mào)一家書店參加一個(gè)對談。事實(shí)證明，他充分預(yù)判了交通，是當(dāng)晚三位嘉賓中唯一準(zhǔn)時(shí)的。

科幻作家郝景芳花了比平時(shí)多出兩倍的時(shí)間才從家里移動(dòng)到活動(dòng)現(xiàn)場。另一位嘉賓是清華大學(xué)教授孫富春，因?yàn)橐粋€(gè)國家級人工智能項(xiàng)目評審會(huì)議的耽延，后半段才加入到分享討論中。

當(dāng)晚對談的主題圍繞著何懷宏的新書《人類還有未來嗎？》展開。這本書集納了何懷宏自2017年以來對技術(shù)帶來的倫理和哲學(xué)問題的持續(xù)思考。

在技術(shù)和資本乘風(fēng)破浪的當(dāng)下，何懷宏說自己所發(fā)出的聲音“很微弱”。他的觀點(diǎn)十分鮮明，“限制發(fā)展通用人工智能”和“禁止機(jī)器人擁有暴力”的立場甚至有些強(qiáng)悍，一貫以溫和、寬容為思想底色的他認(rèn)為這樣的建議決非危言聳聽，而是出于對人類文明的珍惜，是為確保脆弱而珍貴的碳基生命存續(xù)的“底線思維”。

和大多數(shù)人一樣，何懷宏自2017年AlphaGo完勝世界排名第一的圍棋國手柯潔才開始關(guān)注人工智能，在此之前，他對科技并無興趣，連科幻電影都不太愛看，“覺得那太虛幻，而現(xiàn)實(shí)生活中有許多緊迫的問題?！贝饲熬脽o突破的人工智能因算法革命而落地生風(fēng)加速成長，令何懷宏突然意識到“技術(shù)才是我們時(shí)代的‘最大真實(shí)”，并且“警覺到近代以來人們精力投向的一個(gè)根本轉(zhuǎn)折，就是開始了以駕馭物質(zhì)和技術(shù)為主導(dǎo)的價(jià)值追求。而這種追求如果越來越強(qiáng)，一意疾行，有可能導(dǎo)致在推進(jìn)文明的同時(shí)也走向文明衰退”。

三年多的觀察和思考，何懷宏談?wù)撊斯ぶ悄芤呀?jīng)相當(dāng)專業(yè)。這個(gè)大熱的領(lǐng)域一直不缺警示牌，但過往討論（包括有限的反對意見）更多是來自科學(xué)界，圍繞著AI的技術(shù)表現(xiàn)和限制，科學(xué)家更多的是寬慰人——固然這是一個(gè)堪比工業(yè)革命的顛覆性創(chuàng)新，但技術(shù)突變“奇點(diǎn)”還遙不可及，機(jī)器只是在某些單項(xiàng)技能上本領(lǐng)過人，百年內(nèi)難見堪比人類的通用人工智能。

但何懷宏認(rèn)為以人工智能、基因工程為代表的高科技將帶來“人自身難以預(yù)測的嚴(yán)重后果”。他敏銳地指出，百年對于人類社會(huì)只是一瞬，“人類精神文化的其他方面與科技文化相比，已然顯示出某種落后、停滯甚至無可挽回的衰落樣態(tài)?！?/p>

“如果我們在應(yīng)對挑戰(zhàn)方面完全無所作為，甚至走錯(cuò)方向，人類還有未來嗎？或者說會(huì)有怎樣的未來？”

郝景芳說自己非常理解何懷宏教授的思慮，她寫過反技術(shù)烏托邦的科幻小說，小說集《人之彼岸》中有個(gè)故事就是以闖入者的視角，進(jìn)入到一個(gè)人類完全向人工智能出讓了決策權(quán)的未來社會(huì)。她說自己在寫作中對技術(shù)是持反思和悲觀主義立場的，“科幻是現(xiàn)實(shí)的預(yù)警，今天的我們也在慢慢地把自己的思考和決策權(quán)交給系統(tǒng)，比如地圖找路，我們越來越習(xí)慣用導(dǎo)航，比如時(shí)間安排等，它慢慢跨越到我們的生活領(lǐng)域，越來越多地去替我們做這樣那樣的安排。”

但生活遠(yuǎn)比小說復(fù)雜，相較于小說中的極端，現(xiàn)實(shí)中的邊界是模糊的，“哪里是一個(gè)明確的邊界，哪里是我們必須保留，一定要由我們自己來思考，絕對不能讓人工智能系統(tǒng)替代，是我們獨(dú)立思考獨(dú)立人格的最后的邊界？”郝景芳坦言，“我其實(shí)不是特別確定?！?/p>

現(xiàn)實(shí)生活中，她對待科技反而是一個(gè)“積極的行動(dòng)者”，希望自己能夠善用技術(shù)，并且對技術(shù)也懷有善意，“我不認(rèn)為人工智能會(huì)想要消滅人，我也不認(rèn)為人的主體性會(huì)因人工智能而消失，人只會(huì)因?yàn)樽约翰贿M(jìn)步而成為落后的物種，只會(huì)因?yàn)樽约翰凰伎级鴨适е黧w性。”

選擇積極擁抱技術(shù)和變化還有一個(gè)原因，本科學(xué)物理學(xué)的她有許多從事科學(xué)研究的朋友，也常與科學(xué)家交流，從科學(xué)工作者身上，她看到未來技術(shù)發(fā)展的“不可阻擋性”。她曾在一個(gè)活動(dòng)上做主持人，采訪幾位科學(xué)家，問他們?nèi)绾慰创蚩萍紝θ祟惢虻母淖儭?/p>

在場科學(xué)家們的回答非常一致，“他們說固然有一定倫理風(fēng)險(xiǎn)，但這個(gè)事是擋不住的，一定會(huì)有科學(xué)家往前推動(dòng)，你擋也擋不住的。所以其實(shí)從科技工作者來講，他們是非常實(shí)際地看待這個(gè)問題的。我想既然擋也擋不住，我們就只能積極行動(dòng)，推動(dòng)技術(shù)往好的方向發(fā)展，別讓我們的生活因技術(shù)而陷入災(zāi)難?！?/p>

郝景芳話音未落，孫富春也趕到了現(xiàn)場，他帶著科學(xué)工作者的昂揚(yáng)拿起話筒，分享了清華大學(xué)以及國內(nèi)其他頂尖機(jī)構(gòu)在人工智能研究上取得的前沿進(jìn)展——

以人工智能為大腦，清華大學(xué)研發(fā)的新一代機(jī)器人擁有“五模態(tài)指尖傳感器”， 是目前世界上感知模態(tài)最多且分辨率最高的，“機(jī)器手接觸物體時(shí)，對物體表面的顏色紋理，潔凈覺、觸覺，還有力的感受、溫度，都能夠測出來?！?/p>

聽到孫富春介紹說機(jī)器人很快就可以給人一個(gè)力度合適的擁抱，還可以輕輕“拍一拍”以示親昵，何懷宏聽得很認(rèn)真，表情嚴(yán)肅。

孫教授繼續(xù)歡快地介紹：能夠?qū)崿F(xiàn)人、環(huán)境和機(jī)器人共融的共融機(jī)器人可以以智能假肢的方式通過神經(jīng)接口與人的神經(jīng)連接，不僅具有觸感，還能感受到冷熱酸痛，融入人體，成為假肢患者的一部分。此外，通過智能設(shè)備視覺和觸覺的交叉學(xué)習(xí)，神經(jīng)壞死的人可以借助設(shè)備通過視覺誘發(fā)觸覺感知。

孫富春語速很快，全場聽得呆住，“我想給大家再展示一個(gè)更新的工作，我們大家都很清楚，現(xiàn)在的機(jī)器人是硅基的，我們叫‘硅材料?，F(xiàn)在一個(gè)最大的改變，是做硅基跟碳基的結(jié)合，我們把這個(gè)材料叫‘類生命體材料。在國家科技部的項(xiàng)目里面，我們已經(jīng)在安排通過活體細(xì)胞做觸覺做視覺，這種活體細(xì)胞目前在營養(yǎng)液里面大概可以存活一個(gè)月左右?！?/p>

未來這些活體細(xì)胞做成的人造細(xì)胞使用廣泛，“比如人造皮膚，現(xiàn)在都在做，但是沒有一款人造細(xì)胞做的人造皮膚真正讓機(jī)器人用上，為什么？因?yàn)楝F(xiàn)在人造細(xì)胞一是分辨率比較低，第二個(gè)承重很低，現(xiàn)在最好的也就只能做到承重2.5公斤左右，而我們?nèi)说钠つw可以承重100-200公斤。通過活體細(xì)胞做出的皮膚，將來會(huì)達(dá)到100多公斤的承重，這樣的話就可以真正用在機(jī)器人上?！?/p>

包裹了人造皮膚的智能部件將來可以用在人的身體里面，實(shí)現(xiàn)了硅基與碳基的結(jié)合，機(jī)器人的發(fā)展會(huì)再往前跨越。孫富春非?？隙ǖ馗嬖V大家，隨著腦科學(xué)研究的突破和類生命材料的使用，“機(jī)器人將來會(huì)越來越聰明，機(jī)器人將來會(huì)跟人更好地協(xié)作。我覺得機(jī)器人有一天會(huì)有自我意識的，這一天一定會(huì)到來的?！?/p>

孫富春說他給一本名為《機(jī)器人的未來——機(jī)器人科學(xué)的人類隱喻》的書寫了序，這本書預(yù)言機(jī)器人未來可以擁有藝術(shù)、宗教，研究形而上學(xué)并擁有歷史，且人類可以與一個(gè)類人機(jī)器人結(jié)婚。就連不排斥體內(nèi)裝入類生命材料的郝景芳也不能認(rèn)同“人機(jī)共生的形式是人會(huì)跟機(jī)器結(jié)婚”，但孫富春非?？隙?，“這個(gè)絕對是這樣的，只是今天的機(jī)器還到不了共生的程度。向后50年，再向后100年，我想大家一定會(huì)認(rèn)同這個(gè)觀點(diǎn)。”

主持人強(qiáng)烈要求何懷宏發(fā)言，他說話很慢，音調(diào)不高，一說話，倒比傾聽時(shí)更安靜。當(dāng)他開口，他把一個(gè)小小的人的身影帶到由技術(shù)樂觀主義和科技新發(fā)現(xiàn)所掀動(dòng)的巨浪之前。

“我說的可能不對”，“我承認(rèn)我的無知”，結(jié)尾時(shí)，他說，“我就說到這里吧！”

以下為何懷宏自述：

起因

寫這個(gè)書，直接的起因就是2017年世界哲學(xué)大會(huì)啟動(dòng)儀式那一年，有一個(gè)學(xué)術(shù)研討會(huì)，題目就叫“學(xué)以成人”。當(dāng)時(shí)正好是阿爾法狗戰(zhàn)勝了圍棋世界冠軍，很多機(jī)器正在努力地“學(xué)以成人”，當(dāng)然只是成為人的一個(gè)方面，就是智能。

引發(fā)我對技術(shù)思考的后面還有一個(gè)比較深的背景，七八年前我對世界的精神文化有一種突然的失落感，覺得精神文化不再是向上，而是已經(jīng)開始向下衰落。

9月1日，美國內(nèi)華達(dá)州，美軍士兵在內(nèi)利斯空軍基地使用四足仿生機(jī)器狗執(zhí)行機(jī)場防衛(wèi)任務(wù)

我不知道在海德格爾、維特根斯坦之后，還有超過他們的嗎？好像沒有。也快將近一個(gè)世紀(jì)了，沒有出現(xiàn)偉大的哲學(xué)家，其他領(lǐng)域，也是一樣。

我們所讀的書，我們的藝術(shù)、我們的音樂、我們的繪畫，我們認(rèn)為偉大，并且推崇的都是一百多年以前的了。當(dāng)然我們有很多激動(dòng)人心的影視明星、娛樂明星。但是精神文化上我們是貧乏的，在走下坡路，這是我最早的一個(gè)擔(dān)心。

后來就開始擔(dān)心文明，不僅是精神文化，更擔(dān)心文明。物質(zhì)文明、精神文明，但還有政治文明，有些人認(rèn)為我們的文明是在進(jìn)步，但是我恰恰看到了一種不令人樂觀的景象。

最后甚至擔(dān)心人類的存續(xù)。

一百多年前，1918年11月7號，梁漱溟的父親梁濟(jì)曾經(jīng)問過他25歲的兒子一個(gè)問題，“這個(gè)世界會(huì)好嗎？”三天后他自殺了。梁濟(jì)先生提問時(shí)主要還是心系中國，中國這樣一個(gè)政治社會(huì)在辛亥革命建立共和之后，他看到很多亂象，憂心忡忡地問他兒子那個(gè)問題。

“人類還有未來嗎？”我們現(xiàn)在問這個(gè)問題，不僅僅是對中國，也不是對社會(huì)，可能是對人類而言的。其實(shí)我原來沒想這么一個(gè)大的題目，我是在討論這樣一個(gè)問題，如何看待精神文化、文明，甚至人類存續(xù)所面臨的新的挑戰(zhàn)？

這次的新冠只是一個(gè)非常細(xì)微的微生物發(fā)出的挑戰(zhàn)，世界夠狼狽了。還有很多潛藏的危險(xiǎn)，但是我們太容易娛樂至死，太容易忘記。

我們的人均壽命確實(shí)在這一百多年翻了一番，從四十多歲到七八十歲，這個(gè)世界讓我們感到無比的吃驚，也相當(dāng)?shù)南硎?，但是有沒有潛在的危險(xiǎn)？

我覺得人工智能也好，基因工程也好，都是雙刃劍，我們?nèi)菀卓吹剿鼈兘o我們帶來的便利、富足，但是不容易看到它們帶來的危險(xiǎn)。這是我寫這本書的一個(gè)起因。

脆弱亦高貴的人

人其實(shí)是脆弱的。如果從肉身來說，他是脆弱的，他可能被一塊石頭擊中而死，也可能被一滴毒汁毒死，有時(shí)候是無法防范的。

但是就像帕斯卡爾所說的，人還是比毀滅他的東西高貴，人知道他的脆弱性，知道他必有一死，而動(dòng)物不知道，“人是一根會(huì)思想的蘆葦?！?/p>

會(huì)思想，這就是人的高貴之處，偉大之處。僅憑肉身，人不要說永生，或者是長命，乃至永遠(yuǎn)安全，他都是不可能做到的，但是拼思想他能夠穿越時(shí)空，能夠有哲學(xué)的沉思、藝術(shù)的創(chuàng)造、信仰的追求等等，這是人獨(dú)特的地方，是人與動(dòng)物之區(qū)別中最關(guān)鍵的。這恰恰是人最大的一個(gè)“人之為人”的特點(diǎn)。

所以我們不能放棄這個(gè)，雖然每個(gè)個(gè)體都會(huì)死亡，人類最后也不免滅亡，但是從我個(gè)人來說，我非常珍視人類的文明史精神史所創(chuàng)造的，雖然精神文明只有兩三千年，從“軸心時(shí)代”可以廣義一點(diǎn)再往前推一兩千年，也就是那么幾千年;物質(zhì)文明從農(nóng)業(yè)文明開始只有一萬來年，政治文明也只有五千年左右。人類只有這么一萬來年的文明史，但已經(jīng)創(chuàng)造了如此的成就。

人工智能也是人類的創(chuàng)造，它既是人類的驕傲，又是人類的危險(xiǎn)。它在智能上能夠超過人，甚至能夠取代人，這一點(diǎn)是未來的一個(gè)危險(xiǎn)，也可以說是最大的挑戰(zhàn)。

它并不是全面的類似人，即便未來出現(xiàn)通用智能，超級機(jī)器人，它仍然不會(huì)完全像人，也不必完全像人，只要在智能方面有超過人的控物能力，也就能夠控制人。

然而它不會(huì)有人的愛，愛多么脆弱，就像美也是脆弱的，甚至是很容易消失的，它不會(huì)有這些。

那么人類就需要一種比較預(yù)防性的倫理甚至法律，努力去預(yù)測很難預(yù)測的后果，擴(kuò)大你的安全系數(shù)和安全范圍，不要為一時(shí)的方便便利輕易地去試驗(yàn)。無論是生殖基因的實(shí)驗(yàn)還是超級智能的實(shí)驗(yàn)，因?yàn)樗赡軒砟獪y的風(fēng)險(xiǎn)，帶來不可逆轉(zhuǎn)的后果。

2018年4月27日，福州長樂，柯潔挑戰(zhàn)由我國研制的圍棋人工智能“星陣”

如果這個(gè)風(fēng)險(xiǎn)真的發(fā)生，變?yōu)楝F(xiàn)實(shí)危險(xiǎn)，這就意味著不僅人類的精神文化沒有了，文明沒有了，甚至人類也將不存，甚至比“核冬天”發(fā)生、人類被打回石器時(shí)代還可怕，退回石器時(shí)代我想肯定還有人類的劫余，就是說還可能有少數(shù)人幸存，甚至可能緩慢地恢復(fù)文明。但如果是人工智能或者在基因編輯基礎(chǔ)上新的物種出現(xiàn)，這樣一種造物，就像劉慈欣所說的，“我消滅你，與你無關(guān)?！备愫脡幕蛘哂袩o愛恨，沒有關(guān)系。我需要這些資源，你可以成為我的資源，這就夠了，我就可能毀滅你了。我跟你沒有什么愛恨也無所謂道德，我能力上可以毀滅你，就夠了——這是可怕的。

人還有許多科學(xué)未曾知悉的奧秘

有些人無所謂，當(dāng)然我們也要達(dá)觀，我也覺得要好好地生活，不去多想不去深想，就像以賽亞·伯林所說的，“生活在表層”是挺好，一個(gè)人不能總是生活在深處。浮在水面多輕松，我們也需要經(jīng)常地輕松地愉快地活著，不用多想，現(xiàn)在有時(shí)候多想無益，甚至還可能有害。

但還是要有人在想，有人在做這樣一種事情，所以我還提出一個(gè)概念，就是“關(guān)鍵的少數(shù)”這樣一個(gè)概念。

很重要，需要有人來承擔(dān)，“讓一部分人先明白起來”，這個(gè)“關(guān)鍵的少數(shù)”至少應(yīng)該包括四種人，即目前掌握科技、經(jīng)濟(jì)、政治和輿論資源的四種人。他們首先考慮預(yù)防最壞結(jié)果的出現(xiàn)，最后反而能得到最不壞的結(jié)果。

剛才孫老師介紹了他們的一些最新的研究，我學(xué)到了不少，也使我感到有點(diǎn)震撼。

我的感想主要有三點(diǎn)：一個(gè)就是材料，過去區(qū)分人和智能機(jī)器主要的一個(gè)區(qū)別是在材料，我們是碳基生物，碳基生物就意味著我們天天要不斷地呼吸，要喝水，要吃東西，要曬太陽等等。硅基，它就不需要喝水，喝水還糟糕。它不需要這些東西。人機(jī)之別，基本的區(qū)別就是人是碳基，機(jī)器是硅基的存在。融合之后，如何區(qū)分？包括腦機(jī)結(jié)合，都會(huì)遇到這樣的情況。

如果我們不斷地更換，比如人造心臟、人造肢體，換著換著人是不是最后基本上就完全變成了一個(gè)硅基的存在？變成了一個(gè)“特殊材料制成的人”？

很難說會(huì)在哪一個(gè)點(diǎn)上發(fā)生一種質(zhì)變，人類由碳基生物變成了硅基生物，這是一個(gè)極大的挑戰(zhàn)。

6月27日，上海啟動(dòng)智能網(wǎng)聯(lián)汽車規(guī)?；痉稇?yīng)用，安全員在上海市嘉定區(qū)路上駕駛。主駕駛座上的安全員在車輛行駛時(shí)兩手放在方向盤旁，前排座椅背后的屏幕上實(shí)時(shí)顯示行人、車輛等周邊路況。圖/新華社

第二點(diǎn)就是感受性。我們作為碳基生物，很強(qiáng)調(diào)我們的感受性，恰恰這是人工智能最沒辦法學(xué)的，它計(jì)算很快，但是它還有一點(diǎn)很笨很笨：我們?nèi)诉M(jìn)一個(gè)屋子掃視一下就可以看見現(xiàn)場的很多人，一些印象深刻的臉一下子我就記住了，甚至有可能一見鐘情，但是機(jī)器沒辦法做到這些。我們最容易做到的事情，機(jī)器最難做到，這就是依靠我們的感受性。

感受性是人很獨(dú)特的能力，科學(xué)家通過將神經(jīng)接口接入假肢，提高它的感受性，這種感受性畢竟還是功能性的，是我們的四肢或者說身體的一部分功能性的感知能力。

人類綜合性的感知是我要講的第三點(diǎn)，綜合性的感知或者說心靈，甚至說靈魂，就是一個(gè)統(tǒng)合的知覺。過去古人說“心之官則思”，心是一個(gè)主宰的部位，現(xiàn)在一般不這樣認(rèn)為，認(rèn)為是大腦。但是到今天腦科學(xué)家依然很難解釋，大腦研究可以側(cè)重各種反應(yīng)，比如人在憤怒的時(shí)候，我們的腦細(xì)胞腦灰質(zhì)會(huì)發(fā)生什么相應(yīng)的變化。但這還是外在的表征，腦科學(xué)的研究至今還不知道人到底有沒有靈魂，到底這個(gè)靈魂是怎么存在的。

9月25日，何懷宏（左三） 與作家郝景芳（左二）、人工智能專家孫富春（右） 在《人類還有未來嗎》新書發(fā)布會(huì)上。圖/本刊記者 梁辰

我們也無法解釋人類歷史上“人猿揖別”的那一刻，人怎么突然有了意識、自我意識和主體意識？那一刻是什么時(shí)候？是怎么個(gè)奧秘？無論是人類的群體史還是個(gè)體史都不容易回答。

靈魂是不是不朽？如果按佛家的輪回說，那也是不朽，某種不朽，但是沒有記憶。沒有記憶，它不是連貫的。

那是不是有記憶就是不朽？現(xiàn)在可能科學(xué)能做到將你的記憶外包，把你的某種記憶保存起來，過上若干年，甚至可以把你的記憶重新安放到某個(gè)肢體上，你還記得你小時(shí)候的事情，你過去的一生，你重新開始的一生，但你還是你嗎？我不知道。

在人這里還存在著很多奧秘。我甚至懷疑科學(xué)再進(jìn)展，也未必能夠知悉這些奧秘。

很多奧秘我們原來以為已經(jīng)離我們不遠(yuǎn)了，走近了才發(fā)現(xiàn)還是很遙遠(yuǎn)。就像很多醫(yī)生甚至公共衛(wèi)生專家認(rèn)為，包括《人類簡史》作者赫拉利也認(rèn)為，人類已經(jīng)基本上消滅瘟疫、消滅惡性傳染病了，細(xì)菌可以用抗生素，病毒可以用疫苗，以后再?zèng)]什么人需要去研究這些。但是現(xiàn)在看不是那么回事，這次新冠疫情已經(jīng)發(fā)現(xiàn)，疫苗很難研制出來，抗生素會(huì)產(chǎn)生抗藥性，還會(huì)產(chǎn)生副作用，沒那么樂觀。

其他方面我覺得也是如此，人的技術(shù)還是會(huì)碰到它的一些限度，另一方面如果不加限制，技術(shù)的飛速發(fā)展還可能產(chǎn)生不可預(yù)測的后果。

光靠科學(xué)家自律是不夠的

（郝景芳所說的思考和寫作上悲觀、生活中樂觀），其實(shí)我是非常欣賞這種態(tài)度，但在人工智能可能是“人類最后的發(fā)明”上，現(xiàn)實(shí)中我們也需要做一些事情，比較具體地話，就是要確立一種預(yù)防性的倫理和法律，確保人類文明和人類存續(xù)有一個(gè)比較大的安全系數(shù)，避免它帶來不可預(yù)測的后果。

人的動(dòng)機(jī)是復(fù)雜的，內(nèi)在的，也是混合的，要根據(jù)這些動(dòng)機(jī)提前做一些預(yù)防和限制。在實(shí)驗(yàn)和研究上，光靠科學(xué)家的自律是不夠的，很多科學(xué)家甚至不愿意自己自律，無論出于追求真理，還是追求其他。就像有些科學(xué)家說的，“我不做，別人也會(huì)做。”甚至說，“如果不做，我們因此就落后了。”“擋不住的”這樣的說法很多，這恰恰是我們的憂慮之處。

我個(gè)人的觀點(diǎn)是，人工智能的發(fā)展和研究要限定為小型化、專門化，不發(fā)展通用人工智能。還應(yīng)該有一個(gè)比較嚴(yán)格的限制：機(jī)器人不應(yīng)該擁有暴力的手段。

舉個(gè)比方，哪怕可能出現(xiàn)小偷或者劫匪入室來搶劫一個(gè)老人，也不能給護(hù)理機(jī)器人使用暴力的程序設(shè)定。這是很危險(xiǎn)的，因?yàn)榭蛻艉芸赡軐⑦@個(gè)護(hù)理機(jī)器人變成進(jìn)攻的工具。

阿西莫夫的機(jī)器人三定律，他自己在轉(zhuǎn)圈圈，其中還有一個(gè)更深的隱憂，如果讓機(jī)器人具備人那樣的價(jià)值判斷、自我意識、主體意識，它其實(shí)就接近甚至已經(jīng)是超級智能機(jī)器了。它不光在智力上超過人，它還有主體意識，這個(gè)時(shí)候人不被取代的話也會(huì)變成玩物。這是很危險(xiǎn)的。

基因工程也是一樣，生殖細(xì)胞是不能動(dòng)的，動(dòng)了生殖細(xì)胞，哪怕它的直接結(jié)果是健康的，間接的長遠(yuǎn)的后果你是不知道的。它也可能防止了艾滋病，但是容易感染其他的疾病。另外人如果在生殖細(xì)胞上動(dòng)刀的話，可能就像我們的美容一樣，美容手術(shù)開始是為了彌補(bǔ)人的相貌的不足，但是現(xiàn)在變成我沒有雙眼皮我也割一個(gè)，我鼻子不夠高要整一整，變成一個(gè)美容術(shù)?；蚬こ桃部赡茏兂梢粋€(gè)美智術(shù)，會(huì)造成人的很大的不平等。

這方面的規(guī)則法律還是要盡可能嚴(yán)苛一些，這是我的想法。不一定對。

機(jī)器人的自我意識是什么

（孫富春教授補(bǔ)充解釋了自動(dòng)化科學(xué)對機(jī)器人自我意識的理解，“這個(gè)機(jī)器人的自我意識就是知道自己的存在和知道周邊環(huán)境的存在，是最基本的自我意識。何老師講的自我意識可能比這要高得多，我講的是最基本的自我意識。”）

剛才孫老師談到機(jī)器人自我意識的問題，在哲學(xué)上自我意識不僅僅是意識到自己的存在，它是理性和非理性，包括感情、意志。是一個(gè)綜合體，更重要的它是一個(gè)主體意識，意識到自己不是一個(gè)工具一個(gè)手段，是獨(dú)立的主體。

我不知道人工智能會(huì)不會(huì)形成它自己的某種統(tǒng)一的統(tǒng)覺意識，如果產(chǎn)生，那將是一種什么樣的自我意識？和人的自我意識有什么不一樣？我作為一個(gè)人文學(xué)者，不是科學(xué)家，不像樂觀的科學(xué)家那么敢預(yù)判。至于是不是好事，更不知道。就像我們對不知道的事情，比如死亡，死后到底有什么或者沒有什么，我們不知道，但為什么人那么害怕死亡？人為什么不害怕誕生之前的虛無？真的是不好解答。

我承認(rèn)我的無知。

有自我意識的機(jī)器人可能會(huì)取代人，或者把人當(dāng)玩物當(dāng)寵物，而我們甘心做一個(gè)寵物嗎？還不是每個(gè)人都有這樣的資格，你越長得可愛或者越傻越容易變成寵物，你越聰明越深思越難變成寵物。

如果我們發(fā)現(xiàn)一只狗在沉思，或者一只貓?jiān)谏钏?，我們就懷疑它是不是病了，就覺得它有點(diǎn)像個(gè)怪物不敢養(yǎng)它了。所以人的處境是危險(xiǎn)的?？偠灾?，發(fā)展超級機(jī)器人對人來說，大中小問題都存在。

技術(shù)是經(jīng)濟(jì)強(qiáng)大的引擎，今人創(chuàng)造了前人想也想不到的充分涌流的財(cái)富，那么也創(chuàng)造了時(shí)間，用馬克思的話說，閑暇時(shí)間的多少，是社會(huì)進(jìn)步的一個(gè)標(biāo)志。

人工智能一個(gè)最大的夸耀就是可以為人類創(chuàng)造更多的財(cái)富和便利，讓人擁有更多的閑暇。

但真正會(huì)利用閑暇進(jìn)行創(chuàng)造的永遠(yuǎn)是少數(shù)，會(huì)欣賞的比少數(shù)更多一些，但這二者加起來可能還是少數(shù)。當(dāng)然，這也沒什么可怕的。林肯說過，上帝造了那么多人，尤其普通人更多，他們穩(wěn)定了這個(gè)世界，穩(wěn)定了這個(gè)社會(huì)。那些創(chuàng)造的人很可能互相打架，奧林匹克諸神很容易互相嫉妒，互相打架，更多的普通人穩(wěn)定了這個(gè)世界，但我們也要拋除不切實(shí)際的幻想，不要認(rèn)為只要是外在的條件達(dá)到了，甚至物質(zhì)的條件達(dá)到了，或者教育的手段達(dá)到了，我們就會(huì)出現(xiàn)無數(shù)的天才，不太可能。

我就說到這里吧。