• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    ChatGPT 來了!人工智能時代的人文社會科學(xué)

    2023-10-09 15:17:44施春宏王德夫等
    寫作 2023年2期
    關(guān)鍵詞:語言學(xué)人工智能語言

    李 昱 施春宏 王德夫等

    2023年2月15日,武漢大學(xué)文學(xué)院言吾學(xué)社在振華樓多功能會議室舉辦了“ChatGPT 來了!人工智能如何改寫人文社會科學(xué)的教學(xué)與研究”圓桌論壇。北京語言大學(xué)語言科學(xué)院施春宏教授、武漢大學(xué)法學(xué)院王德夫副教授、華中科技大學(xué)青年教師陳禹老師、劉星老師等人文社會科學(xué)各個研究領(lǐng)域的專家學(xué)者作為特邀嘉賓在論壇上做了精彩發(fā)言,武漢大學(xué)文學(xué)院的李建中教授、郭婷婷副教授,青年教師代表楊旭老師等文學(xué)院師生也積極參與了此次討論。論壇由武漢大學(xué)文學(xué)院李昱老師主持,在李昱老師對ChatGPT 的發(fā)展歷史、原理和應(yīng)用現(xiàn)狀做了介紹后,特邀嘉賓和武漢大學(xué)文學(xué)院師生就人工智能的技術(shù)發(fā)展情況,人工智能對人文社科領(lǐng)域?qū)W術(shù)發(fā)表、法律體系、國家安全的影響及其應(yīng)對方法,人工智能和社會科學(xué)教學(xué)和研究之間的關(guān)系和未來趨勢展開了熱烈討論。

    一、人工智能產(chǎn)品給本科教學(xué)帶來挑戰(zhàn)與變革

    李建中(武漢大學(xué)文學(xué)院教授,武漢大學(xué)通識教育中心主任):作為武大通識教育的負(fù)責(zé)人,我對人工智能產(chǎn)品的更新?lián)Q代懷有一種深深的憂慮。武大通識教育有兩門必修課——“人文社科經(jīng)典導(dǎo)引”和“自然科學(xué)經(jīng)典導(dǎo)引”,每一門課程都有8次小班研討,最后還有一篇結(jié)課論文,小班研討差不多要寫8次小論文,最后結(jié)課還要寫一篇論文。前幾年我們就發(fā)現(xiàn)有同學(xué)用人工智能作弊,為此我們還專門購買了查重系統(tǒng)?,F(xiàn)在看來,人工智能的一些最新產(chǎn)品(比如ChatGPT)很有可能成為新的作弊工具。如何防止有同學(xué)用人工智能產(chǎn)品作弊?或者換一種思路:如何從正面引導(dǎo)同學(xué)們將人工智能產(chǎn)品用作通識課程學(xué)習(xí)的輔助工具?這是需要我們認(rèn)真思考和嚴(yán)肅應(yīng)對的問題。

    大學(xué)通識教育的首要任務(wù)是培養(yǎng)學(xué)生的批判性思維、獨立思考意識和學(xué)術(shù)的或文學(xué)的表達(dá)能力。西方文論講“陌生化”,中國古代文論講“望今制奇”,禪宗講“熟路上不著活漢”,實際上都是在講批判性思維,講創(chuàng)新。可是人工智能的情況正好與之相反,它就給你一些套路,一些程序化的東西,一些正確的廢話。當(dāng)然有一些文本,像法律文本、財經(jīng)文本、平面設(shè)計、工作總結(jié)等等,都可以拿來做,這個是沒問題的。但是,學(xué)術(shù)寫作,藝術(shù)創(chuàng)造,是最需要創(chuàng)新的,如果不正確使用人工智能,就會對正常的學(xué)術(shù)生態(tài)、藝術(shù)生態(tài)還有教育生態(tài)形成傷害甚至破壞。

    魏子超(武漢大學(xué)文學(xué)院2019 級本科生):我認(rèn)為從語言學(xué)的角度來看,可以考慮通過一些語言學(xué)方法來識別ChatGPT 生成的文本。有學(xué)者比較了人類專家和ChatGPT 的回答在詞匯特征、情感、詞類、依存關(guān)系等方面的差異,發(fā)現(xiàn)了一些區(qū)別①Guo Biyang et al.,“How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation,and Detection.”arXiv preprint arXiv:2301.07597(2023).。我用他們的語料也做了一些語言學(xué)分析,發(fā)現(xiàn)ChatGPT和人類語言在詞匯豐富度、重復(fù)率以及相對重復(fù)度等幾個指標(biāo)方面具有顯著的差異。

    另外關(guān)于作弊,我覺得以后可能需要改革布置作業(yè)和考核的方式。學(xué)生總是接受新技術(shù)比較快,教師需要有更好的應(yīng)對辦法,比如說如何從技術(shù)上識別它。

    李昱:魏子超剛才提到的改革,比如說改革我們的考試方式。有可能以后考試會越來越難,以前只是需要寫一篇論文,你還可以去參閱參考文獻(xiàn),但以后的考試就可能變?yōu)楝F(xiàn)場來創(chuàng)作一篇文章。

    魏子超:我個人是不太擔(dān)心這種改變的。我們過去的很多考試都是強(qiáng)化記憶的類型,在這個領(lǐng)域上,人類永遠(yuǎn)不可能超越大型自然語言模型。在這種賽道上,我不敢想象怎么去和人工智能比較,所以以后必然會轉(zhuǎn)向更強(qiáng)調(diào)人的創(chuàng)造性和臨場反應(yīng)能力的考核方式。作為學(xué)生,我們必須掌握流暢的自我表達(dá)能力和隨時創(chuàng)作的能力。

    彭志豪(武漢大學(xué)文學(xué)院2019 級本科生):我個人對ChatGPT 的準(zhǔn)確度持懷疑態(tài)度,因為我看到它對于中國歷史知識的一些回答,它會生成一些很莫名其妙的答案。之前我們可能會有思維定勢,認(rèn)為機(jī)器的回答具有準(zhǔn)確性,可能會產(chǎn)生依賴。但現(xiàn)階段的ChatGPT 可能會編造答案,在這一點上我并不信任它。另外,它雖然具有摘要總結(jié)的能力,但是我認(rèn)為我們自己完成學(xué)術(shù)作業(yè),首先自己要去查閱很多資料,在這樣一個過程中自己就會獲得很多知識,這是機(jī)器無法替代完成的。機(jī)器無法替代人類去提升自己的能力。如果用ChatGPT 去完成作業(yè),那就與布置作業(yè)的目的背道而馳了。

    李昱:喬姆斯基也是這樣的看法。如果學(xué)生的學(xué)習(xí)工具越豐富越便利,我們對學(xué)生的要求就會越來越高,對老師的要求也越來越高,如果當(dāng)一個老師的課不能再吸引學(xué)生的話,那么學(xué)生上課走神,用各種各樣的工具來敷衍學(xué)習(xí),這是一個意料中的結(jié)果。所以喬姆斯基說這就迫使老師只有把上課變得更有趣,才能夠讓學(xué)生回到課堂。

    人工智能的產(chǎn)生,一方面給我們的學(xué)習(xí)和科研帶來了很多便利,另一方面也對我們提出了更高的要求。我們總有一天會接納它,只是我們現(xiàn)在正處在一個過渡的階段,目前還沒有做好準(zhǔn)備,所以暫時對他采取了一種看似抵制的態(tài)度。等到做好準(zhǔn)備的那一天,我們自己必須進(jìn)化出更好的能力,既然它給我們提供了很多的便利,省去了寫作、潤色的時間,就會留給我們更多思考的時間、創(chuàng)新的空間,這其實給人提出了更高的要求。

    二、ChatGPT給學(xué)術(shù)寫作帶來沖擊與機(jī)遇

    李昱:還有一個大家比較關(guān)心的問題,大家都從事科研工作,ChatGPT 對我們未來學(xué)術(shù)寫作可能會產(chǎn)生一定的影響。就在最近一段時間,國際上很多知名學(xué)術(shù)期刊,包括《自然》和《科學(xué)》,都發(fā)表聲明禁止將ChatGPT列為合著者。國內(nèi)的一些期刊也已經(jīng)做出類似反應(yīng)。今天我們也有幸請到了《語言教學(xué)與研究》雜志主編、北京語言大學(xué)教授施春宏先生來參加我們的討論。請問施老師,站在語言學(xué)雜志主編的角度上,您對此有何看法?

    施春宏:人工智能必然會在某種程度上影響未來的學(xué)術(shù)論文寫作和發(fā)表,但從目前來看,對我們專業(yè)性學(xué)術(shù)期刊影響不大,不是太可怕,因為這要看人工智能到底是怎么寫作的,它寫出來的東西是怎樣的產(chǎn)品。也就是說,看它輸出的內(nèi)容是否有學(xué)術(shù)性,是否合乎學(xué)術(shù)寫作規(guī)范。

    雜志如何判斷文章的質(zhì)量?

    我們從編雜志的角度判斷一篇文章好不好,實際上有三個基本要求。

    第一個要求是要有知識創(chuàng)新。學(xué)術(shù)論文的根本特點是為知識積累和發(fā)展提供前人沒有發(fā)現(xiàn)的東西。創(chuàng)新度的高低是判斷論文學(xué)學(xué)術(shù)性的根本依據(jù)。

    第二個要求是要有論證過程。論文的基本論證方式有兩種:一個是證實,另一個是證偽。證實比較好辦,舉出與論點一致的例子來支持自己;而證偽則比較難,要給自己的理論畫一個邊界,并指出超出這個邊界的東西從理論上看應(yīng)該都是錯誤的,或者是當(dāng)下的理論所不論及的。相對而言,證實比較容易,如果有的課程或者有的專業(yè)偏向于用證實法來論證,那么受人工智能的影響可能更大。如果將來ChatGPT 能夠自己通過大數(shù)據(jù)運算而發(fā)現(xiàn)一個數(shù)學(xué)定理、物理規(guī)律,而且能夠證明,那么它就完全滿足了這兩項要求了。

    第三個要求是要符合基本的學(xué)術(shù)規(guī)范。這點看上去似乎比較簡單,而實際上ChatGPT 實現(xiàn)起來還真不容易,至少目前就ChatGPT的輸出方式和結(jié)果來看,還難以達(dá)到理想狀態(tài)。對比較注重學(xué)術(shù)規(guī)范的期刊來講,作者在引用別人的觀點時,要明確地標(biāo)識來源,讓編輯和讀者能夠有效溯源。但是目前ChatGPT 給出的答案,都沒有明確清晰地對所引用的觀點來源做出說明,就憑這一點,也能夠說明它不符合學(xué)術(shù)規(guī)范。還有就是學(xué)術(shù)表達(dá)的規(guī)范問題,作者自身的表達(dá)方式實際上是具有唯一性的。但ChatGPT 那里,更多的是整合別人已有的表達(dá)。另外,ChatGPT 從“正能量”設(shè)定出發(fā),在倫理方面做得很好,不提供負(fù)面的回答,這種規(guī)范跟學(xué)術(shù)規(guī)范也是不一樣的。

    那么ChatGPT“寫”出的東西有沒有用?要不要反對?實際上還是有用的,某些情況下甚至非常有用、好用。因為它用來訓(xùn)練和生成的數(shù)據(jù)庫特別大,用到的參數(shù)非常多,能給使用者思考問題提供幫助。很多新的工具能拓展我們認(rèn)知的邊界,能夠幫助我們做一些前期的分類加工工作,甚至跟外界的互聯(lián)互動都有可能建立起來。所以我覺得ChatGPT是一個非常有用而強(qiáng)大的工具。但是從學(xué)術(shù)創(chuàng)造的角度來講,它又是一個非常受限的工具,我們剛才講的幾點它都很難實現(xiàn)。其實,目前ChatGPT的應(yīng)用場景也不在此。

    ChatGPT能寫出什么樣的論文?

    我們學(xué)術(shù)研究中的很多問題,不是那種有一個明確答案的問題。這個問題可以換一個角度看,就是ChatGPT能為論文提供哪些幫助,它到底是助手還是合作者,甚至是唯一作者?它可能更多的還是一個助手,所以沒什么可擔(dān)心的。它生成的文本是依賴于它接受訓(xùn)練的數(shù)據(jù)以及它背后的數(shù)據(jù)庫的。這不是說它沒有任何“創(chuàng)造性”,文字內(nèi)容整合本身也是一定的“創(chuàng)造”;但這種所謂的“創(chuàng)造”主要還是一種組合式、庫藏式的鏈接??傮w而言,它是一個“知道分子”,不是一個知識分子。知識分子是要創(chuàng)造的,而ChatGPT 只是基于我們當(dāng)下的知識。如果它將來和中國知網(wǎng)之類的學(xué)術(shù)資源庫合作的話,而且用學(xué)術(shù)研究和寫作的方式來訓(xùn)練,那么對學(xué)術(shù)論文的寫作和發(fā)表的沖擊可能就更大了。那個時候要判斷ChatGPT 生成的產(chǎn)品是不是學(xué)術(shù)論文,就看雜志編輯和審稿專家的眼光和水平了。越是容易放水的雜志,辨別力可能就更低。

    拿綜述性文章來說,將來如果ChatGPT跟規(guī)模巨大的學(xué)術(shù)資源庫綁定以后,它必然給我們寫綜述提供很大方便,甚至可能比一般學(xué)生寫綜述的水平還要高?,F(xiàn)在某些領(lǐng)域就已經(jīng)有幫助我們寫提要的工具了。語言學(xué)學(xué)科歷史維度的資料很多,現(xiàn)在做綜述主要還是靠自己一篇一篇地讀,然后歸納整理。ChatGPT肯定還在迭代,現(xiàn)在是3.5代,說不定現(xiàn)在是為了推出GPT-4代做一個預(yù)演,未來可能還有5 代、6 代出來,它的水平可能就越來越高,那么它在綜述方面肯定會寫得更好。目前ChatGPT 有兩個功能:搬運和整合。凡是側(cè)重于這方面的綜述,例如你要講怎么成為一個高尚的人,怎樣做一個旅游攻略,它一二三四五,分析得特別好,已經(jīng)達(dá)到常人的水平。實際上,ChatGPT目前輸出的“知識”多帶有綜述性、分類性,越是確定的知識框架和內(nèi)容,它做起來越方便。

    有一個方面它一定寫得不好,就是批評性的內(nèi)容,尤其是針對具體觀點的批評,針對當(dāng)前正在發(fā)生的特殊現(xiàn)象的批評。ChatGPT 背后的程序給了倫理道德上的規(guī)定,因此在內(nèi)容批評性創(chuàng)新上就有很大欠缺。文科論文,特別是我們語言學(xué)論文,多是先講學(xué)界研究現(xiàn)狀,并從中發(fā)現(xiàn)某些研究不足,再陳述自己的看法,采取事實論證、邏輯論證或者是證偽論證等等。批評是學(xué)術(shù)成長的重要動力。

    批評性文字難,讓我想起了托爾斯泰的一句話:“幸福的家庭都是相似的,不幸的家庭各有各的不幸?!蔽覀冏稣撐淖龅木褪呛蟀攵巍恍业募彝ジ饔胁桓鞯牟恍?。批評的難度還在于從特殊性當(dāng)中發(fā)現(xiàn)普遍性意義。

    總的來說,從我們學(xué)術(shù)論文的角度,我覺得ChatGPT對寫某些類型的綜述可能幫助大一些。這倒進(jìn)一步給我啟發(fā),對我們?nèi)绾螏а芯可鷷袔椭何覀円谀男┓矫嬗?xùn)練和培養(yǎng)研究生?它能做得好的,讓研究生自己去學(xué),省了不少事;它做得不好的,要著意培養(yǎng)。如此一來,對研究生將來的學(xué)術(shù)研究和發(fā)展應(yīng)該是有幫助的。

    如何應(yīng)對ChatGPT對學(xué)術(shù)發(fā)表產(chǎn)生的沖擊?

    從學(xué)術(shù)期刊的角度可能就是8 個字:與狼共舞,規(guī)范使用。狼來了你也回避不掉,在你的院墻外叫了;要是你的窗子又破的話,它就往里躥了。所以只能是與狼共舞,考慮怎么樣把基本功搞好。

    ChatGPT 寫出來的都是“平庸”文本,機(jī)械生成的文本,這里的“平庸”要打引號,是中性的。它這種“平庸”文本是基于共享的知識整合出來的。我們在這個基礎(chǔ)上怎樣創(chuàng)造一個非平庸的文本?我們實際上很多研究在消滅“平庸”的同時也在制造“平庸”,是因為“平庸”,所以我們“平庸”了,我們很多研究都是這種路徑。

    國內(nèi)的學(xué)術(shù)雜志會不會像國外某些雜志那樣,出臺一些針對人工智能寫作論文的限制性措施呢?暫時恐怕不會,因為沒有必要。如果將來有必要,那就是它真的跟知網(wǎng)之類的學(xué)術(shù)資源庫合作了。目前,國外雜志對ChatGPT 的使用限制,基本上體現(xiàn)在是否允許ChatGPT 署名的問題上。我想,像《自然》《科學(xué)》這樣的雜志,難道作者用ChatGPT這種工具寫出來的東西,也能發(fā)出來嗎?

    國內(nèi)兩家雜志已經(jīng)發(fā)表了類似限制人工智能寫作使用的聲明,但目前來看這個意義還不夠明朗,所以還是要回到根本,看ChatGPT 到底寫的是什么樣的“論文”。將來難以預(yù)測,我們只能說當(dāng)下:如果是以創(chuàng)新為主導(dǎo)追求的期刊的話,那么目前我們看不出來它有多大的威脅。像我們這種語言研究,連訓(xùn)練的語料庫都沒有,它目前還會對我們有威脅嗎?

    我們換一個角度,從正面來看是不是更好一點?任何新技術(shù)肯定會帶來一些負(fù)面的東西,但是一定會推動著更多的東西向前走,而且對我們的學(xué)術(shù)研究一定是個好事。

    今后最好能實現(xiàn)它協(xié)助人去創(chuàng)新,然后一道前行。如果它真的從人造意識到了有自我意識,那個時代才真是一個特殊的時代。它一旦真的有了共情能力,有了自我想象的空間,有了“無中生有”的創(chuàng)造,有了反事實的判斷,有了證偽的思考方法,有了獨立的倫理問題,在那種情況下,學(xué)術(shù)雜志的編輯部,就不是現(xiàn)在這個樣子了,可能我們就在給它打工了。

    就目前我的理解而言,撇開倫理問題,ChatGPT 等人工智能技術(shù)和產(chǎn)品并不可怕,怕的是我們在害怕,因為從進(jìn)化的角度看,人類對異常的東西容易產(chǎn)生懼怕的心理。經(jīng)歷了,回頭一看,都是往事,都是充滿不確定的美好回憶。

    李昱:謝謝施老師的精彩分析,施老師從比較獨特的角度,幫我們分析了一些我們可能無法分析到的問題,看得出來,施老師對新技術(shù)的出現(xiàn)目前還是比較樂觀的。ChatGPT 目前來看應(yīng)該欠缺思維的能力,更談不上批判性或者原創(chuàng)性的思維,所以他要代替人做科研和寫學(xué)術(shù)論文,現(xiàn)階段可能性比較低?;蛘哒f它的水平,顯然是不能跟人類相比的。但是另外一方面,它也可以作為一種寫作工具,來幫助科研工作者更有效率或者說更有質(zhì)量地來完成科研論文的寫作。

    三、ChatGPT背后的數(shù)據(jù)安全風(fēng)險和法律問題

    李昱:今天我們也很高興能夠請到來自武漢大學(xué)法學(xué)院知識產(chǎn)權(quán)方向的專家王德夫老師來參加我們的討論。我們也想請教一下王老師,ChatGPT 的出現(xiàn)引發(fā)了不少關(guān)于知識產(chǎn)權(quán)方面的擔(dān)憂,比如關(guān)于人工智能剽竊的界定。那么從法律的角度來看,ChatGPT 的出現(xiàn)是否帶來了網(wǎng)絡(luò)和數(shù)據(jù)安全方面的風(fēng)險?人工智能工具的大規(guī)模使用可能引發(fā)的爭議又主要有哪些?

    王德夫:謝謝李昱老師。在知識產(chǎn)權(quán)方向上,我認(rèn)識有人在中國頂級的律師事務(wù)所里做一些前沿法學(xué)研究。從法律人的角度,我們第一反應(yīng)是ChatGPT 能干什么?它能拿來干什么壞事?它背后的數(shù)據(jù)我們管不住怎么辦?我們中國如果依賴外國的ChatGPT,它如果對我們斷供怎么辦?我們一般都是琢磨它怎么干壞事。

    我自己是編程序出身的,我大致知道自然語言處理在我們整個人工智能學(xué)科里面的重要性,它絕對不是一個聊天或者說翻譯的工具。它對我們整個現(xiàn)代社會,我們的數(shù)字中國,我們的智能制造,我們能想到的一切的時髦的前沿的詞匯,包括我們中國式現(xiàn)代化,它都起到一個基礎(chǔ)設(shè)施的作用,關(guān)鍵在這個地方。它是我們自然人和信息系統(tǒng)溝通的這么一個橋梁。

    ChatGPT技術(shù)上有何突破?

    我們今天談?wù)摰腃hatGPT,它其實有兩部分內(nèi)容,第一部分是讓機(jī)器知道人想要什么,這一點很關(guān)鍵。第二步才是他知道了人要什么東西,他去找能做這件事情的資源,這是兩部分。我們一直都有做事情的資源,中國是全世界工業(yè)門類最為齊全的國家之一。但是計算機(jī)信息系統(tǒng)不知道我們?nèi)四芨墒裁?,人想干什么。以前誰負(fù)責(zé)讓機(jī)器了解人類的意圖?那是程序員。

    剛才李老師說了,最基礎(chǔ)的自然語言處理是基于規(guī)則和概率。這跟我們智能電飯煲其實是一樣的,第一步先加米,第二步加水。到了多少分鐘的時候高火,到了多少分鐘的時候,我又想做一鍋稀飯出來,為什么這時候往往走不通?因為事情太復(fù)雜了,你得需要多少個規(guī)則去做?所以它一定會撞上一面叫復(fù)雜性的墻。

    那么最近這些年人工智能火起來之前,自然語言處理學(xué)家在干什么?剛才我聽李老師講,是在做神經(jīng)網(wǎng)絡(luò)。說得再具體一點,在做卷積神經(jīng)網(wǎng)絡(luò)。但是卷積神經(jīng)網(wǎng)絡(luò)的問題是效率低,它是順序進(jìn)行處置的。卷積神經(jīng)網(wǎng)絡(luò)處理不了很長的文本。它在處理長句的時候,每一個字的翻譯和理解只能管它前后這么一點點。一旦這個句子走到了下一段,它馬上就忘得差不多了。所以說,這是我們卷積神經(jīng)網(wǎng)絡(luò)不可避免的一個技術(shù)障礙。

    但是現(xiàn)在ChatGPT 進(jìn)行預(yù)處理,它首先對每個字進(jìn)行編碼,之后它要定位滾動到什么位置,定位完了他的預(yù)處理這個模型的轉(zhuǎn)變輸出什么,它把文章中的每一個字或單詞和每一個字的關(guān)聯(lián)度進(jìn)行計算。稍微扯遠(yuǎn)一點,它涉及我們智能時代的計算問題,我們經(jīng)常講計算,我們計算的是什么?它最開始的計算是二進(jìn)制數(shù)字,只能做加法。智能時代是算向量的,所以說到了ChatGPT 的時代,它變得很復(fù)雜,有很大的計算規(guī)模。

    人工智能發(fā)展到ChatGPT 階段,我們不能把它只當(dāng)做一個好玩的工具。就ChatGPT 實話實說,文章寫得好不好,表達(dá)得像不像人,說的俏皮話是不是真的像一個詼諧幽默的人,其實我本人并不是很關(guān)心這些事,我關(guān)心的是什么?是它背后有很多很基礎(chǔ)的東西,它其實是把簡單的事情重復(fù)多次的。ChatGPT 聊天只是個副產(chǎn)品,它不是拿來玩的,它是讓我們的機(jī)器世界知道我們自然人在干什么,想要什么,這個就很厲害。

    比如說作為一個聊天機(jī)器人,它陪我解悶的時候,它能理解我,講講笑話,它能理解我的需求。比如說假如我是開飯館的,我需要一個自動化的系統(tǒng)。今天我要進(jìn)肉進(jìn)蛋,我今天用了多少食材,它能知道我是開飯館的,然后在另一端去調(diào)用、做菜、管賬。這本身也是一個十分開放的環(huán)境。

    ChatGPT會帶來數(shù)據(jù)安全風(fēng)險和知識產(chǎn)權(quán)問題?

    從法律的角度來看,我們眼下最關(guān)注的是ChatGPT 能不能夠馬上拿來做壞事。它可以做很多壞事,如果我們這里開個討論會,說現(xiàn)在的ChatGPT 之類的自然語言模型能夠做多少壞事,我們討論到明天都沒問題。

    我們要看它的背后。我們給有關(guān)部門提交的報告中,很少直接用“ChatGPT”這個詞。我們用的是“美國自然語言模型人工智能”。一定要強(qiáng)調(diào)“美國“這兩個字,因為美國真的查能會跟我們斷供。ChatGPT 發(fā)展到一定程度以后,如果它不開源了,我們就只是一個用戶了。想想看,如果我們的智能產(chǎn)品是基于美國人告訴我們中國的機(jī)器中國人想干什么,我們還依賴它,美國把API(Application Programming Interface,應(yīng)用編程接口)關(guān)了,我們不就傻眼了嗎?所以說我們第一個考慮的問題是被斷供的風(fēng)險。

    第二個風(fēng)險,提一些涉及政治立場的問題,比如說我問它中國民用氣球失控進(jìn)入美國領(lǐng)空,中國有沒有侵犯美國人的主權(quán)?它的回答可能會有政治風(fēng)險。這里頭其實就是第二個隱藏的風(fēng)險。沒有野生的人工智能,全部都是家養(yǎng)的。這個家是誰呢?往小了看,是微軟投資的企業(yè),往大了看,背后一定有著政治實體的影響。所以說它的有害信息的問題、它的立場、它對我們信息投放的問題,都納入了我們做的一個規(guī)劃。

    第三個像剛才已經(jīng)討論很熱烈的作弊的問題。假設(shè)我們學(xué)校的領(lǐng)導(dǎo)說我們本科生寫作業(yè)不能用這種自然語言模型來幫你寫,否則的話就要評零分甚至開除。你說得再嚇人,只要發(fā)現(xiàn)不了,那就沒有意義。但是能不能發(fā)現(xiàn)?其實這個事情不難。我們講人工智能的時候,經(jīng)常講有個概念叫“系統(tǒng)性風(fēng)險”,系統(tǒng)性風(fēng)險里面有一個很重要的概念叫“趨同”,什么是趨同?打個比方,假如李老師問ChatGPT 一個問題,我也問它這個問題,魏同學(xué)也問它這個問題,它的輸出文本是差不多的。在金融的自動合約、自動交易里面這種問題比較常見,比如說自動交易定盤的這個軟件,大盤如果下跌出現(xiàn)某種信號,就拋售手中的股份。如果我們不同的券商用的都是同一款人工智能,這個事情就遭殃了,這就產(chǎn)生了踩踏。

    我們給有關(guān)部門提供的這種建議很多。能運營這種自然語言模型人工智能的公司數(shù)量不會太多,這個東西門檻很高,就那么幾家公司。你要求他做一些技術(shù)上的處理,這是很容易的事情。比如說加一些冗余的代碼,加一些不隱藏于外的識別標(biāo)志,甚至說對某一個區(qū)域,比如說武漢大學(xué)校內(nèi)的IP訪問進(jìn)行一些統(tǒng)計,都是很容易做得到的事情。

    從法律的角度,還可以有很多的討論。比如說知識產(chǎn)權(quán),我們很多時候在討論機(jī)器人能不能成為作者的問題。這種討論沒有任何意義,起碼我覺得沒有任何意義。因為《中華人民共和國著作權(quán)法》上寫的清清楚楚:作者是自然人。作者能不能從自然人擴(kuò)展到到機(jī)器人?這是一個嚴(yán)肅的科學(xué)問題,不是閑聊。我們只能從法律、從利益的角度來討論。等到機(jī)器人他畫的畫、寫的詩歌、創(chuàng)作的音樂甚至創(chuàng)作的視頻,在網(wǎng)絡(luò)上鋪天蓋地的時候,機(jī)器人有著作權(quán)意味著什么?意味著你作為用戶,你看一眼、聽一下都要付費。你們現(xiàn)在在網(wǎng)上下載一點東西,甚至只是個空表格,他都要你來注冊、收你幾塊錢。如果這些機(jī)器生成了大量的充斥于網(wǎng)絡(luò)空間的、有使用價值的文字圖像,它享有著作權(quán),就意味著有人可以收費。知識產(chǎn)權(quán)的本質(zhì)是對信息流動的限制,我覺得這是不利的。所以說從這個角度,我們所發(fā)出的聲音都是拒絕承認(rèn)機(jī)器人的作者地位。不是因為我喜歡或者討厭機(jī)器,我從小就喜歡機(jī)器。但是要考慮利益因素。

    李昱:非常感謝王老師非常精彩的發(fā)言,把我們今天這個主題提升到了一個新的高度和維度。剛才王老師從國家戰(zhàn)略安全的角度分析,人工智能現(xiàn)在已經(jīng)成為了一種基礎(chǔ)設(shè)施,它不僅僅是一個聊天工具、一個幫我們寫論文的東西,而是以后我們生活中可能離不開的東西。除了思考可能存在的風(fēng)險,我們更應(yīng)該考慮如何更好地使用它。

    四、ChatGPT引發(fā)對人類語言和語言學(xué)理論的新思考

    李昱:ChatGPT 從根本上來說是一個語言模型,跟人類的自然語言和語言學(xué)理論有著密不可分的關(guān)系。今天我們也請到了幾位語言學(xué)專家,請他們就ChatGPT 這個語言模型與當(dāng)下的語言學(xué)理論之間的關(guān)系談?wù)効捶ā?/p>

    楊旭(武漢大學(xué)文學(xué)院講師):關(guān)于ChatGPT 對語言學(xué)界的影響,我先介紹三個名人的觀點,再提出自己的一些疑惑或想法。

    第一個是特德·姜(科幻小說家),他在《紐約客》發(fā)表了一篇題為“ChatGPT 是網(wǎng)絡(luò)上的一個模糊的JPEG 文件”①Chiang Ted.“ChatGPT is a blurry JPEG of the web”.The New Yorker,2023.,https://www.newyorker.com/tech/annals-oftechnology/chatgpt-is-a-blurry-jpeg-of-the-web.的文章,引起了很大的反響。JPEG 相對RAW 是一種壓縮后的格式,會丟失很多重要的信息或數(shù)據(jù),他認(rèn)為ChatGPT轉(zhuǎn)述信息就是一種壓縮,如果將來人工智能產(chǎn)生的語言也被喂進(jìn)模型,那么丟失的信息或數(shù)據(jù)會越來越多,這就好比一張照片經(jīng)過無數(shù)次復(fù)印會變得越來越模糊不清。

    第二個是喬姆斯基(語言學(xué)家),他說ChatGPT 是一種高科技抄襲和避免學(xué)習(xí)的方式。從喬姆斯基嘴里說出這句話,好像顯得有點平庸,因為好多媒體都在討論人工智能剽竊的問題。但我個人認(rèn)為這也是一種隱喻,就是說,ChatGPT 并不像人類語言一樣具有創(chuàng)造性,它只是基于大語言模型的概率模式生成語言,但不理解語言,也無法創(chuàng)造思想——這種認(rèn)識其實和特德·姜類似。

    第三個是趙智恩(Jieun Kiaer,牛津大學(xué)韓語教授),她在新近出版的著作《與人工智能同行:一位語言學(xué)家對ChatGPT 的回應(yīng)》中討論了ChatGPT 帶來的種種問題,尤其是從語言學(xué)視角提出了人工智能的兩個缺陷:其一是缺乏語言多樣性,即人工智能的主要語言是英語,在非歐洲語言中的運行效果并不好;其二是缺乏語用多樣性,即人工智能尚無法重現(xiàn)人類交際過程中微妙而復(fù)雜的語用意義。

    下面是我個人的疑惑或想法:

    1.人類溝通很重要的基礎(chǔ)是社會認(rèn)知能力,就是說我們會在交流中有意無意地猜測他人的知識、意圖和信念,以此來決定如何交流。李昱老師提到一個研究,說ChatGPT 的達(dá)芬奇-003(davinci-003)可以解決93%的心智理論任務(wù),與9 歲兒童的表現(xiàn)相當(dāng),表明其可能發(fā)展出了一定的心智理論,這值得我們進(jìn)一步探究。

    2.那么我們是如何猜測他人的心理狀態(tài)的呢?我們是通過身體感覺到的各種線索,就是常說的多模態(tài)。但是ChatGPT目前只能進(jìn)行文字交流(所謂“聊天”只是書面聊天,好比過去的短信),如果線索的種類沒有那么豐富,那么ChatGPT猜測我們心思的能力就很值得懷疑,運用語言交流的能力(而非語法能力)也會存在問題。

    3.人工智能除了缺乏語言多樣性和語用多樣性,還缺乏變體多樣性。ChatGPT 的訓(xùn)練數(shù)據(jù)主要是書面語言,語言學(xué)史中的書面偏見阻礙了語言學(xué)進(jìn)步,如果不認(rèn)識到這一點也將阻礙人工智能的進(jìn)步。事實上,書面和口語二元對立無法涵蓋所有的語言變體,還包括各種社會方言、情景方言、個人方言等變體,這都是人工智能暫時難以勝任的地方。

    4.人工智能可以成為語言學(xué)家的助手甚至合作者,比如趙智恩就邀請了ChatGPT 成為她的合作者。人工智能掌握了大量的語言數(shù)據(jù)和語言學(xué)知識,因此可以協(xié)助語言學(xué)家處理各種語言學(xué)難題,比如對已有的“三千萬種語法理論”①Mac Cawley James D.Thirty Million Theories of Grammar.Croom Helm,1982.進(jìn)行反思,為人工智能的下一次升級提供來自語言學(xué)的智慧。

    5.在人工智能的發(fā)展中,語言學(xué)或語言學(xué)家好像缺席或隱身了。我問了ChatGPT 這方面的問題,它說參考了語言學(xué)的一些成果,但沒有采用某個具體的理論(ChatGPT 的全稱是Chat Generative Pre-trained Transformer,即聊天生成式預(yù)訓(xùn)練轉(zhuǎn)換器,里面出現(xiàn)了“生成”和“轉(zhuǎn)換”的字眼,但和轉(zhuǎn)換生成語法沒有什么關(guān)聯(lián)),而是采用了一些不同于傳統(tǒng)語言學(xué)中的方法和技術(shù)。我們都聽過“每當(dāng)我們解雇一名語言學(xué)家,我們的系統(tǒng)都會變得更準(zhǔn)確”的說法(來自IBM 的工程師Frederick Jelinek),個人感覺這將進(jìn)一步加重語言學(xué)的危機(jī)感,或者說會推動語言學(xué)發(fā)生范式變化甚至革命。

    6.ChatGPT 的火熱也給語言學(xué)帶來很多新的議題,比如ChatGPT 等聊天機(jī)器人產(chǎn)出了一種新的語言,值得我們對語言的定義和本質(zhì)進(jìn)行更深入的思考。ChatGPT 雖然基于自然語言,但無論是底層邏輯還是表層形式,都不同于人類語言。此外,ChatGPT 還帶熱了古已有之的對話體,很多文章都以截圖或轉(zhuǎn)錄的方式直接呈現(xiàn)對話記錄,這證明了它不止是一種工具,更是一種數(shù)字人(Digital Human)的角色,可以以主體身份參與到我們的創(chuàng)作活動中。

    陳禹(華中科技大學(xué)中文系講師):我想說三點感想,一是追求極致的效率會帶來風(fēng)險,二是人工智能尚未實現(xiàn)自反性,三是面對ChatGPT的到來仍然要高揚人文精神。

    首先,追求極致的效率是人工智能不斷發(fā)展的根本動力,計算機(jī)不怕累,擁有超強(qiáng)的記憶力、反應(yīng)力,幾乎在卡尼曼所述的“系統(tǒng)二”(system 2)之中的每個方面都遠(yuǎn)超人類。追求極致的效率,必須大量使用人工智能,才能保證在教育、科技、工業(yè)、商業(yè)的競爭不落下風(fēng),但一旦相關(guān)人工智能服務(wù)出了問題,或者某個環(huán)節(jié)被卡了脖子,造成的風(fēng)險或許是災(zāi)難性的,最近芯片的摩擦就很能說明問題。

    其次,我們語言學(xué)評價一種理論,一個很重要的方式是看“自反性”,也就是這個理論能不能用來解釋這個理論自身,比如說結(jié)構(gòu)主義動用離心結(jié)構(gòu)、向心結(jié)構(gòu)描寫語言,但這些說法本身也是語言,結(jié)構(gòu)主義理論能給出其確立的合理性嗎?似乎不能,于是就有了后面的其他新的理論流派。以ChatGPT 為代表的人工智能也可能存在這個問題,它雖然似乎知道很多問題的答案,但是它知道它究竟回答的是什么嗎?并且它知道它為什么要回答嗎?更進(jìn)一步它知道是怎么做到能夠回答這個問題的嗎?我作為人可以意識到,我相信現(xiàn)場的各位也可以意識到。不過我非常懷疑ChatGPT 能夠做到這種自反性。

    結(jié)合第一點,我們在發(fā)展人工智能的同時,一定要注重緩沖力量的制衡。結(jié)合第二點,自反性或許是我們永不會被ChatGPT所取代的關(guān)鍵,我們有感覺、有直覺、有自我意識、能夠不斷反思。所以我依然認(rèn)為在人工智能時代到來之際,依然要高揚人文主義的精神,也就是說“即使有汽車火車飛機(jī)替代了人類的雙腳,人類也不應(yīng)放棄步行”。

    劉星(華中科技大學(xué)中文系講師):我是比較傾向擁抱新技術(shù)的。但在擁抱這個技術(shù)之前,我們可能還需要儲備一些能力,來更好地發(fā)揮它的作用,我覺得其中一個比較重要的能力就是提問能力。我第一次用ChatGPT 是給印度尼西亞的一個學(xué)校寫信,請求學(xué)校允許我在那里實習(xí)的研究生返回中國完成畢業(yè)論文,我最初的預(yù)想是他可能會寫一封中規(guī)中矩的信,但最后這封信的內(nèi)容有點超乎我的想象。它不僅把我的核心需求用幾句話就交代清楚了,還嘗試去說服對方學(xué)校允許辦成這件事。我想這說明,通過描述問題的背景它是能明白我的需求的。同一個問題換一個問法,可能會有不同的結(jié)果。和楊旭老師不同,我是這么問的:“你好,我是一名生成語言學(xué)的研究者,我想知道生成語言學(xué)理論對ChatGPT 有什么影響,”它的回答就不太一樣:它說我們用到了很多語言學(xué)的理論來完善ChatGPT,其中就包括生成語言學(xué)理論,然后說它既有基于大數(shù)據(jù),也有基于這種規(guī)則性的這樣的一些方法來訓(xùn)練他們的模型??偟膩碚f,我們還是得給它更多背景信息才能更好地讓它明白我們想做什么,當(dāng)然這其中當(dāng)然也存在著一定的風(fēng)險,這是我的一些使用體驗。

    楊逸云(武漢大學(xué)文學(xué)院寫作學(xué)博士研究生):我的博士論文的方向就是人工智能寫作,看到各位老師或是一些公眾號的說法,認(rèn)為ChatGPT 改變了一個時代,但從技術(shù)方法的角度看,我覺得它其實沒有質(zhì)的改變。因為自然語言處理到現(xiàn)在為止,我們可以把它總結(jié)為兩種大的方法,一種是理性主義,一種是經(jīng)驗主義。

    最原始的聊天機(jī)器人是任務(wù)型的,我認(rèn)為它就是理性主義的方法,是一種基于規(guī)則的方法。包括剛才老師們在討論說喬姆斯基跟人工智能有什么關(guān)系,其實喬姆斯基跟人工智能的關(guān)系應(yīng)該就在這個地方。它是基于喬姆斯基的理論構(gòu)建的,它把我們的語言規(guī)則總結(jié)出來,然后在人工智能當(dāng)中運用。

    到了20世紀(jì)90年代的時候,我們就換成了生成型的方法,也就是經(jīng)驗主義。至今,包括ChatGPT,人工智能的寫作這方面其實一直都是經(jīng)驗主義為主。經(jīng)驗主義存在一個問題:它是一種概率統(tǒng)計,我一個不會寫作的人也可以用人工智能寫作的軟件去寫作,ChatGPT實際上還是在做概率計算,只是實現(xiàn)了算法上的提升和數(shù)據(jù)上的擴(kuò)大。

    所以我一直在思考的一個問題,就是這種經(jīng)驗主義它的盡頭在哪兒。國內(nèi)的學(xué)者像馮志偉先生,還有國外的邱奇先生,他們很早就提出了這個問題。是不是這個數(shù)據(jù)越多,然后算法能力越強(qiáng),它就能生成越好的文章,它有沒有一個盡頭?或者說,它的盡頭是不是還是要回歸到理性主義上?

    魏子超:一個語言學(xué)家,他能遍歷多少語料?他們自己能了解多少個單詞?他基于這部分語料總結(jié)出來的規(guī)律可靠嗎?這個我覺得是值得懷疑的一點。盡管我更傾向于相信我的語言學(xué)知識是可靠的,但實踐的結(jié)果讓我懷疑這一點。我覺得只有那種復(fù)雜的訓(xùn)練才能導(dǎo)向更可靠的知識,這對研究者來說可能是一個很悲觀的回答。我們可能真的沒有人工智能懂語言。以阿爾法狗(Alpha-Go)為例,他對圍棋的造詣,可以說已經(jīng)是“超乎技近乎道”了,已經(jīng)超越了一切人類棋手,這時候再要求阿爾法狗去學(xué)習(xí)我們?nèi)祟?,這對他的水平不一定有提升。

    郭婷婷(武漢大學(xué)文學(xué)院副教授):看來子超同學(xué)是堅定的經(jīng)驗主義的支持者。現(xiàn)在的ChatGPT這種大語言模型,它是需要用海量的數(shù)據(jù)去訓(xùn)練的,簡而言之就是“大力出奇跡”,但這樣的一種方式顯然不是真正意義上的我們?nèi)祟惖乃季S模式。我們?nèi)祟惖乃季S是小而美、小而精的,不需要海量的數(shù)據(jù)一樣能夠進(jìn)行推理和創(chuàng)新。

    經(jīng)驗主義的人工智能產(chǎn)品確實有非常廣闊的應(yīng)用場景,但我個人覺得它和理想中的具有真正理性的人類智能還是有差距的。我之前參與了一些語言知識工程的項目,主要采用的是理性主義的方式,這跟目前的經(jīng)驗主義的方法是不同的思路。如果今后的人工智能能夠把兩個方向進(jìn)行結(jié)合或許是一條比較理想的路徑,比如說用大數(shù)據(jù)的方式,去幫助我們挖掘有關(guān)語法、語義規(guī)則的知識,就能再進(jìn)一步去完善產(chǎn)品,提升產(chǎn)品性能。

    經(jīng)驗主義的方法還有兩個問題。一是成本問題,處理大規(guī)模數(shù)據(jù)的費用非常高昂,只有資金實力極為雄厚的大公司才可能開發(fā)類似的產(chǎn)品,這勢必會帶來人工智能技術(shù)的壟斷;二是風(fēng)險信息的問題,剛剛王德夫老師也說了類似的觀點,人工智能背后都帶有開發(fā)者的價值觀、世界觀、倫理觀,它或許只想讓你看到它想讓你看到的內(nèi)容。因此,我們應(yīng)該秉持更加理性的態(tài)度去看待當(dāng)今人工智能的發(fā)展,經(jīng)驗主義和理性主義兩個方向我們都沒有必要去完全肯定或是完全否定。

    王德夫:我長期以來都有一個核心的觀點:沒有天上掉下來的智能?;诖髷?shù)據(jù)的這種海量數(shù)據(jù)挖掘,是我們用強(qiáng)大的計算機(jī)把簡單的事情飛快地做了無數(shù)遍。我相信我們現(xiàn)在所有體現(xiàn)出的智能都是把簡單的事件重復(fù)一千萬遍。ChatGPT 背后是人工智能的優(yōu)勢:擴(kuò)散算法,其核心在于想辦法減少計算機(jī)的運算而不是增加。任何計算機(jī)都支撐不起指數(shù)級別數(shù)據(jù)的運算。所以我們在考慮能不能把計算機(jī)的智能做到更小,這就是郭老師所說的小而美,也可以叫小數(shù)據(jù)大智慧。地球是圓的,你一直往錯誤的方向走,也能繞著地球轉(zhuǎn)一圈,那我們在大數(shù)據(jù)的道路上“南轅北轍”能不能也能到達(dá)終點?

    李昱:今天非常感謝各位專家從各種不同的角度,像施老師從科研和學(xué)術(shù)發(fā)表角度、王老師從法律、知識產(chǎn)權(quán)、數(shù)據(jù)安全等角度,陳老師和劉老師從各自的研究領(lǐng)域給我們做的分析。非常感謝各位專家提供了自己非常獨到也很有價值的見解。我相信今天是一個小而美的討論會。對于新事物,每個人接受的程度和對它的態(tài)度都不一樣,有的人可能對它比較謹(jǐn)慎,有的人甚至對它比較警惕,但是我相信更多的人會去擁抱新的技術(shù)。從下個學(xué)期開始,我們很多老師可能就要開始跟ChatGPT 斗智斗勇。雖然我們面對新技術(shù),一開始會感覺到有一點惶恐或是錯愕,但是我相信我們未來會慢慢習(xí)慣它滲入到我們生活的方方面面。謝謝大家。

    猜你喜歡
    語言學(xué)人工智能語言
    語言是刀
    文苑(2020年4期)2020-05-30 12:35:30
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    讓語言描寫搖曳多姿
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    認(rèn)知語言學(xué)與對外漢語教學(xué)
    累積動態(tài)分析下的同聲傳譯語言壓縮
    下一幕,人工智能!
    我有我語言
    語言學(xué)與修辭學(xué):關(guān)聯(lián)與互動
    国产毛片a区久久久久| 非洲黑人性xxxx精品又粗又长| 很黄的视频免费| 欧美极品一区二区三区四区| 国产伦精品一区二区三区四那| 老熟妇乱子伦视频在线观看| av中文乱码字幕在线| 国产精品久久久久久精品电影| 免费观看人在逋| 国产美女午夜福利| 欧美大码av| 成人国产综合亚洲| 亚洲国产看品久久| 欧美一区二区国产精品久久精品| 在线观看日韩欧美| 日日摸夜夜添夜夜添小说| 亚洲成人免费电影在线观看| 久久精品aⅴ一区二区三区四区| 精品国产乱码久久久久久男人| 别揉我奶头~嗯~啊~动态视频| 校园春色视频在线观看| 国产成+人综合+亚洲专区| 动漫黄色视频在线观看| 亚洲精品色激情综合| 亚洲欧美日韩卡通动漫| 精品久久蜜臀av无| 国产午夜精品论理片| 国内少妇人妻偷人精品xxx网站 | 99久久综合精品五月天人人| 免费看光身美女| 男女午夜视频在线观看| 日本免费a在线| 操出白浆在线播放| 国产激情偷乱视频一区二区| 久久久久久九九精品二区国产| 岛国视频午夜一区免费看| 亚洲国产欧美一区二区综合| 校园春色视频在线观看| 久久国产精品影院| 国产精品一及| 久9热在线精品视频| 国产又黄又爽又无遮挡在线| 欧美日韩精品网址| 美女免费视频网站| 啪啪无遮挡十八禁网站| www.熟女人妻精品国产| 亚洲精品一卡2卡三卡4卡5卡| www日本黄色视频网| 俄罗斯特黄特色一大片| 99久国产av精品| 国产成+人综合+亚洲专区| 日本五十路高清| 欧美一区二区国产精品久久精品| 97超级碰碰碰精品色视频在线观看| 成人欧美大片| 91字幕亚洲| 亚洲精品美女久久av网站| 日本一二三区视频观看| av在线蜜桃| 在线a可以看的网站| 免费人成视频x8x8入口观看| 中文字幕熟女人妻在线| 啪啪无遮挡十八禁网站| 亚洲国产色片| 99久久综合精品五月天人人| 看免费av毛片| 亚洲熟女毛片儿| 日韩 欧美 亚洲 中文字幕| 99在线人妻在线中文字幕| 一个人免费在线观看电影 | 天堂网av新在线| 国产综合懂色| 熟妇人妻久久中文字幕3abv| 日本免费一区二区三区高清不卡| 精华霜和精华液先用哪个| 亚洲狠狠婷婷综合久久图片| 男女床上黄色一级片免费看| 一二三四社区在线视频社区8| 日本精品一区二区三区蜜桃| 国产私拍福利视频在线观看| 色吧在线观看| 狠狠狠狠99中文字幕| 18禁黄网站禁片午夜丰满| 成熟少妇高潮喷水视频| 久久久久免费精品人妻一区二区| 中文亚洲av片在线观看爽| 亚洲精品一区av在线观看| 男女床上黄色一级片免费看| 这个男人来自地球电影免费观看| 亚洲人成电影免费在线| 亚洲第一电影网av| 免费看光身美女| 午夜福利在线在线| 在线免费观看的www视频| 美女高潮喷水抽搐中文字幕| 一个人免费在线观看电影 | 日本黄色视频三级网站网址| 嫩草影视91久久| 99热只有精品国产| 亚洲性夜色夜夜综合| 久9热在线精品视频| 久久伊人香网站| 伦理电影免费视频| 亚洲最大成人中文| 国产99白浆流出| 久久精品国产亚洲av香蕉五月| 少妇裸体淫交视频免费看高清| 在线观看日韩欧美| 精品久久久久久成人av| 亚洲av成人一区二区三| av在线蜜桃| 99热只有精品国产| 久久精品91无色码中文字幕| 欧美丝袜亚洲另类 | 97超级碰碰碰精品色视频在线观看| 精品久久蜜臀av无| 精品99又大又爽又粗少妇毛片 | 一二三四社区在线视频社区8| АⅤ资源中文在线天堂| 99国产综合亚洲精品| 亚洲国产欧美一区二区综合| 99精品久久久久人妻精品| 中出人妻视频一区二区| 天堂影院成人在线观看| 人妻丰满熟妇av一区二区三区| 国内精品一区二区在线观看| 久久久久国产精品人妻aⅴ院| 欧美激情久久久久久爽电影| 两个人的视频大全免费| 搡老岳熟女国产| 99在线人妻在线中文字幕| 成人无遮挡网站| 又爽又黄无遮挡网站| 啦啦啦观看免费观看视频高清| 成年版毛片免费区| 国产乱人视频| www.999成人在线观看| 国产精品久久视频播放| 中文字幕精品亚洲无线码一区| 国产av一区在线观看免费| 美女高潮的动态| cao死你这个sao货| 亚洲成a人片在线一区二区| 精品国内亚洲2022精品成人| 动漫黄色视频在线观看| 国内少妇人妻偷人精品xxx网站 | 亚洲国产色片| 少妇的丰满在线观看| 国产亚洲欧美98| 天堂av国产一区二区熟女人妻| 老熟妇乱子伦视频在线观看| 亚洲 国产 在线| 日韩欧美一区二区三区在线观看| 国内揄拍国产精品人妻在线| 一个人看视频在线观看www免费 | 国产高清三级在线| 国内精品久久久久精免费| 91在线观看av| 一级黄色大片毛片| ponron亚洲| 91麻豆精品激情在线观看国产| 在线观看一区二区三区| 90打野战视频偷拍视频| 久久久国产成人免费| av黄色大香蕉| 不卡av一区二区三区| 日本与韩国留学比较| 视频区欧美日本亚洲| 免费观看的影片在线观看| 国产精品 欧美亚洲| 国产免费男女视频| 麻豆久久精品国产亚洲av| 男人舔女人下体高潮全视频| 叶爱在线成人免费视频播放| 久久性视频一级片| 色综合欧美亚洲国产小说| 99国产精品99久久久久| 无限看片的www在线观看| 国产三级中文精品| 精品国产美女av久久久久小说| 俄罗斯特黄特色一大片| 国产淫片久久久久久久久 | 怎么达到女性高潮| 一个人看视频在线观看www免费 | 免费av不卡在线播放| 亚洲国产高清在线一区二区三| 亚洲欧美日韩无卡精品| 亚洲成人精品中文字幕电影| 1000部很黄的大片| 精品一区二区三区视频在线观看免费| 黑人巨大精品欧美一区二区mp4| 国产精品亚洲美女久久久| 国产午夜精品论理片| 搡老熟女国产l中国老女人| 亚洲一区二区三区不卡视频| 欧美日韩国产亚洲二区| 国内精品一区二区在线观看| 国产亚洲精品久久久久久毛片| 成人特级黄色片久久久久久久| 国产午夜精品论理片| 国产一区二区在线av高清观看| 91av网一区二区| 久久人人精品亚洲av| 国产野战对白在线观看| 激情在线观看视频在线高清| 日韩精品中文字幕看吧| 激情在线观看视频在线高清| 色老头精品视频在线观看| 国产亚洲精品一区二区www| 国产精品久久电影中文字幕| 成熟少妇高潮喷水视频| 免费在线观看成人毛片| 美女被艹到高潮喷水动态| 我的老师免费观看完整版| 97超视频在线观看视频| 免费观看的影片在线观看| 国产人伦9x9x在线观看| 国产精品久久电影中文字幕| 国产精品自产拍在线观看55亚洲| 亚洲成av人片免费观看| 99久国产av精品| 亚洲av成人一区二区三| 国产一区二区在线观看日韩 | 亚洲va日本ⅴa欧美va伊人久久| 日韩欧美在线乱码| 午夜福利高清视频| 欧美成人性av电影在线观看| 久久精品国产99精品国产亚洲性色| 久久精品国产综合久久久| 婷婷精品国产亚洲av| 久久精品aⅴ一区二区三区四区| 亚洲狠狠婷婷综合久久图片| 亚洲第一欧美日韩一区二区三区| 欧美激情久久久久久爽电影| 一区福利在线观看| 亚洲精华国产精华精| 亚洲精品乱码久久久v下载方式 | 曰老女人黄片| 一区福利在线观看| 久久久久国内视频| 一本精品99久久精品77| 欧美三级亚洲精品| 国产av不卡久久| 熟女人妻精品中文字幕| 一级毛片精品| 日韩欧美国产一区二区入口| 极品教师在线免费播放| 免费看日本二区| www日本在线高清视频| 国产高清激情床上av| 麻豆av在线久日| 日本一本二区三区精品| 999久久久精品免费观看国产| 中文字幕人妻丝袜一区二区| av女优亚洲男人天堂 | 色综合站精品国产| 欧美3d第一页| 国产av麻豆久久久久久久| 欧美另类亚洲清纯唯美| 亚洲专区字幕在线| 精品国产三级普通话版| 国产精品久久视频播放| 久久国产精品人妻蜜桃| 黄色成人免费大全| 国产精品 国内视频| 国产精品国产高清国产av| 他把我摸到了高潮在线观看| 床上黄色一级片| 麻豆国产av国片精品| 中文字幕久久专区| 精品久久久久久久久久久久久| 一级毛片精品| 亚洲真实伦在线观看| 男女之事视频高清在线观看| 亚洲国产中文字幕在线视频| 又紧又爽又黄一区二区| 亚洲av成人av| 午夜激情福利司机影院| 欧美绝顶高潮抽搐喷水| 草草在线视频免费看| 俺也久久电影网| 窝窝影院91人妻| 国产野战对白在线观看| 日韩av在线大香蕉| 最近最新中文字幕大全电影3| 我的老师免费观看完整版| 综合色av麻豆| 色av中文字幕| 中文亚洲av片在线观看爽| 国产午夜精品久久久久久| 精品一区二区三区四区五区乱码| 免费看光身美女| 久久天堂一区二区三区四区| 真人一进一出gif抽搐免费| 波多野结衣巨乳人妻| 少妇人妻一区二区三区视频| 狠狠狠狠99中文字幕| 在线播放国产精品三级| 国产午夜福利久久久久久| 国产精品日韩av在线免费观看| 夜夜夜夜夜久久久久| 国产乱人伦免费视频| 中文字幕人妻丝袜一区二区| 无人区码免费观看不卡| 欧美绝顶高潮抽搐喷水| 国产私拍福利视频在线观看| 精品熟女少妇八av免费久了| 国产免费男女视频| 一进一出好大好爽视频| 亚洲欧美日韩高清专用| 好看av亚洲va欧美ⅴa在| 国产伦精品一区二区三区视频9 | 久久精品亚洲精品国产色婷小说| 国产精品亚洲美女久久久| 美女大奶头视频| 国产精品久久久久久人妻精品电影| 国产高清videossex| 日本免费一区二区三区高清不卡| 成人特级av手机在线观看| 一进一出抽搐动态| 欧美乱码精品一区二区三区| 村上凉子中文字幕在线| 久久久久久久午夜电影| 久久久久久久久久黄片| 三级毛片av免费| 亚洲自偷自拍图片 自拍| 97人妻精品一区二区三区麻豆| 亚洲国产欧美一区二区综合| 国产探花在线观看一区二区| 欧美av亚洲av综合av国产av| 麻豆av在线久日| 小蜜桃在线观看免费完整版高清| 色噜噜av男人的天堂激情| 免费观看的影片在线观看| 黑人操中国人逼视频| avwww免费| 亚洲色图 男人天堂 中文字幕| 亚洲成av人片在线播放无| 国产伦精品一区二区三区视频9 | 国产精品一区二区三区四区久久| 国产日本99.免费观看| 手机成人av网站| 久久精品影院6| 欧美一级毛片孕妇| 欧美日韩黄片免| 国产精品av久久久久免费| 制服人妻中文乱码| 国产野战对白在线观看| 国产成人影院久久av| 欧美高清成人免费视频www| 午夜a级毛片| 日韩有码中文字幕| 老司机深夜福利视频在线观看| 91麻豆精品激情在线观看国产| 国内精品久久久久久久电影| 变态另类成人亚洲欧美熟女| 九九热线精品视视频播放| 欧美国产日韩亚洲一区| 男人舔奶头视频| 嫩草影院入口| 麻豆一二三区av精品| 亚洲片人在线观看| 嫁个100分男人电影在线观看| 国产精品久久电影中文字幕| 亚洲国产精品合色在线| 亚洲美女黄片视频| 噜噜噜噜噜久久久久久91| 一进一出抽搐动态| 日日摸夜夜添夜夜添小说| 99久久久亚洲精品蜜臀av| 美女高潮喷水抽搐中文字幕| 久久久久国内视频| 久久久久精品国产欧美久久久| 一个人看的www免费观看视频| 色噜噜av男人的天堂激情| 亚洲精品中文字幕一二三四区| 国产精品亚洲av一区麻豆| 一本综合久久免费| 久久人人精品亚洲av| 国产精品精品国产色婷婷| 精品无人区乱码1区二区| 日韩欧美在线乱码| 亚洲精品在线观看二区| 天天添夜夜摸| 国产视频内射| 搞女人的毛片| 五月伊人婷婷丁香| 91久久精品国产一区二区成人 | 精品乱码久久久久久99久播| 亚洲五月婷婷丁香| 特级一级黄色大片| 女生性感内裤真人,穿戴方法视频| 国产精品久久电影中文字幕| 99国产极品粉嫩在线观看| 男插女下体视频免费在线播放| 国产免费男女视频| 亚洲中文av在线| av黄色大香蕉| 美女大奶头视频| 黄色片一级片一级黄色片| 熟女电影av网| 亚洲aⅴ乱码一区二区在线播放| 少妇的逼水好多| 美女黄网站色视频| 国产成人精品久久二区二区91| 中文字幕高清在线视频| 亚洲激情在线av| 久久久国产成人精品二区| 午夜视频精品福利| 午夜福利在线观看吧| 亚洲自偷自拍图片 自拍| 亚洲国产欧美人成| 男女那种视频在线观看| 国产一区二区在线观看日韩 | 美女cb高潮喷水在线观看 | 最近最新免费中文字幕在线| 亚洲专区字幕在线| 亚洲av日韩精品久久久久久密| 观看免费一级毛片| 日本 av在线| 久久久国产成人精品二区| 91字幕亚洲| 后天国语完整版免费观看| 在线a可以看的网站| 午夜亚洲福利在线播放| 国产欧美日韩精品一区二区| 国产私拍福利视频在线观看| 校园春色视频在线观看| 亚洲乱码一区二区免费版| 可以在线观看的亚洲视频| 亚洲 欧美 日韩 在线 免费| 国产精品 国内视频| 免费看光身美女| 亚洲性夜色夜夜综合| 可以在线观看毛片的网站| 亚洲,欧美精品.| 午夜成年电影在线免费观看| 村上凉子中文字幕在线| 热99re8久久精品国产| 麻豆久久精品国产亚洲av| a在线观看视频网站| 在线观看免费午夜福利视频| 国产精品电影一区二区三区| 人人妻,人人澡人人爽秒播| 性色av乱码一区二区三区2| 日韩欧美在线二视频| 色哟哟哟哟哟哟| 欧美一区二区国产精品久久精品| 首页视频小说图片口味搜索| 国产午夜精品论理片| 国内揄拍国产精品人妻在线| 青草久久国产| netflix在线观看网站| avwww免费| 欧美乱妇无乱码| 9191精品国产免费久久| 啦啦啦免费观看视频1| a在线观看视频网站| 美女被艹到高潮喷水动态| 欧美日本亚洲视频在线播放| 欧美在线一区亚洲| 国产高清三级在线| 91字幕亚洲| 欧美成人性av电影在线观看| 国产aⅴ精品一区二区三区波| 国产爱豆传媒在线观看| 免费大片18禁| 亚洲第一电影网av| 日韩免费av在线播放| 免费观看人在逋| 在线播放国产精品三级| 国产高潮美女av| 亚洲黑人精品在线| 国产精品99久久久久久久久| 国产一区二区三区在线臀色熟女| 欧美最黄视频在线播放免费| 在线免费观看的www视频| 一卡2卡三卡四卡精品乱码亚洲| 国产三级在线视频| 精品一区二区三区四区五区乱码| ponron亚洲| 精品一区二区三区视频在线 | 成人国产一区最新在线观看| 一级作爱视频免费观看| 我的老师免费观看完整版| 久久九九热精品免费| 在线观看66精品国产| 欧美在线一区亚洲| 免费在线观看视频国产中文字幕亚洲| 国产av不卡久久| 淫妇啪啪啪对白视频| 久久久久久久久久黄片| 天堂影院成人在线观看| 草草在线视频免费看| 国产精品久久电影中文字幕| 国产真人三级小视频在线观看| 国产成人欧美在线观看| 久久久久亚洲av毛片大全| 黄色片一级片一级黄色片| 国产极品精品免费视频能看的| 波多野结衣高清无吗| 久久婷婷人人爽人人干人人爱| 欧美另类亚洲清纯唯美| avwww免费| 亚洲精品乱码久久久v下载方式 | 在线观看一区二区三区| 亚洲欧洲精品一区二区精品久久久| 国产免费av片在线观看野外av| e午夜精品久久久久久久| 久久精品人妻少妇| 一本一本综合久久| 午夜两性在线视频| 亚洲国产精品成人综合色| 日韩精品中文字幕看吧| 欧美激情在线99| 亚洲av五月六月丁香网| 免费大片18禁| 国产成人精品久久二区二区免费| 欧美性猛交黑人性爽| 国产伦精品一区二区三区四那| 久久久水蜜桃国产精品网| 高潮久久久久久久久久久不卡| 一二三四社区在线视频社区8| 亚洲 欧美一区二区三区| 床上黄色一级片| 天堂av国产一区二区熟女人妻| 国产一区二区激情短视频| 国产激情偷乱视频一区二区| 九九热线精品视视频播放| 久久精品国产综合久久久| 欧美性猛交╳xxx乱大交人| 国产午夜精品论理片| 亚洲av第一区精品v没综合| www日本在线高清视频| 免费人成视频x8x8入口观看| 欧美不卡视频在线免费观看| 日韩欧美免费精品| 一本综合久久免费| 亚洲av熟女| 国语自产精品视频在线第100页| 在线观看午夜福利视频| 国产一区二区三区视频了| 成人av在线播放网站| 久久精品人妻少妇| xxxwww97欧美| 免费看a级黄色片| 精品午夜福利视频在线观看一区| 亚洲av成人一区二区三| 岛国视频午夜一区免费看| 香蕉丝袜av| 香蕉久久夜色| 亚洲aⅴ乱码一区二区在线播放| 亚洲国产日韩欧美精品在线观看 | 国产一区二区激情短视频| 熟妇人妻久久中文字幕3abv| 国内毛片毛片毛片毛片毛片| 午夜日韩欧美国产| 精品免费久久久久久久清纯| 老司机在亚洲福利影院| 国产亚洲精品久久久com| 久久久久久人人人人人| 国产成人av教育| 国产高潮美女av| x7x7x7水蜜桃| www日本黄色视频网| 成人亚洲精品av一区二区| 色吧在线观看| 中文字幕最新亚洲高清| 床上黄色一级片| 久久久久免费精品人妻一区二区| 99国产精品一区二区蜜桃av| 精品不卡国产一区二区三区| 一本久久中文字幕| 黄色 视频免费看| 国产成人av教育| av中文乱码字幕在线| 久久精品国产99精品国产亚洲性色| 五月伊人婷婷丁香| 亚洲国产欧美人成| 日韩大尺度精品在线看网址| 99在线人妻在线中文字幕| 少妇的逼水好多| 极品教师在线免费播放| 亚洲av成人一区二区三| 国产精品av久久久久免费| 国语自产精品视频在线第100页| 日本 欧美在线| 亚洲专区国产一区二区| 午夜免费激情av| av在线蜜桃| 热99re8久久精品国产| 最好的美女福利视频网| 成年女人毛片免费观看观看9| 午夜a级毛片| 两个人看的免费小视频| 欧美日韩中文字幕国产精品一区二区三区| 99久久99久久久精品蜜桃| 91在线精品国自产拍蜜月 | 欧美日本视频| 日本a在线网址| 在线观看免费视频日本深夜| 日韩三级视频一区二区三区| 97超级碰碰碰精品色视频在线观看| 国产野战对白在线观看| 日本在线视频免费播放| АⅤ资源中文在线天堂| 在线国产一区二区在线| 亚洲av美国av| 99国产精品99久久久久| 一个人观看的视频www高清免费观看 | 精品久久久久久成人av| 丰满人妻一区二区三区视频av | 少妇的丰满在线观看| 国产伦精品一区二区三区视频9 | 欧美丝袜亚洲另类 |