• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    智能制造人機協(xié)同制造系統(tǒng)安全問題及其應(yīng)對措施

    2018-06-29 02:01:32盧光明
    網(wǎng)絡(luò)空間安全 2018年2期
    關(guān)鍵詞:人機協(xié)同

    盧光明

    摘 要:智能制造系統(tǒng)是一種高度復(fù)雜的人機協(xié)同系統(tǒng),協(xié)同問題和安全問題是該系統(tǒng)面臨的主要問題,而有效的人機協(xié)同是保證智能系統(tǒng)安全和效率的重要保證。論文從人類智能和機器智能之間的差異角度,分析這種差異可能導(dǎo)致的智能制造系統(tǒng)的安全,說明了智能制造系統(tǒng)可能面臨的安全問題,并提出了可能的應(yīng)對措施。

    關(guān)鍵詞:智能制造系統(tǒng)安全;人機協(xié)同;人類智能;機器智能

    中圖分類號:120.5099 文獻標識碼:A

    Security problems and Its countermeasures for human-machine-cooperative intelligent manufacturing system

    Abstract: Security and coordination are key problems for human-machine-cooperative intelligent manufacturing system. From the difference between the Human Intelligent and Machine Intelligent, this thesis reveal the potential security problems and its countermeasures for human-machine-cooperative intelligent manufacturing system.

    Key words: security problems for intelligent manufacturing system; human-machine-cooperative; human intelligent; machine intelligent

    1 引言

    信息技術(shù)的飛速發(fā)展及其在社會經(jīng)濟領(lǐng)域的廣泛滲透不僅會極大地促進整個社會運行效率的提升,加速整個社會的創(chuàng)新發(fā)展進程,同時也會改變社會的風(fēng)險分布格局,增加整個社會經(jīng)濟的整體運行風(fēng)險。本文主要從信息技術(shù)在制造領(lǐng)域的應(yīng)用,探討信息技術(shù)應(yīng)用在提升傳統(tǒng)制造企業(yè)效率的同時,也極大地增加了未來人機制造系統(tǒng)的風(fēng)險的情況下,分析未來人機制造系統(tǒng)的風(fēng)險特征,以及如何應(yīng)對智能制造時代,人機制造系統(tǒng)的各種可能風(fēng)險。人類文明的所有成果都是需要付出相應(yīng)的代價,而智能化時代,我們必須付出的代價可能就是各種風(fēng)險的增加,以及在風(fēng)險控制方面付出必要的代價。

    2 智能制造的風(fēng)險特征

    2.1人機智能協(xié)同問題

    智能制造從根本上來說就是要借助不斷發(fā)展的現(xiàn)代先進技術(shù)改變傳統(tǒng)制造環(huán)節(jié)的各個流程,以更經(jīng)濟的方式實現(xiàn)更高的客戶價值,甚至創(chuàng)造出新的制造形態(tài)和模式,提升制造企業(yè)的整體競爭力。從操作層面來說,就是讓傳統(tǒng)制造環(huán)節(jié)中基于人與機器之間機械性能方面的協(xié)同,向以更高層面的人與機器智能之間智能方面的協(xié)同發(fā)展,減少人類智能的缺陷對制造環(huán)節(jié)的影響,而充分借助機器智能方面的優(yōu)勢來彌補人類智能的可能不足。因此,從根本上來說,智能制造就是要探索機器智能與人類智能之間的平衡和協(xié)同發(fā)展模式,創(chuàng)造出人類智能和機器智能之間相互促進、相互補充的新的人類制造文明形態(tài)。

    2.2 智能交互安全問題

    習(xí)慣于傳統(tǒng)制造環(huán)節(jié)中人與人、人與機械之間相互作用所產(chǎn)生的風(fēng)險,未來智能技術(shù)的發(fā)展和向制造環(huán)節(jié)的滲透,將改變這種傳統(tǒng)的操作界面,以及操作界面的管理模式,從而產(chǎn)生出極大的制造安全風(fēng)險,甚至?xí)N藏著新的可能的社會風(fēng)險。突破傳統(tǒng)的人與人、人與機械之間的互動,未來智能制造時代,制造業(yè)更多地會是人與智能機器之間、智能機器與智能機器之間、智能系統(tǒng)與智能系統(tǒng)之間的交流,在車間層面人和人之間的交流會較少,生產(chǎn)流程的跟蹤、改進和優(yōu)化需要智能生產(chǎn)系統(tǒng)本身的演進來完成,諸多的質(zhì)量檢查工作,生產(chǎn)任務(wù)排程、供應(yīng)鏈管理、客戶關(guān)系管理,甚至為數(shù)不多的相關(guān)工作人員的績效考核等工作都可能會借助智能技術(shù)來自動完成。

    2.3 人機界面安全問題

    在這樣的智能系統(tǒng)中,智能制造系統(tǒng)的未來風(fēng)險主要存在于人機界面層次,任何一個環(huán)節(jié)中人類智能與機器智能的脫節(jié)或不嚴謹?shù)膶佣紩赡軐?dǎo)致整個智能系統(tǒng)風(fēng)險的產(chǎn)生和蔓延,并導(dǎo)致系統(tǒng)的崩潰。而這種人機界面方面的系統(tǒng)風(fēng)險,不僅主要存在于人類智能與機器智能是兩者不同性質(zhì)的智能,兩者的共同特征比較少。更困難的是這兩種智能彼此缺乏溝通的經(jīng)驗和渠道,對于絕大多數(shù)人而言,人類智能還不能夠很好地理解機器智能;而對于當前的大多數(shù)機器智能系統(tǒng)來說,還沒有充分演化到可以輕松地理解人類智能的程度,還在自身的邏輯體系中進化,盡管其被稱為“人工智能”,但是還是很難理解人類的行為,甚至很難與除專業(yè)人士以外的人類進行溝通。

    3 機器智能與人類智能

    3.1 人類智能

    美國哈佛大學(xué)心理學(xué)教授霍華德·加德納研究認為,人的基本智能可分為八種類型,即語言智能、邏輯數(shù)理智能、音樂智能、空間智能、運動智能、人際關(guān)系智能、自省智能和自然觀察者智能[1]。但是,他認為人類的這些智能并不能夠證明是先天就存在的,而是需要父母在日常生活中全面、細心地觀察孩子方方面面的表現(xiàn),從而挖掘出他的優(yōu)勢智力并適時地加以引導(dǎo)而出現(xiàn)的,也就是說人類智能與后天培養(yǎng)有緊密的關(guān)系。

    從起源上來說,人類智能來自于遺傳、來自于傳統(tǒng)和習(xí)慣、來自于人類數(shù)億年的進化,來自于人類的生存環(huán)境,以及人與周圍環(huán)境的不斷互動。超越個體的人,人類群體的復(fù)雜給人類智能產(chǎn)生了幾乎無限試錯的可能,以及無限的創(chuàng)新空間。而驅(qū)動人類智能發(fā)展的除了邏輯之外,更多還有各種感性的因素推動人類智能的發(fā)展。單純從某項功能來說,個體人的智能可能有限,但是個體人是全面發(fā)展的智能,即使人在存儲和運算能力方面不及計算機,但是確實當前的機器智能很難全面達到一個5歲小孩的智能水平。

    3.2 機器智能

    從目前來看,不管機器智能的表現(xiàn)形式如何,其基本都是基于特點的邏輯算法來實現(xiàn)的。其表現(xiàn)形式和應(yīng)用領(lǐng)域還非常有限。不管未來機器智能會不會形成自身演進的機制,其歸根結(jié)底還是來自于人類智能的創(chuàng)造,是人類理性的產(chǎn)物,只能按照人類原先的程序設(shè)計執(zhí)行相應(yīng)的活動,并達到預(yù)期的效果。這就導(dǎo)致機器智能缺少自身活動的自覺性,和自身的目標感和意義感,也缺少了推動人類發(fā)展的情感和意志在活動中的作用。

    因此機器智能和人類智能的一個顯著差異就是,缺少了人類的意志和意向。意向是人類智能的一個重要方面。人的活動是有目的的、自覺的活動,一刻也離不開自己意向性的主導(dǎo)。注意、需要、意圖、情緒、意志、理想等都是人的意向活動形式。而思維是人類智能的核心,其特點主要是思想和思維?!叭耸且环N思維的動物”,沒有思維就沒有人類的智能。有了思維,人類才能形成各種較復(fù)雜的意向,從而主導(dǎo)著人的活動,表現(xiàn)出人類所特有的自覺能動性。有了思維,人類才能發(fā)明各種技術(shù),突破自己認識器官和行動器官的限制,大大提高改造世界的能力。

    3.3 人類智能與機器智能對比

    在未來一段時間,人類智能能夠處理的環(huán)境要比人工智能面對的環(huán)境要復(fù)雜得多,人類智能是一個自治、自洽的和完備的系統(tǒng)。尤其在處理一些復(fù)雜的系統(tǒng)性問題方面,人類智能能夠以超高的容錯率在巨大的信息流中發(fā)掘出有價值的信息,能夠準確做出判斷。人的智能可以產(chǎn)生意識、感情和創(chuàng)新,這類幾乎無法用邏輯解釋的問題。這是人類智能的最顯著的特點,也是目前區(qū)別于機器智能的主要方面,同時也是導(dǎo)致智能制造系統(tǒng)風(fēng)險的重要原因。如果要解決未來智能制造中所面臨的諸多安全問題,就必須要從此環(huán)節(jié)入手,從根本上解決未來智能制造系統(tǒng)中可能面臨的諸多安全挑戰(zhàn)。

    4 人類智能的局限及新的表現(xiàn)形式

    4.1 人類智能的局限

    人類智能在相對于機器智能存在諸多優(yōu)勢的同時,這些優(yōu)勢從另外一個方面考察,則也是人類智能的局限。如人類在情感與意志方面的長處,從安全的角度考察則會發(fā)現(xiàn)人類智能會存在“捕獲錯誤”“認知偏差”“心理波動”“環(huán)境暗示”等方面的智能路徑依賴方面的問題。這些問題都有可能是導(dǎo)致未來智能制造系統(tǒng)發(fā)生安全問題的重要原因。

    4.1.1“捕獲錯誤”局限

    在英國劍橋大學(xué)計算機實驗室信息安全工程教授、英國皇家學(xué)會會員、皇家工程學(xué)會學(xué)院院士Ross Anderson所著的《信息安全工程》(第二版)中,認為人類操縱設(shè)備時所犯的錯誤主要歸納為三類,分別為技巧層面的疏忽與過失、規(guī)則層面的錯誤和認知層面的錯誤。而“捕獲錯誤”就發(fā)生在技巧層面的疏忽和過失。它是指人在執(zhí)行操作通常會形成一種技巧,但這也帶來一種副作用,如果不小心,就會導(dǎo)致潛意識地執(zhí)行熟悉的操作,而不去執(zhí)行本該需要執(zhí)行的操作[2]。黑客就利用人類的這些已經(jīng)深入潛意識中的習(xí)慣,設(shè)計一些陷阱讓人中其中的圈套,獲得其所期望的攻擊機遇。

    4.1.2“認知偏差”局限

    認知偏差是指人們根據(jù)一定表現(xiàn)的現(xiàn)象或虛假的信息而作出判斷,從而出現(xiàn)判斷失誤或判斷本身與判斷對象的真實情況不相符合的現(xiàn)象。暈輪效應(yīng)就是一種典型的認知偏差,當一個人陷入特定的心理模式的時候,就會人為某種行為,或者是某種態(tài)度就是好的,是對的,而對其他的情況則不聞不問,閉耳塞聽。這其實是人心理方面的路徑依賴所產(chǎn)生的一種心理情境,是人的偏執(zhí)和倔強所產(chǎn)生的一種心理現(xiàn)象。這種問題如果不能夠得到客觀、理性的解決,則會對周圍環(huán)境帶來很大的破壞和沖擊。

    4.1.3“心理波動”和“環(huán)境暗示”局限

    “心理波動”和“環(huán)境暗示”則是人類作為一種情感動物所體現(xiàn)出來的最顯著的特征,情緒和心理在給人以明確的意向和意志的同時,也給人帶來了先天的脆弱。人很難控制自己的心理波動和環(huán)境對人的情緒所施加的影響,而人類的這種脆弱性很容易被不法分子所利用。尤其是環(huán)境暗示方面,別有用心的人會設(shè)置特定的情境,讓當事者在沒有搞清楚具體情況的背景下就做出錯誤的決定,導(dǎo)致重大的信息泄露或者操作失誤。傳統(tǒng)的制造環(huán)節(jié)中,個體的力量還是有限的,但是在智能設(shè)備的輔助之下,個人的能力將獲得空前提升,操作失誤或者是別有用心的破壞都會對制造環(huán)節(jié)造成不可挽回的損失,

    4.2 人類智能局限新的表現(xiàn)形式

    當然人類作為萬物之靈,具有比其他物種更多的優(yōu)勢。但是從安全的角度來看,在智能制造過程中,或許更大的安全問題來源于文化的沖突,是制度型的沖突。對于很多制造企業(yè)而言,如果不能夠擺脫傳統(tǒng)的企業(yè)問題和管理制度,則智能技術(shù)在制造環(huán)節(jié)的實施將會給企業(yè)帶來難以預(yù)料的風(fēng)險。這種風(fēng)險還很難發(fā)現(xiàn),被當下的文化所合法化包容,成為智能制造技術(shù)發(fā)展過程中的盲點。尤其是當人處于信息超載的情境之下,都會導(dǎo)致人失去自身的理性,而不假思索地遵循最強的制度和規(guī)則,或者是在特定的情境下通用的規(guī)則,內(nèi)心遵從不求有功,但求無過的保守思路來處理可能出現(xiàn)的各種風(fēng)險。

    5 數(shù)據(jù)、程序和機器智能的局限

    5.1 數(shù)據(jù)是當前機器智能的基礎(chǔ)

    盡管目前算法驅(qū)動的機器智能技術(shù)有了新的突破,但是在未來很長一段時間之內(nèi),數(shù)據(jù)依然是驅(qū)動機器智能發(fā)展的基礎(chǔ)。而算法和程序依然主要是依據(jù)人類智能的邏輯理性發(fā)展出來的,所以算法和程序所產(chǎn)生結(jié)果的準確性,現(xiàn)在還主要取決于輸入數(shù)據(jù)的準確性,以及獲取數(shù)據(jù)的全面性。

    當然這里談數(shù)據(jù)的局限性,并不是要否定數(shù)據(jù)的價值。而是讓人們在充分認識到當前數(shù)據(jù)利用方面的和不足之后,才能更加有效地對其進行采集、加工、應(yīng)用,充分挖掘和發(fā)揮其價值,有效規(guī)避數(shù)據(jù)利用中可能存在的各種安全問題,真正發(fā)揮數(shù)據(jù)的價值。當然這里只是從制造各環(huán)節(jié)安全的角度分析數(shù)據(jù)對未來智能制造安全性能方面的影響。

    5.2 數(shù)據(jù)噪音問題

    首先是未來各行業(yè)都將不得不忍受各種數(shù)據(jù)噪聲的影響,而制造業(yè)尤甚。因為制造業(yè)各環(huán)節(jié)不僅利用的數(shù)據(jù)多,而且生產(chǎn)的數(shù)據(jù)也不多,而且來源各不相同,格式也會不同。由于各子系統(tǒng)自身的目標可能會存在不一致,導(dǎo)致系統(tǒng)總體會出現(xiàn)相互矛盾的分析和判斷。在這海量的數(shù)據(jù)中,并非所有的數(shù)據(jù)都是有用的,大多數(shù)時候,有用的數(shù)據(jù)甚至只是其中的很小一部分。隨著數(shù)據(jù)量的不斷增加,無意義的冗余、垃圾數(shù)據(jù)也會越來越多,而且其增長的速度比數(shù)據(jù)信息更快。

    5.3 數(shù)據(jù)真實性判定問題

    對數(shù)據(jù)真實性的分析和判斷。未來隨著個性化定制的發(fā)展,制造業(yè)各環(huán)節(jié)的信息會越來越對外開放,尤其是CRM系統(tǒng)和SCM系統(tǒng)的數(shù)據(jù)需要對大量的用戶和供應(yīng)商開放。而網(wǎng)絡(luò)數(shù)據(jù)中存在著大量的虛假個人注冊信息、假賬號、假粉絲、假交易、灌水貼及其他虛假、甚至是惡意的信息和數(shù)據(jù)等都是未來制造環(huán)節(jié)中需要面臨的安全問題。這種失真是由網(wǎng)絡(luò)本身的特性決定的,比如說,絕大多數(shù)社交網(wǎng)站很難也不會對會員注冊信息的真實性進行全面核查,電商平臺也無法控制一人注冊多賬號,或賬號與實際消費個體的非對應(yīng)關(guān)系。同時各種通過原始方法采集的個人信息數(shù)據(jù)也無法保障其真實、準確。就拿電信運營商來說,即便推行了實名制,數(shù)據(jù)質(zhì)量與期望仍然存在相當大的差距。

    5.4 數(shù)據(jù)的誤導(dǎo)與人類的誤讀

    第三是警惕數(shù)據(jù)的可能誤導(dǎo),以及人類的可能誤讀。這是與所獲數(shù)據(jù)的代表性、真實性、完整性、解釋性等的局限性緊密相關(guān)。對統(tǒng)計現(xiàn)象只看結(jié)果不重解釋,很可能導(dǎo)致錯誤甚至危險的結(jié)論。在二戰(zhàn)時期英國與德國的空戰(zhàn)中,工程師發(fā)現(xiàn),每次戰(zhàn)斗機回來機翼上都帶有很多槍眼,因此認為機翼是最容易受到攻擊的地方,需要進行特別防護??墒窃黾臃雷o之后,飛機的損失率不但沒有降低,反而提高了。這就是人類對數(shù)據(jù)誤讀而導(dǎo)致的結(jié)果。邁爾·舍恩伯格在《大數(shù)據(jù)時代》一書中認為大數(shù)據(jù)應(yīng)該是全樣本,不再依賴隨機取樣,這樣的說法是一種理想的狀態(tài),而且即使獲得了全樣本的數(shù)據(jù),程序的處理能力也未必能夠?qū)ζ浼皶r進行正確分析[3]。現(xiàn)在制造領(lǐng)域中的社群營銷,本身就會有很多所謂的“意見領(lǐng)袖”在主導(dǎo)著群體的消費偏好,所謂數(shù)據(jù)的“中性”問題,可能不得不面臨人類社會現(xiàn)實中具體結(jié)構(gòu)的左右。因此,數(shù)據(jù)的誤導(dǎo)和人對數(shù)據(jù)的誤讀會在所謂“數(shù)據(jù)驅(qū)動”的時代顯得更加突出。

    5.5 數(shù)據(jù)的維度與時效問題

    數(shù)據(jù)的維度和時效性也是從數(shù)據(jù)本身的角度可能引發(fā)相應(yīng)的安全問題,而這些又與人認知的局限性有關(guān)。畢竟,數(shù)據(jù)獲取的選擇權(quán)還是集中在人的認知范圍之內(nèi),如果有些數(shù)據(jù)源不在決策者當前的認知范圍之內(nèi),則可能會導(dǎo)致不可預(yù)知的風(fēng)險。這種數(shù)據(jù)維度缺失的風(fēng)險可能會導(dǎo)致智能制造系統(tǒng)的失效,或者是達不到預(yù)期的效果。同時還有數(shù)據(jù)時效性問題,數(shù)據(jù)采集的時間間隔,對多久的歷史數(shù)據(jù)進行分析才能夠更加有效這些問題,也是在數(shù)據(jù)驅(qū)動的制造中必需要解決的問題。從特定的意義講,數(shù)據(jù)應(yīng)用是建立在全社會、全網(wǎng)設(shè)備共同的數(shù)據(jù)標準基礎(chǔ)之上,應(yīng)融合企業(yè)自身、上下游產(chǎn)業(yè)鏈企業(yè)、政府相關(guān)統(tǒng)計數(shù)據(jù)、科學(xué)研究最新進展等跨領(lǐng)域、跨行業(yè)、跨平臺數(shù)據(jù)的集合,是社會化的數(shù)據(jù)應(yīng)用和整合。

    5.6 模型和程序設(shè)計者的局限

    決定當前的機器智能智能化程度的除了數(shù)據(jù)之外,還有模型和程序方面的因素。模型和程序從目前來看,主要是由人類智能設(shè)計的,這就使得機器智能很大程度上由設(shè)計者的認知、智力,以及設(shè)計者所處的組織、社會環(huán)境所局限。當然在目前的環(huán)境下,技術(shù),尤其是信息系統(tǒng)的計算能力、網(wǎng)絡(luò)的傳輸能力,以及相關(guān)社會技術(shù)系統(tǒng)所決定的安全性也會直接或間接限制數(shù)據(jù)、模型和程序的設(shè)計和運行。但是,如果決策者如果忽略了這些局限性,過高地估計了機器智能的智能化程度,就會造成可能的決策失誤,甚至?xí)劤蔀?zāi)難,最后對機器智能造成負面的評價。

    6 人類智能和機器智能挑戰(zhàn)的可能場景

    人類智能和機器智能這兩者之間本身各有其優(yōu)勢,也各有其特點,并且本身存在較大的互補性,如果能夠?qū)崿F(xiàn)彼此的優(yōu)勢互補,則會極大地提高人類社會的福祉。但是,由于機器智能是剛剛出現(xiàn)的智能,兩種智能之間還沒有“學(xué)會”優(yōu)勢互補的發(fā)展,就必然會帶來相應(yīng)的沖突、風(fēng)險,并最終可能導(dǎo)致潛在的各種安全問題。

    6.1 挑戰(zhàn)傳統(tǒng)思維原則的風(fēng)險

    對數(shù)據(jù)的解釋性可能帶來的沖突風(fēng)險。機器智能是基于特定的邏輯程序,通過對輸入數(shù)據(jù)的分析以發(fā)布各種數(shù)據(jù)之間的相關(guān)性。這種相關(guān)性正如舍恩伯格所言,“不是因果關(guān)系,而是相關(guān)關(guān)系”,只需要了解是什么或未來會發(fā)生什么,而不是需要知道為什么,或者是這些事情之間的因果關(guān)系[3]。

    對于習(xí)慣于因果性思維的人來說,相關(guān)關(guān)系僅代表著過去和個案,對事物沒有解釋性,有時甚至是錯誤的,而且不能夠上升為特定的規(guī)律。人類理性經(jīng)過了數(shù)億年的進化之后,認為只有掌握了事物之間的因果關(guān)系、原因機制和科學(xué)原理,才能舉一反三,總結(jié)發(fā)生的規(guī)律,才能夠推動整個制造系統(tǒng)的改善和進化。尤其是制造關(guān)鍵環(huán)節(jié)的改進方面,人類理性怕還是很難理解機器智能基于數(shù)據(jù)所謀劃出來的最優(yōu)算法。如在智能制造智能排程方面,人類智能怕很難發(fā)現(xiàn)機器智能排程的局限,也很難發(fā)現(xiàn)其中潛在的排程風(fēng)險。

    這種基于數(shù)據(jù)和算法的解釋,缺乏人類智能的因果性判斷,會造成人類智能在機器智能面前不知所措,即無法理解,又好像無法拒絕,也缺乏更好的替代方案。在社會智能化大轉(zhuǎn)折的時期,人類這種即好奇,又不知所措的感覺會維持較長的一段時間。而在這種困惑的轉(zhuǎn)型過程中,人類智能與機器智能之間的互動,會經(jīng)歷風(fēng)險叢生的不停的試探過程,甚至是試錯過程,人類智能也會經(jīng)歷不停的反思、調(diào)整、改造、進化和完善。而這個過程會充滿風(fēng)險,充滿安全方面的挑戰(zhàn)。因為這是在對人類智能基礎(chǔ)層次方面的挑戰(zhàn),是對傳統(tǒng)文明根基方面的挑戰(zhàn)。

    6.2“他者”智慧擴張的風(fēng)險

    就智能制造而言,盡管都在講個性化定制給消費者所帶來的“福利”,但事實是無所不在的媒體,以及無所不在的信息“感知”和“跟蹤”對消費者個人信息的掌握,以及可能是對個體行為和消費層面的“控制”。而在這種“感知”和“跟蹤”的背后,操縱者正是具有技術(shù)智能的“數(shù)據(jù)領(lǐng)袖”,或者是“智能領(lǐng)袖”,以及“輿論引導(dǎo)者”。所以,在機器智能的背后,隱藏著的是某個,或者是某一特定群體的價值取向、行為方式。因此在表面的“自由”背后,隱藏著的是某些特定的個體或群體智能對大多數(shù)人類智能的“洞察”、“操縱”和“控制”。如果這些具有極強操控能力的人,利用自身的操縱地位做一些有相對風(fēng)險的操作,那么就會對社會產(chǎn)生極大的風(fēng)險。

    對于大多數(shù)人而言,這種具有直接或間接影響的智慧并不是來自于自身的思考,也不是來自于傳統(tǒng)社會中人與周圍環(huán)境的正?;铀a(chǎn)生,而是來自于特定人群有目的的操控,所以這種借助機器智能達到對別人影響的機器智能,事實上來自于“他者”,而且還可能是來自不同目標的“他者”,這就會給大多數(shù)的制造企業(yè)、給消費者帶來影響和困擾。而隨著機器智能由生產(chǎn)環(huán)節(jié),向生活場景的滲透,以及借助機器智能將生產(chǎn)環(huán)節(jié)與消費環(huán)節(jié)的打通,這種借助機器智能的“他者”智慧會迅速擴張,通過網(wǎng)絡(luò)社群,各種自媒體終端,各種帶有營銷性質(zhì)的文章,甚至借助特定的對特定個體日常生產(chǎn)的技術(shù)干預(yù)來達到預(yù)期的目的。當然,這種“他者”智能的廣泛入侵會對個體產(chǎn)生不適,從多層次上造成對個體的安全影響。

    6.3 兩種“智能”彼此挑戰(zhàn)的風(fēng)險

    從目前技術(shù)發(fā)展趨勢來看,機器智能是從人工智能產(chǎn)生出來的,但是機器智能確實又在一定程度上脫離人類智能的控制,或者是獨立于人類智能發(fā)展趨勢的風(fēng)險。未來社會中兩種智能之間不僅會產(chǎn)生彼此不熟悉而產(chǎn)生的摩擦,以及直接的碰撞,而且可能還會發(fā)生引領(lǐng)地位的爭奪。這種爭奪在人的意識層面發(fā)生,在未來人類的任何決策中發(fā)生,在未來人的任何一種選擇的時候發(fā)生。對于智能制造企業(yè)而言,在制造各個環(huán)節(jié)都可能發(fā)生,因為在制造各個環(huán)節(jié)都會存在到底要依靠機器智慧,還是依靠人類智能的選擇問題,以及當機器智能與人類智能發(fā)生沖突時,到底相信哪種智能方面的問題。現(xiàn)在,由人工智能發(fā)生所引發(fā)的關(guān)于未來“人工智能”是否會挑戰(zhàn)人類生存就是這方面的集中體現(xiàn),而事實上在微觀層面,這樣的挑戰(zhàn)無時無刻地挑戰(zhàn)人類群體和個體的選擇。就拿最簡單的出行導(dǎo)航來說,人在出行時到底是應(yīng)該相信自己的經(jīng)驗,還是各種“導(dǎo)航設(shè)施”的指引,而且在這方面還是互有勝負,在目前的導(dǎo)航技術(shù)面前不分伯仲。而在未來無人駕駛,以及智能生產(chǎn)線之中,這樣的選擇就必需要微妙、甚至在更短的時間維度內(nèi)做出決策,否則就有可能存在著重大安全事故的風(fēng)險。

    對于智能制造的未來發(fā)展來說,人類智能和機器智能在制造生產(chǎn)預(yù)測方面存在著可能的沖突與風(fēng)險。在對未來的分析和預(yù)測方面,舍恩伯格也曾坦言,與大數(shù)據(jù)同行是有一定風(fēng)險的,大數(shù)據(jù)有可能會把我們鎖定在以往的錯誤當中,使我們墮入讓過去決定未來的陷阱。因為從根本上講,數(shù)據(jù)只是對過去和當前現(xiàn)實的歸納和總結(jié),其雖然可以用于對趨勢和方向的分析,但總體上來說決定未來發(fā)展趨勢的是事物深層次的內(nèi)在因素及相互作用,而表現(xiàn)出來的數(shù)據(jù)現(xiàn)象還不善于對這種趨勢做出分析。如企業(yè)涉及戰(zhàn)略層面的決策等還是需要諸多潛在的、非數(shù)據(jù)化的因素需要進行綜合的分析,里面還有許多涉及企業(yè)文化、領(lǐng)導(dǎo)者氣質(zhì)和風(fēng)格等多方面的因素要考慮。而在企業(yè)層面人類智能與機器智能之間的界限,還需要企業(yè)大量的實踐來摸索,而這種摸索過程中本身就可能會存在大量的生產(chǎn)和運作風(fēng)險。

    6.4 整體智能與局部智能之間彌合的風(fēng)險

    從目前機器智能的能力來看,這種智能主要依靠深度學(xué)習(xí)獲得,是由人類智能設(shè)計的模型、算法和程序來決定,但是機器智能的結(jié)果人又非常難以理解,給人與機器的互動帶來各種風(fēng)險和麻煩。對于智能制造系統(tǒng)來說,人理解方面的偏差、操作方面的失誤、對機器表達方面的不精確都會造成重大的安全事故,而機器智能設(shè)計方面的問題、病毒的入侵、不恰當?shù)南到y(tǒng)更新、隨機的系統(tǒng)調(diào)試,以及對人類不精準指令的容錯能力的局限等都有可能造成機器智能系統(tǒng)的紊亂,對智能制造系統(tǒng)造成不可彌補的損失。

    總體來說,由于受當前技術(shù)發(fā)展的限制,機器智能一般擅長于處理事務(wù)的局部特征,其智能主要集中的特定的、規(guī)則相對穩(wěn)定的環(huán)境下對相關(guān)事務(wù)的處理,這方面的局部智能方面機器智能已經(jīng)超越了人類智能,但是在整體情境的判斷方面,機器智能與人類智能還不能相比。人類智能經(jīng)過數(shù)千年的進化,在對客觀和主觀形勢整體把握方面現(xiàn)在還遠遠超過機器智能。機器智能不管多么強大,其只是在有限的特征空間里去認識事物,根據(jù)算法得出的判斷模式做出判斷;而人對周圍環(huán)境的認識是從語義空間中經(jīng)過抽象的歸納和演繹做出判斷,甚至依賴想象、類比、轉(zhuǎn)換、同理心等更高級的思維形式。所以,人類思維具有較強的整體把握能力。機器智能在局部判斷方面的優(yōu)勢,以及人類思維在整體把控方面的特點如何有效對接,是未來智能制造系統(tǒng)中面臨的挑戰(zhàn),銜接不好就會釀成巨大的系統(tǒng)風(fēng)險。

    6.5 信息資產(chǎn)投入產(chǎn)出方面的風(fēng)險

    信息資產(chǎn)投入與產(chǎn)出的平衡是目前困擾大量制造企業(yè)的新問題。智能制造相關(guān)技術(shù)及發(fā)展前景被媒體做了很多正面的報道,但是必須要指出,智能制造相關(guān)技術(shù)及企業(yè)的相關(guān)數(shù)據(jù)資產(chǎn)應(yīng)該是一種價值密度較低的資產(chǎn),這些資產(chǎn)只有經(jīng)過多年的積累,摸索出這些資產(chǎn)的準確的應(yīng)用場景之后才能夠發(fā)揮出其新的價值。在這些資產(chǎn)在被真正激活前需要進行大量的前期投資,而且還必須要有前期的有效規(guī)劃,以保證這些前期投資的正確性和有效性,以及企業(yè)領(lǐng)導(dǎo)足夠的戰(zhàn)略耐性。數(shù)據(jù)資產(chǎn)的網(wǎng)絡(luò)效應(yīng),或者是邊際效用遞增規(guī)律存在,可能會在產(chǎn)業(yè)層面導(dǎo)致產(chǎn)業(yè)集中度的上升,產(chǎn)業(yè)競爭程度的降低,甚至一定程度市場壟斷。這也是產(chǎn)業(yè)層面制造產(chǎn)業(yè)可能面臨的風(fēng)險。

    7 應(yīng)對智能制造可能風(fēng)險的對策

    既然智能制造未來發(fā)展中面臨的主要挑戰(zhàn)是人類智能與機器智能之間彼此的不適應(yīng)可能產(chǎn)生的沖突,以及由此而引發(fā)的各種風(fēng)險。從目前來看,智能技術(shù)的發(fā)展導(dǎo)致的傳統(tǒng)制造文明的危機,是對傳統(tǒng)制造風(fēng)險的重新定義。從人類社會文明的發(fā)展趨勢看,這種風(fēng)險更多的是由于人類還沒有充分適應(yīng)性的機器文明所引發(fā)的,因此應(yīng)該主要從人類對新的機器文明適應(yīng)的角度來更多地考慮當前和未來可能存在的智能制造方面的安全問題。

    7.1 強調(diào)人類思維和行為的嚴謹性

    智能制造系統(tǒng)設(shè)置時應(yīng)在突出機器智能人性化發(fā)展的同時,更加要強調(diào)人類思維和行為的嚴謹性,適應(yīng)未來“數(shù)據(jù)驅(qū)動制造”和“軟件定義制造”帶來的整個人機制造系統(tǒng)的邏輯化、緊密化和程序化的發(fā)展趨勢。在可以預(yù)期的將來,人類智能需要適應(yīng)這種機器智能發(fā)展所帶來的影響,減少人類傳統(tǒng)的不精確、情緒性和認知偏差可能對制造各環(huán)節(jié)可能帶來的安全風(fēng)險,學(xué)會與機器智能的協(xié)作和交流,促進制造過程的實現(xiàn)有序的人機協(xié)同。這就需要人類智能不斷適應(yīng)機器智能的發(fā)展,理解其運作機制,克服人類理性自身存在的不適應(yīng)之處。

    7.2 從人機協(xié)同的角度重新定義新的崗位及其職責(zé)

    要從人機協(xié)同的角度來重新定義各種新的崗位,以及相關(guān)崗位的職責(zé)要求和人員的從業(yè)能力和資質(zhì)。從微觀角度來考察,目前建立在人與人、人與機器之間的傳統(tǒng)制造企業(yè)組織和管理方式,已經(jīng)不能夠適應(yīng)未來智能制造的發(fā)展要求。各行業(yè),乃至各企業(yè)需要從各自發(fā)展的角度重新定義自身的崗位分配,并重新核定各崗位所需要的人員素質(zhì)和能力。為消費者提供個性化定制的企業(yè)一定同時也是個性化的企業(yè),面臨個性化的安全問題和個性化的解決方案。目前很多企業(yè)內(nèi)部建立自身的培訓(xùn)體系,主要針對內(nèi)部員工進行培訓(xùn),就是要從企業(yè)獨特競爭力培養(yǎng)的角度來為建立自身的組織分工體系結(jié)構(gòu),以及員工獨特的能力培養(yǎng)服務(wù)。

    7.3 重新塑造新的工業(yè)文明和商業(yè)文明

    機器智能的發(fā)展需要塑造新的工業(yè)文明和商業(yè)文明。從更深的層面來看待當前和未來人類智能與機器智能之間的關(guān)系,尤其是其在制造環(huán)節(jié)中的體現(xiàn),還需要從文化的角度來看待這種變革,從商業(yè)文明和技術(shù)文明的角度來看待企業(yè)面臨的這種新的安全挑戰(zhàn)。當前,商業(yè)和技術(shù)都很重要,是推動現(xiàn)代和未來企業(yè)發(fā)展的動力,但事實上是商業(yè)和技術(shù)背后的價值觀更重要,這種新的價值理念才是推動各種問題解決的最終動力。事實上,傳統(tǒng)的價值理念與新的發(fā)展趨勢之間的矛盾,才是導(dǎo)致當前和未來人類智能和迅速崛起的機器智能之間矛盾的根源,也是導(dǎo)致未來制造企業(yè)安全問題的關(guān)鍵。

    7.4 智能制造系統(tǒng)要考慮兩種智能之間的互補

    在智能制造系統(tǒng)設(shè)計時要充分考慮到人類智能與機器智能之間的差異性和互補性,讓人類智能和機器智能各自發(fā)揮其優(yōu)勢而彌補彼此的不足,讓智能制造系統(tǒng)能夠安全和高效地運行,這是對智能制造系統(tǒng)的基本要求。而當前我國企業(yè)在實施智能化改造時,更多地考慮制造系統(tǒng)的效率,而忽略了對安全性、易操作性的考量。按照功能安全的視角,智能制造系統(tǒng)應(yīng)該是從整個系統(tǒng)安全屬性的認知開始,在智能制造的全生命周期各階段體現(xiàn)出對安全屬性的認知、繼承、實現(xiàn)、評估和反饋。在系統(tǒng)軟件的不斷演進的特點,實現(xiàn)智能制造系統(tǒng)人類理性和機器理性的協(xié)同,提升智能制造系統(tǒng)的安全性[4]。

    7.5 人類智能依然是智能制造系統(tǒng)的核心

    不僅是在制造領(lǐng)域,隨著以人工智能等為代表的機器智能的興起,人類智能與機器智能之間的碰撞會發(fā)生在經(jīng)濟社會生活的各個方面,機器智能會作為人類智能的助手和有益補充,與人類的生活工作如影相隨,為人類帶來諸多的便捷。但是如果兩者之間不能夠?qū)崿F(xiàn)有效的協(xié)同,則不僅不會帶來方便,而且還會引發(fā)諸如隱私泄露、操作失誤,甚至造成不必要的傷害等安全事故。所以需要人類從行為層面、制度和規(guī)則層面,以及價值層面接受這種新的智能,并學(xué)會與其和諧相處的能力,才能彼此協(xié)同,克服各種可能的安全困擾,創(chuàng)造出新的人類智能與機器智能相互促進的新的人類文明時代。

    參考文獻

    [1] 霍華德·加德納(Howard Gardner),著;沈致襄,譯.重構(gòu)多元智能[M].北京:中國人民大學(xué)出版社,2008年3月.83頁.

    [2] Ross Anderson,著;齊寧,韓智文,劉國萍,譯.信息安全工程(第二版)[M].北京:清華大學(xué)出版社,2012.17.

    [3] 維克托·邁爾·舍恩伯格,肯尼思·庫克耶,著;盛楊燕,周濤,譯.大數(shù)據(jù)時代——生活、工作和思維的大變革[M].杭州:浙江人民出版社,2012年12月.25頁、37頁.

    [4] 宋明秋.軟件安全開發(fā)——屬性驅(qū)動模式[M].北京:電子工業(yè)出版社,2016.5.16.

    猜你喜歡
    人機協(xié)同
    新一代人機交互技術(shù)在藝術(shù)教育中的應(yīng)用
    人工智能環(huán)境下的學(xué)習(xí)發(fā)生機制
    走向人機協(xié)同:算法新聞時代的新聞倫理
    新聞愛好者(2019年9期)2019-10-14 03:44:05
    “AI+教師”的協(xié)作路徑發(fā)展分析
    面對人工智能挑戰(zhàn)人才培養(yǎng)的下一步該如何走
    人機協(xié)同決策支持的個性化適性學(xué)習(xí)策略探析
    以指數(shù)思維引領(lǐng)智慧教育創(chuàng)新發(fā)展
    機器人新聞寫作的應(yīng)用、前景及應(yīng)對
    中國廣播(2018年11期)2018-01-22 11:37:50
    人工智能環(huán)境下新聞報道的新趨勢
    大觀(2017年10期)2017-12-19 09:20:21
    從NLG到機器新聞寫作
    今傳媒(2017年10期)2017-11-04 16:23:12
    精品国产亚洲在线| 亚洲精品中文字幕在线视频| 激情视频va一区二区三区| 好男人电影高清在线观看| 日韩制服丝袜自拍偷拍| 国产91精品成人一区二区三区 | 在线看a的网站| 亚洲黑人精品在线| 国产成人影院久久av| 制服诱惑二区| 久久这里只有精品19| 国产成人欧美在线观看 | 亚洲一区中文字幕在线| 天天影视国产精品| 中文字幕人妻丝袜制服| 极品教师在线免费播放| 日韩有码中文字幕| 国产区一区二久久| www.精华液| 我的亚洲天堂| 亚洲中文日韩欧美视频| 97人妻天天添夜夜摸| 亚洲欧美日韩另类电影网站| 亚洲国产成人一精品久久久| 一区二区日韩欧美中文字幕| 精品视频人人做人人爽| 国产一卡二卡三卡精品| 日韩 欧美 亚洲 中文字幕| 日韩欧美三级三区| 日韩欧美免费精品| 日本vs欧美在线观看视频| 三级毛片av免费| 一级,二级,三级黄色视频| 亚洲一区二区三区欧美精品| 深夜精品福利| 亚洲人成电影免费在线| 亚洲伊人久久精品综合| 麻豆国产av国片精品| 大香蕉久久成人网| 日韩熟女老妇一区二区性免费视频| 人人妻人人爽人人添夜夜欢视频| 国产淫语在线视频| 新久久久久国产一级毛片| 在线观看人妻少妇| 久久久久久人人人人人| 久久国产精品影院| 777米奇影视久久| 久久精品91无色码中文字幕| 久热这里只有精品99| 建设人人有责人人尽责人人享有的| 成人国产av品久久久| 最近最新免费中文字幕在线| 午夜福利在线免费观看网站| 国产深夜福利视频在线观看| 国产亚洲一区二区精品| 免费在线观看视频国产中文字幕亚洲| 在线观看舔阴道视频| 久久国产亚洲av麻豆专区| 久久久久久久久久久久大奶| 最近最新中文字幕大全免费视频| 捣出白浆h1v1| 欧美日韩黄片免| 五月天丁香电影| 美女国产高潮福利片在线看| 亚洲一区中文字幕在线| 咕卡用的链子| 99久久99久久久精品蜜桃| 欧美人与性动交α欧美软件| www.熟女人妻精品国产| 国产97色在线日韩免费| 国产国语露脸激情在线看| 免费看十八禁软件| 日韩欧美免费精品| 国产欧美亚洲国产| 欧美黑人欧美精品刺激| 曰老女人黄片| 亚洲精品久久午夜乱码| 国产高清videossex| 亚洲国产av新网站| 免费不卡黄色视频| 日本黄色日本黄色录像| 性高湖久久久久久久久免费观看| 久久久国产欧美日韩av| 夜夜骑夜夜射夜夜干| 精品久久蜜臀av无| 男人操女人黄网站| 亚洲av日韩在线播放| 中亚洲国语对白在线视频| 午夜福利在线免费观看网站| av有码第一页| 国产欧美日韩精品亚洲av| 亚洲精品一二三| 国产伦理片在线播放av一区| 在线永久观看黄色视频| 午夜免费成人在线视频| 久久久精品区二区三区| 一二三四在线观看免费中文在| 变态另类成人亚洲欧美熟女 | 亚洲九九香蕉| 在线天堂中文资源库| 午夜福利免费观看在线| 国产午夜精品久久久久久| 亚洲成av片中文字幕在线观看| 亚洲精品一二三| 国产真人三级小视频在线观看| 午夜免费成人在线视频| 日本五十路高清| 精品亚洲成a人片在线观看| 国产精品久久久av美女十八| 欧美中文综合在线视频| 自拍欧美九色日韩亚洲蝌蚪91| 18在线观看网站| 叶爱在线成人免费视频播放| 肉色欧美久久久久久久蜜桃| 亚洲av日韩精品久久久久久密| 大香蕉久久网| 国产午夜精品久久久久久| 视频区欧美日本亚洲| 狠狠婷婷综合久久久久久88av| 国产有黄有色有爽视频| 肉色欧美久久久久久久蜜桃| 黄频高清免费视频| www.999成人在线观看| 国产免费av片在线观看野外av| 少妇精品久久久久久久| 黄色 视频免费看| 在线观看人妻少妇| 国产又色又爽无遮挡免费看| 一边摸一边做爽爽视频免费| 99精品在免费线老司机午夜| av国产精品久久久久影院| 99久久99久久久精品蜜桃| 中文字幕高清在线视频| 国产精品熟女久久久久浪| 好男人电影高清在线观看| 色在线成人网| 在线观看免费视频网站a站| 黑人巨大精品欧美一区二区蜜桃| 国产亚洲精品第一综合不卡| tube8黄色片| 免费在线观看影片大全网站| 999精品在线视频| 中文亚洲av片在线观看爽 | 国产日韩欧美视频二区| av不卡在线播放| 亚洲自偷自拍图片 自拍| 九色亚洲精品在线播放| 欧美激情久久久久久爽电影 | 国产欧美日韩一区二区三| 午夜福利视频在线观看免费| 欧美黑人精品巨大| 欧美激情 高清一区二区三区| 亚洲第一青青草原| avwww免费| 国产91精品成人一区二区三区 | 亚洲国产av新网站| 久久久精品国产亚洲av高清涩受| 别揉我奶头~嗯~啊~动态视频| 99久久精品国产亚洲精品| 欧美另类亚洲清纯唯美| 日韩中文字幕视频在线看片| 国产精品久久电影中文字幕 | 亚洲,欧美精品.| 午夜免费成人在线视频| 国产精品一区二区精品视频观看| 亚洲 国产 在线| 91字幕亚洲| 久热这里只有精品99| 国产伦理片在线播放av一区| 在线天堂中文资源库| 十八禁网站免费在线| 亚洲九九香蕉| 精品福利永久在线观看| 久久久久久久久久久久大奶| 成人黄色视频免费在线看| a在线观看视频网站| 欧美人与性动交α欧美精品济南到| 国产成人欧美在线观看 | 亚洲久久久国产精品| 少妇被粗大的猛进出69影院| 91麻豆精品激情在线观看国产 | 成人av一区二区三区在线看| 欧美亚洲日本最大视频资源| 免费少妇av软件| 久久精品aⅴ一区二区三区四区| 亚洲国产看品久久| 国产一区二区激情短视频| 亚洲av日韩在线播放| 国产成人影院久久av| 一区二区三区精品91| 老鸭窝网址在线观看| 国产欧美日韩综合在线一区二区| 亚洲avbb在线观看| 50天的宝宝边吃奶边哭怎么回事| 亚洲中文日韩欧美视频| 色老头精品视频在线观看| 成年版毛片免费区| 老司机在亚洲福利影院| 一边摸一边抽搐一进一出视频| 岛国在线观看网站| 亚洲欧美一区二区三区久久| 精品国产亚洲在线| 亚洲伊人色综图| 国产一区有黄有色的免费视频| 久久av网站| 国产免费福利视频在线观看| 国产欧美亚洲国产| 91av网站免费观看| 免费女性裸体啪啪无遮挡网站| 亚洲一码二码三码区别大吗| 国产成人一区二区三区免费视频网站| 欧美久久黑人一区二区| 在线观看舔阴道视频| 一级a爱视频在线免费观看| 亚洲成人免费电影在线观看| 12—13女人毛片做爰片一| 色在线成人网| 两个人免费观看高清视频| 美女高潮到喷水免费观看| 午夜福利乱码中文字幕| 捣出白浆h1v1| 少妇裸体淫交视频免费看高清 | 亚洲av第一区精品v没综合| 国产伦人伦偷精品视频| 1024视频免费在线观看| 777米奇影视久久| 亚洲 欧美一区二区三区| 99国产精品一区二区三区| 亚洲精品国产区一区二| 日韩 欧美 亚洲 中文字幕| 国产又色又爽无遮挡免费看| 久久精品熟女亚洲av麻豆精品| 十八禁网站网址无遮挡| 欧美午夜高清在线| 国产av国产精品国产| 国产成+人综合+亚洲专区| 国精品久久久久久国模美| 成年版毛片免费区| 亚洲专区中文字幕在线| 一区福利在线观看| 精品人妻熟女毛片av久久网站| 99国产精品一区二区蜜桃av | 国产一区二区三区在线臀色熟女 | 久久九九热精品免费| 中文字幕人妻熟女乱码| 精品久久蜜臀av无| 91大片在线观看| 99久久99久久久精品蜜桃| av不卡在线播放| 成人av一区二区三区在线看| 亚洲 国产 在线| av欧美777| 久久人妻福利社区极品人妻图片| 免费在线观看黄色视频的| 国产精品免费大片| 色综合婷婷激情| 色婷婷久久久亚洲欧美| 一二三四在线观看免费中文在| 国产在线一区二区三区精| www.999成人在线观看| 一边摸一边抽搐一进一小说 | 国产在线观看jvid| 99精品欧美一区二区三区四区| 视频区欧美日本亚洲| 少妇裸体淫交视频免费看高清 | 色综合欧美亚洲国产小说| 中文字幕最新亚洲高清| 黑人操中国人逼视频| 一二三四在线观看免费中文在| 纯流量卡能插随身wifi吗| 人人妻,人人澡人人爽秒播| 精品国产一区二区三区四区第35| 另类亚洲欧美激情| 国产一区二区激情短视频| 中文字幕另类日韩欧美亚洲嫩草| 国产黄色免费在线视频| 亚洲免费av在线视频| 两个人看的免费小视频| 不卡av一区二区三区| 蜜桃国产av成人99| 欧美在线黄色| 亚洲av电影在线进入| 亚洲熟女精品中文字幕| 日韩中文字幕视频在线看片| 两个人看的免费小视频| 激情在线观看视频在线高清 | 18禁裸乳无遮挡动漫免费视频| 亚洲综合色网址| 色播在线永久视频| 在线观看www视频免费| 亚洲欧美色中文字幕在线| 大陆偷拍与自拍| 精品一区二区三区四区五区乱码| 人人妻人人添人人爽欧美一区卜| 午夜91福利影院| 在线观看免费视频日本深夜| 一个人免费看片子| 久久久精品免费免费高清| 亚洲av日韩精品久久久久久密| 男女之事视频高清在线观看| 国产精品偷伦视频观看了| 中文字幕色久视频| 高清在线国产一区| 欧美日韩精品网址| 国产无遮挡羞羞视频在线观看| 丝袜喷水一区| 亚洲伊人色综图| 男女免费视频国产| 最近最新中文字幕大全电影3 | 中亚洲国语对白在线视频| 欧美国产精品一级二级三级| 一二三四在线观看免费中文在| 亚洲第一青青草原| 国产精品美女特级片免费视频播放器 | 午夜福利影视在线免费观看| 天堂俺去俺来也www色官网| 新久久久久国产一级毛片| 嫩草影视91久久| 中文字幕人妻丝袜一区二区| 少妇裸体淫交视频免费看高清 | 热99re8久久精品国产| 美女主播在线视频| a级毛片在线看网站| 欧美精品一区二区免费开放| 亚洲av国产av综合av卡| 最新在线观看一区二区三区| 国产精品久久久久久精品古装| 十八禁网站免费在线| 中文字幕另类日韩欧美亚洲嫩草| 在线观看免费午夜福利视频| 久久久精品94久久精品| 日韩免费高清中文字幕av| 亚洲第一av免费看| 久久九九热精品免费| 午夜日韩欧美国产| 亚洲中文av在线| svipshipincom国产片| 飞空精品影院首页| 亚洲一码二码三码区别大吗| 窝窝影院91人妻| 亚洲第一av免费看| 亚洲熟女精品中文字幕| 欧美精品啪啪一区二区三区| www.999成人在线观看| 精品一区二区三区四区五区乱码| 免费在线观看视频国产中文字幕亚洲| 国产精品香港三级国产av潘金莲| 欧美人与性动交α欧美精品济南到| netflix在线观看网站| 考比视频在线观看| 精品国产一区二区久久| 一边摸一边做爽爽视频免费| 中文字幕另类日韩欧美亚洲嫩草| 精品国产乱子伦一区二区三区| 欧美 日韩 精品 国产| 午夜福利在线免费观看网站| 精品国产一区二区久久| 成人特级黄色片久久久久久久 | 一边摸一边抽搐一进一小说 | 日本av手机在线免费观看| 国产一区有黄有色的免费视频| 一边摸一边抽搐一进一小说 | 91精品国产国语对白视频| 国产又爽黄色视频| 99精品久久久久人妻精品| 两性午夜刺激爽爽歪歪视频在线观看 | 黄片大片在线免费观看| 黄色怎么调成土黄色| 人人妻,人人澡人人爽秒播| 这个男人来自地球电影免费观看| 美女福利国产在线| 国产一区有黄有色的免费视频| 亚洲欧美一区二区三区黑人| 高清av免费在线| 中文亚洲av片在线观看爽 | 国产精品二区激情视频| 精品午夜福利视频在线观看一区 | 国产成人精品在线电影| 国产片内射在线| 涩涩av久久男人的天堂| 久久香蕉激情| a级毛片黄视频| 亚洲精品美女久久久久99蜜臀| 欧美成人免费av一区二区三区 | 麻豆乱淫一区二区| 免费女性裸体啪啪无遮挡网站| 丰满人妻熟妇乱又伦精品不卡| 国产精品香港三级国产av潘金莲| 日韩大片免费观看网站| 亚洲成人免费电影在线观看| 亚洲av电影在线进入| 高清av免费在线| 三上悠亚av全集在线观看| 日韩大码丰满熟妇| 水蜜桃什么品种好| 1024香蕉在线观看| 如日韩欧美国产精品一区二区三区| 亚洲成人手机| 免费黄频网站在线观看国产| 成人黄色视频免费在线看| www日本在线高清视频| 欧美黑人欧美精品刺激| 日韩大片免费观看网站| 一级黄色大片毛片| 日韩视频一区二区在线观看| svipshipincom国产片| 午夜福利一区二区在线看| 极品人妻少妇av视频| 一二三四在线观看免费中文在| 热99久久久久精品小说推荐| 久久久精品国产亚洲av高清涩受| 国产亚洲一区二区精品| 19禁男女啪啪无遮挡网站| 69精品国产乱码久久久| 9热在线视频观看99| 少妇裸体淫交视频免费看高清 | 国产成人免费观看mmmm| 国产成人av激情在线播放| 丁香六月天网| 欧美人与性动交α欧美精品济南到| av免费在线观看网站| 国产伦理片在线播放av一区| 99热国产这里只有精品6| 在线观看66精品国产| 免费观看人在逋| 天堂8中文在线网| 欧美在线黄色| 少妇裸体淫交视频免费看高清 | 久久久精品免费免费高清| 精品一区二区三区四区五区乱码| 国产亚洲av高清不卡| 欧美日韩中文字幕国产精品一区二区三区 | 午夜两性在线视频| 亚洲专区国产一区二区| 国产日韩欧美亚洲二区| 国产有黄有色有爽视频| 老熟女久久久| 999久久久精品免费观看国产| av线在线观看网站| videos熟女内射| 一级,二级,三级黄色视频| 极品人妻少妇av视频| 久久精品亚洲熟妇少妇任你| 精品人妻在线不人妻| 国产黄色免费在线视频| 一级毛片女人18水好多| 麻豆乱淫一区二区| 肉色欧美久久久久久久蜜桃| 亚洲国产欧美网| 国产精品.久久久| 一级毛片电影观看| 亚洲色图综合在线观看| 日韩三级视频一区二区三区| 亚洲欧洲精品一区二区精品久久久| 丝袜喷水一区| 桃花免费在线播放| 自线自在国产av| 亚洲伊人久久精品综合| 无遮挡黄片免费观看| e午夜精品久久久久久久| 亚洲 国产 在线| 国产av又大| 欧美日韩精品网址| 国产av精品麻豆| 99国产精品99久久久久| 欧美黑人精品巨大| 国产精品欧美亚洲77777| 蜜桃在线观看..| 法律面前人人平等表现在哪些方面| 精品人妻1区二区| 免费在线观看黄色视频的| 自线自在国产av| 波多野结衣一区麻豆| 成人特级黄色片久久久久久久 | 中亚洲国语对白在线视频| 下体分泌物呈黄色| 欧美日韩亚洲综合一区二区三区_| 久久久久精品国产欧美久久久| 日韩视频在线欧美| 日本vs欧美在线观看视频| 久久久国产欧美日韩av| 精品久久蜜臀av无| 精品亚洲成国产av| 99久久国产精品久久久| 亚洲全国av大片| 精品熟女少妇八av免费久了| 一区二区三区激情视频| 十八禁人妻一区二区| 亚洲精品成人av观看孕妇| 这个男人来自地球电影免费观看| a级毛片黄视频| 男女之事视频高清在线观看| 女性被躁到高潮视频| 国产精品自产拍在线观看55亚洲 | 搡老熟女国产l中国老女人| 午夜福利免费观看在线| 脱女人内裤的视频| 久久久久精品人妻al黑| 一级毛片精品| 十八禁网站免费在线| 人人澡人人妻人| 一进一出好大好爽视频| 色尼玛亚洲综合影院| 精品视频人人做人人爽| 色综合欧美亚洲国产小说| tube8黄色片| 一本色道久久久久久精品综合| 亚洲全国av大片| 一进一出抽搐动态| 中文字幕制服av| 亚洲国产av影院在线观看| 黄色视频在线播放观看不卡| 女人高潮潮喷娇喘18禁视频| 久久久精品国产亚洲av高清涩受| 欧美日韩黄片免| 久久99一区二区三区| 一级黄色大片毛片| tocl精华| 国产高清视频在线播放一区| 别揉我奶头~嗯~啊~动态视频| 亚洲全国av大片| 国产精品.久久久| 亚洲 欧美一区二区三区| 黄色视频不卡| 亚洲 欧美一区二区三区| 国产成人精品在线电影| 精品久久久精品久久久| 亚洲欧美一区二区三区黑人| 国产精品久久久久成人av| 国产av精品麻豆| 午夜91福利影院| 免费观看人在逋| 亚洲午夜精品一区,二区,三区| 丝袜人妻中文字幕| 美女视频免费永久观看网站| 午夜精品久久久久久毛片777| 精品一区二区三区视频在线观看免费 | 亚洲七黄色美女视频| 王馨瑶露胸无遮挡在线观看| 大陆偷拍与自拍| 久久精品亚洲熟妇少妇任你| av超薄肉色丝袜交足视频| 久久久精品区二区三区| 久久精品91无色码中文字幕| 五月天丁香电影| 超色免费av| 久久婷婷成人综合色麻豆| 亚洲国产av影院在线观看| 国产精品麻豆人妻色哟哟久久| 777米奇影视久久| 日韩欧美一区二区三区在线观看 | 久久性视频一级片| 久久久久久免费高清国产稀缺| 一边摸一边抽搐一进一小说 | 亚洲全国av大片| 亚洲伊人久久精品综合| 日韩成人在线观看一区二区三区| 国产精品亚洲av一区麻豆| 久久国产精品男人的天堂亚洲| av又黄又爽大尺度在线免费看| 一本一本久久a久久精品综合妖精| av不卡在线播放| av福利片在线| 日韩欧美一区二区三区在线观看 | 国产亚洲av高清不卡| 国产区一区二久久| 精品少妇黑人巨大在线播放| 手机成人av网站| 国产成人av教育| 欧美老熟妇乱子伦牲交| 高清欧美精品videossex| 久久香蕉激情| 欧美变态另类bdsm刘玥| 咕卡用的链子| 久久九九热精品免费| 亚洲国产看品久久| 色综合婷婷激情| 亚洲黑人精品在线| 亚洲少妇的诱惑av| 精品一区二区三区av网在线观看 | 搡老熟女国产l中国老女人| 久久九九热精品免费| 国产又色又爽无遮挡免费看| 久久人人爽av亚洲精品天堂| 人人妻人人澡人人爽人人夜夜| 不卡av一区二区三区| 天天躁夜夜躁狠狠躁躁| 亚洲天堂av无毛| 91字幕亚洲| 老司机福利观看| 1024香蕉在线观看| 国产99久久九九免费精品| 国产不卡一卡二| 精品国产一区二区久久| 亚洲国产看品久久| 国产成人av激情在线播放| 久久中文字幕人妻熟女| 手机成人av网站| 最黄视频免费看| 日韩成人在线观看一区二区三区| av天堂久久9| 性高湖久久久久久久久免费观看| 啦啦啦中文免费视频观看日本| 亚洲中文av在线| 欧美性长视频在线观看| 成人手机av| 国产在线一区二区三区精| www.熟女人妻精品国产| 国产精品.久久久| 亚洲色图av天堂| 免费在线观看黄色视频的| 久久亚洲精品不卡| 一级毛片女人18水好多| 男女下面插进去视频免费观看| 久久久久久人人人人人|