• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    信號的語義刻畫與度量

    2022-11-09 07:12:22石光明高大化楊旻曦謝雪梅董明皓李雷達
    電子學(xué)報 2022年9期
    關(guān)鍵詞:特征函數(shù)基元度量

    石光明,高大化,楊旻曦,謝雪梅,董明皓,李雷達,于 凱

    (1.西安電子科技大學(xué)人工智能學(xué)院,陜西西安 710071;2.鵬城實驗室,廣東深圳 518055;3.西安電子科技大學(xué)生命科學(xué)技術(shù)學(xué)院,陜西西安 710071)

    1 引言

    憑借著豐富的感官和發(fā)達的大腦,人類能對多模態(tài)信號進行處理分析,從而形成生存優(yōu)勢,并在溝通、交流和通信基礎(chǔ)上形成了現(xiàn)代社會,以比特數(shù)據(jù)為基礎(chǔ)的信息處理與通信技術(shù)更是將人類帶入了信息社會.但隨著人工智能技術(shù)的發(fā)展,大量智能體(本文中的智能體是包括人在內(nèi)的智慧性系統(tǒng),如會決策的機器人)之間(如人-機、機-機之間)產(chǎn)生了巨大而頻繁的信息傳遞需求,這給以比特數(shù)據(jù)為基礎(chǔ)的信息處理與通信技術(shù)帶來了巨大挑戰(zhàn).以視頻通信為例,使用目前最新的視頻編碼方法H265傳輸單路4K/30幀的視頻就需要40 Mbps的帶寬,使用5G的終端設(shè)備仍然無法同時傳輸幾十路視頻以滿足大型線上會議場景下的交互需求.因此,探尋并建立一套突破比特數(shù)據(jù)局限的新型信息處理技術(shù)具有時代意義.其中,如何找到一種更高效、更自然的信息表達方法是開展新型信息處理技術(shù)研究的基礎(chǔ).

    通常,人類處理和傳遞信息時并不是以精準傳遞數(shù)據(jù)信號為主,而是以傳遞語義(語言中包含的意思)為首要目的,這對智能體而言相當(dāng)高效和自然.事實上,從遠古至今,人類近距離交互一直使用的是聲波.盡管聲波帶寬有限,但相比遠古人類之間交流、處理的信息量,現(xiàn)代人類之間交流的信息量多了很多,而交流所用的聲波帶寬資源并沒有增加,增加的是人類對語義的表達與理解能力.近年來,國內(nèi)外學(xué)者已經(jīng)對語義在信息處理和通信中的應(yīng)用展開了大量的研究.在人工智能領(lǐng)域,直接從信號中提取所需信息的過程被稱為語義識別.對以語言文字為代表的離散符號所承載的語義的研究主要分為兩類:(1)借鑒自然語言的語法規(guī)則,構(gòu)建描述語義的離散符號系統(tǒng).該思路下的早期工作是由文獻[1]首先提出的框架邏輯.隨后Baader等人提出了更為完善且更適合計算機處理的描述邏輯[2].近年來,隨著數(shù)據(jù)和算力的發(fā)展,基于知識圖譜[3]、事理圖譜[4]等靈活的離散圖數(shù)據(jù)結(jié)構(gòu)的語義存儲方法和基于圖神經(jīng)網(wǎng)絡(luò)[5,6]的數(shù)據(jù)挖掘方法被廣泛應(yīng)用于學(xué)界和業(yè)界;(2)基于語料數(shù)據(jù),構(gòu)建反映語言規(guī)則的語言模型.在早期,學(xué)界主要使用條件隨機場[7]、貝葉斯網(wǎng)絡(luò)[8]等概率模型對語言進行建模.隨著深度學(xué)習(xí)的發(fā)展,從早期的句子順序建模[9,10]到詞語嵌入式表示[11],到基于注意力的大型跨任務(wù)模型[12,13],越來越多的基于深度模型的語言模型被提出,并逐漸成為離散語義研究的主流方法.而對以圖像為代表的連續(xù)信號所承載的語義研究主要分為三類:(1)建立信號和語義概念的直接映射.Lowe提出一種設(shè)計語義不變性的模板,并通過模板匹配進行圖像識別方法[14].Pedro等人在文獻[15]中提出利用深度模型識別出的圖像中語義概念明確的部件,進而綜合得到整體目標(biāo)的檢測結(jié)果.Koh等人在文獻[16]中提出一種先使用深度模型預(yù)測圖像中包含的語義概念,再由分類器做出判斷的可解釋圖像分類方法.(2)融合離散符號表示的語義先驗.Lu等人提出了一種結(jié)合人類語言先驗的視覺關(guān)系檢測方法[17].該方法用深度神經(jīng)網(wǎng)絡(luò)將特征提取網(wǎng)絡(luò)得到的圖像特征和詞向量表示的人類語言先驗知識融合,實現(xiàn)了對圖像中物體之間的關(guān)系的檢測.Wang等人通過語義嵌入和知識圖譜實現(xiàn)了零樣本識別[18].該方法利用圖卷積神經(jīng)網(wǎng)絡(luò),將知識圖譜表示的圖像類別知識映射到語義空間.然后融合圖像特征和語義向量,實現(xiàn)對訓(xùn)練時沒有見過的類別的圖像進行識別.(3)分析數(shù)據(jù)在表征空間中的分布.Caron等人在文獻[19]中提出了一種通過在表征空間上進行數(shù)據(jù)聚類實現(xiàn)無監(jiān)督圖像分類的方法.Li等人在文獻[20]中基于數(shù)據(jù)在表征空間上的聚類中心,為每個類別構(gòu)建多個原型,再將待測數(shù)據(jù)和原型匹配得到分類結(jié)果.

    然而,不論是傳統(tǒng)機器學(xué)習(xí)方法還是深度學(xué)習(xí)方法,由于語義似乎只可意會不可言傳,雖然學(xué)者們在研究中大量涉及了語義及其應(yīng)用,但并沒有從物理和數(shù)學(xué)等方面對語義進行刻畫、表達、度量和計算,導(dǎo)致其無法兼顧可解釋性和泛化性,這是造成當(dāng)今的信息處理與通信技術(shù)是非語義模式的重要原因之一.在本文中,我們提出了一種多模態(tài)信號的語義刻畫和度量的數(shù)學(xué)描述.我們首先依據(jù)信息科學(xué)和神經(jīng)科學(xué)相關(guān)結(jié)論,給出了具有模塊化、多模態(tài)、層級化特點的語義刻畫方法,包括基于語義基元的表達方法和語義計算模型;接著,在語義刻畫的基礎(chǔ)上,給出了語義空間、語義相似度、語義距離和語義度量的數(shù)學(xué)描述;最后,為了驗證所提信號語義的刻畫和度量的可行性和有效性,我們在MNIST(Mixed National Institute of Standards and Technology database)手寫數(shù)字識別和水聲目標(biāo)識別兩個應(yīng)用中進行了實驗,獲得了比傳統(tǒng)深度學(xué)習(xí)更好的性能.

    2 語義的內(nèi)涵

    “語義(semantic)”一詞在人工智能領(lǐng)域被廣為使用,被用于指代信號中的可理解含義的表征,如語義分割[21]、語義分析[22]、語義理解[23],甚至語義計算[24].然而,此類表征都是高維張量或者文本,存在著可解釋性差,泛化能力差的問題,制約了通用模型的產(chǎn)生.目前為止,對信號中語義的直觀且通用的數(shù)學(xué)描述仍然是一個極具挑戰(zhàn)性的難題,還沒有有效的解決思路.其原因之一是語義基本內(nèi)涵不易定義從而難以度量;原因之二是人們對語義的產(chǎn)生機理和過程不了解.而信息科學(xué)和神經(jīng)科學(xué)的一些工作對語義基本內(nèi)涵和語義產(chǎn)生的機理過程的探尋有著重要借鑒價值.因此本節(jié)將分別介紹信息科學(xué)和神經(jīng)科學(xué)對語義的相關(guān)研究,并以此總結(jié)出語義的特點,為第3節(jié)中的信號語義的刻畫和度量的數(shù)學(xué)描述奠定基礎(chǔ).

    2.1 信息科學(xué)中的語義

    信息論的創(chuàng)始人Shannon在其奠定現(xiàn)代信息論基礎(chǔ)的論文文獻[25]中率先提到語義層面的信息交互問題.Shannon在其之后出版的《通信的數(shù)學(xué)理論》[26]一書中指出,語義問題關(guān)心的是收信者對信息的理解是否與發(fā)信者想表達的含義一致或接近.并將通信問題歸為三個層面:(1)技術(shù)問題:通信符號如何準確地進行傳輸?(2)語義問題:傳輸?shù)姆柸绾尉_地傳達含義?(3)效用問題:收到的含義如何以期望的方式有效地影響行為?不同于符號層面只關(guān)注經(jīng)過符號編碼調(diào)制的信號載波是否正確傳輸,語義層面的信息交互是需要交互雙方能夠理解信號中的內(nèi)容或含義,從而提取其中的信息.語義層面的信息也不再是由符號的熵簡單定義,而是通過接受信號前后的語義差異性定義,即,先從對方的信號中感知出語義,然后與自己的已知語義對比,如果存在差異,這個差異就是信息.在Shannon之后的學(xué)者在語義信息理論框架下的語義刻畫與度量展開討論,并率先開展了基于語義而非比特數(shù)據(jù)的通信方法的探究.Guler等人[27]提出了一種語義誤差,作為語義信息準確性的衡量標(biāo)準,用于計算交互雙方語義的偏差距離.Bao等人[28]進一步指出在進行語義信息交互過程中,交互雙方需要具有共有知識儲備,才能進行順暢的語義交流.Basu等人[29]提出了語義容量的概念,并指出語義容量等于信息源的平均語義熵,確立了語義壓縮的下界.此外Willems等人[30]研究了語義編碼,使用語義相似性指導(dǎo)機器學(xué)習(xí)算法的優(yōu)化,實現(xiàn)了數(shù)據(jù)間關(guān)系的更緊湊表示.目前信息科學(xué)對語義的研究主要是以信息論中關(guān)于不確定性的論述為基礎(chǔ),將香農(nóng)信息論對比特的理論遷移至語義,形成了以語義符號為基礎(chǔ)的語義信息論.由此,我們認為信號語義具有模塊性.在節(jié)3中,我們將使用有限個預(yù)定義了語義的信號作為語義符號構(gòu)成信號語義刻畫的基礎(chǔ).

    2.2 神經(jīng)科學(xué)中的語義

    Hubel和Wiesel[31]發(fā)現(xiàn)大腦視覺皮層中存在相同圖像特征選擇性和相同感受野位置的眾多神經(jīng)細胞,以垂直于大腦表面的方式排列成柱狀結(jié)構(gòu),稱為神經(jīng)元功能柱(functional column).同一個功能柱內(nèi)所有的神經(jīng)細胞都編碼了相同的視覺信息,它們只對某一種視覺特征發(fā)生反應(yīng),從而形成該種視覺特征的基本單位.類似神經(jīng)元功能柱的模塊化結(jié)構(gòu)在大腦中有著不同尺度的體現(xiàn).以視覺神經(jīng)信號傳輸過程為例(如圖1).

    圖1 視覺語義形成過程示意圖

    視覺語義的產(chǎn)生源自視網(wǎng)膜,并終止于大腦[32],其中語義以稀疏的皮質(zhì)區(qū)域和連接模式的形式呈現(xiàn).該過程分層次地涉及基于低級感官的處理,并且可以分為三個級別[33].處理的初始級別發(fā)生在視網(wǎng)膜上,該過程將視網(wǎng)膜上的光的模式傳輸為編碼的電信號,然后傳輸?shù)酱竽X中.中級處理通過將視覺世界分為屬于對象的輪廓和表面并將這些元素與背景隔離,從而參與視覺圖元的識別.在此階段,視覺信息處理依賴于功能柱[34],它表示一個單元,其中包含大腦皮層中一組神經(jīng)元中任何給定的感受野的完整神經(jīng)元集合[35].柱狀組織假說是目前最廣泛用于解釋信息皮質(zhì)處理的方法[36].上層涉及對象識別,其核心是語義的分類,表現(xiàn)為連續(xù)語義空間向大腦皮層表面區(qū)域的一種映射[32].因此,一個語義由大腦中的多個子系統(tǒng)表示,這一現(xiàn)象可以被稱為大腦區(qū)域網(wǎng)絡(luò)[33,37].Huth和Gallant等人使用了功能性磁共振成像(functional Magnetic Resonance Imaging,fMRI),利用有聲讀物故事以及來自計算語言學(xué)的機器學(xué)習(xí)算法,以探討如何將語義映射到相應(yīng)激活的大腦皮質(zhì)區(qū)域[38].由此產(chǎn)生的圖譜表明,語義系統(tǒng)是復(fù)雜的層級表現(xiàn)模式,在主體內(nèi)相對穩(wěn)定,并且在個體之間分布基本一致[38].由此,我們認為信號語義具有模塊化、多模態(tài)、層級化的特點.在第3節(jié)中,我們將使用語義計算模擬神經(jīng)信號隨著尺度提升而逐漸抽象的過程,對基礎(chǔ)語義進行抽象、調(diào)整、拓展等延伸操作,使其具有模塊化、多模態(tài)、層級化的特點.

    3 語義的刻畫和度量

    3.1 語義的刻畫

    鑒于信號語義具有模塊化、多模態(tài)、層級化的特點,我們將從基于基元的基礎(chǔ)語義定義和基于語義計算的語義延伸兩個方面對語義進行刻畫.

    3.1.1 基礎(chǔ)語義

    設(shè)δ表示一個基礎(chǔ)的語義,如語義“黑色”.那么語義“黑色”存在不同模態(tài)下的信號語義基元,如聲音模態(tài)fδ(t)為“Hēi”這一聲音信號,圖色模態(tài)Fδ(x,y)為圖片“■”,文字模態(tài)sδ為中文詞“黑”.此時,可定義語義δ:={fδ(t),F(xiàn)δ(x,y),sδ,…},其中fδ,F(xiàn)δ,sδ等分別對應(yīng)一維、二維、離散符號等模態(tài)空間中的某個由基元表示的語義特征函數(shù).δ集合內(nèi)的元素在語義層面是相互等價的,即fδ的語義是δ,F(xiàn)δ的語義是δ,sδ的語義也是δ,換句話說它們之間可以相互表達或標(biāo)注.例如,“黑”(文本),“Hēi”(聲音),“■”(圖色)這三者是不同的信號模態(tài),它們之間建立了語義等價概念.看到“黑”文字符號,就能發(fā)音“Hēi”,腦中也能產(chǎn)生黑色影像.對應(yīng)在英語語系中,同樣的語義可以用“Black”(文本)、“[bl?k]”(聲音)、“■”(圖色)來約定相互等價的語義.

    更一般地,如果語義有N個模態(tài),則可進一步定義其語義為:

    其中在模態(tài)Θi上定義的特征函數(shù)的集合為FΘi=

    選擇合適的語義基元對于定義基礎(chǔ)語義而言十分關(guān)鍵.在實際應(yīng)用中,可根據(jù)具體應(yīng)用場景,通過專家手工設(shè)計或數(shù)據(jù)學(xué)習(xí)得到.當(dāng)人類知識可靠時,通過專家手工設(shè)計基元.比如對語義“人的軀體”,可以根據(jù)人類知識手工設(shè)計頭、手、腿、軀干等人體部件作為語義基元.當(dāng)人類知識不可靠時,則需要收集足夠的表達某個語義的數(shù)據(jù),利用機器學(xué)習(xí)算法獲取基元.例如建立語義“木質(zhì)紋理”,則可收集足夠的木質(zhì)材料的圖像數(shù)據(jù),然后利用主成分分析等算法提取基元.

    3.1.2 語義計算

    眾所周知,智能體會對語義進行擴充、融合、提升和凝練,為此我們定義了滿足這些操作的語義計算方法.人在學(xué)習(xí)的過程中,會不斷地對現(xiàn)有的語義進行擴充,從計算角度看,這種語義內(nèi)涵的擴充稱為語義加法.語義加法有兩種情況:一是語義中拓展若干新的特征函數(shù),即語義與特征函數(shù)集合相加;二是兩個語義融合為新的、更全面的語義,即語義與語義相加.

    3.1.2.1 語義加法

    (1)語義與特征函數(shù)集合相加

    語義與特征函數(shù)集合相加主要用于對某一語義具有屬性的細化或擴充.用S1={F1Θ1,F(xiàn)1Θ2,…,F(xiàn)1ΘN}表示一個語義,用F={FΘ1,F(xiàn)Θ2,…,F(xiàn)ΘN}表示一個特征函數(shù)的集合.那么語義和特征函數(shù)集合的加法可以定義為:

    其中,F(xiàn)1Θ1∪FΘ1表示兩個集合之間的并集操作.我們通過上式將語義和特征函數(shù)的集合表示為所有子空間內(nèi)集合的并集.因此,這種加法是不會產(chǎn)生新的特征函數(shù)的.需要指出的是,特征函數(shù)集合F={FΘ1,F(xiàn)Θ2,…,F(xiàn)ΘN}和語義的定義形式相同,因此該操作也可以用來實現(xiàn)兩個語義概念的合并,而不會產(chǎn)生新的特征函數(shù).

    通過語義和特征函數(shù)集合之間的加法可以描述人在學(xué)習(xí)外語時語義的變化過程.對于3.1.1小節(jié)中定義的 語 義“黑”可 以 表 示 為S={FΘs,F(xiàn)Θν,F(xiàn)Θc}.其 中FΘs,F(xiàn)Θν,F(xiàn)Θc分別表示聲音、圖像、符號語義模態(tài)的特征函數(shù)集合.我們假設(shè)智能體只懂漢語,即聲音模態(tài)的特征函數(shù)集合FΘs={FChn}只記錄了漢語讀音“Hēi”.而通過學(xué)習(xí)英文中單詞black的發(fā)音“[bl?k]”F={FΘs|FΘs={FEng}}之后,語義“黑”就可以通過式(2)所述的語義和特征函數(shù)集合之間的加法進行擴展,得到S={FΘs,F(xiàn)Θν,F(xiàn)Θc},F(xiàn)Θs={FChn,F(xiàn)Eng}.

    (2)語義與語義相加

    語義和語義相加用于融合語義特征,產(chǎn)生新的特征函數(shù),從而形成新的語義,其定義為:

    其中fusion(F1Θ1,F(xiàn)2Θ1|Θ1)表示同一個模態(tài)內(nèi)的兩個特征函數(shù)集合之間進行特征融合:

    通過語義間加法可以描述光線或者顏料的顏色組合過程.若仿照3.1.1小節(jié)分別定義光的三原色紅、綠、藍的語義.則可以根據(jù)式(5)對三原色的語義中的圖像模態(tài)的特征函數(shù)進行融合,得到新的顏色的圖像特征函數(shù).而若將式(5)中的特征融合函數(shù)設(shè)定為三項加權(quán)求和,就可以得到任意顏色.

    由于語義與語義相加需要在兩個集合間組合計算,因此計算復(fù)雜度較高.在實際應(yīng)用中,如果連續(xù)使用語義與語義相加,將會導(dǎo)致語義特征函數(shù)集合的規(guī)??焖贁U大,進而引發(fā)組合爆炸問題.語義與語義相加產(chǎn)生的大量同一模態(tài)的語義特征函數(shù)構(gòu)成了一個語義子空間的一組過完備原子,其中一些語義特征函數(shù)可以由其他特征函數(shù)近似線性表示,即存在冗余.因此,在完成語義與語義相加的操作后,可以采用聚類等方式對新的特征函數(shù)集合進行去冗余,從而縮減語義特征函數(shù)集合的規(guī)模,從而避免組合爆炸.

    3.1.2.2 語義乘法

    (1)語義的數(shù)乘

    人在學(xué)習(xí)的過程中,會根據(jù)新總結(jié)的經(jīng)驗在已有概念的基礎(chǔ)上進行調(diào)整.在語義計算的框架中,我們定義語義的數(shù)乘來描述這種語義概念的權(quán)重調(diào)整:

    其中,c={c11,c12,…,cNn}表示每個特征函數(shù)對應(yīng)的數(shù)乘的常數(shù),F(xiàn)ki和cki表示模態(tài)Θk下的第i個特征函數(shù)及其對應(yīng)的常數(shù).

    通過語義的數(shù)乘可以描述語言環(huán)境發(fā)生變化時,人對語義做出的調(diào)整.一個懂得中英雙語的人在國內(nèi)生活時間長了之后,對中文發(fā)音更加敏感.當(dāng)語言環(huán)境再次改變的時候,則根據(jù)式(6)再做出相應(yīng)的調(diào)整.

    (2)語義的直積

    聯(lián)想、抽象能力是人類智慧重要的組成部分.面對不同的概念,將其關(guān)聯(lián)起來,組合成更高一級的語義,便是聯(lián)想、抽象能力的本質(zhì).通過之前對語義的定義,可以把聯(lián)想抽象能力理解為從低級語義生成更高一級語義的過程.語義本質(zhì)上是特征函數(shù)的集合,因此使用直積來表示這種過程:

    其中,最右項表示規(guī)則R指導(dǎo)下的兩個集合之間的笛卡爾乘積(Cartesian product).此處引入規(guī)則R是為了減少沒有意義的模態(tài)之間的組合,從而減少笛卡爾乘積運算后集合的規(guī)模,以避免發(fā)生組合爆炸問題.比如,我們可以定義聲音模態(tài)Θ1和圖像模態(tài)Θ2進行組合,其他的模態(tài)將不參與組合,此時笛卡爾乘積的結(jié)果便只有{(F1Θ1,F(xiàn)2Θ1),(F1Θ1,F(xiàn)2Θ2),(F1Θ2,F(xiàn)2Θ1),(F1Θ2,F(xiàn)2Θ2)}四種組合結(jié)果.需要注意的是,此處的組合是有向組合,即一般情況下(F1Θ1,F(xiàn)2Θ1)≠(F2Θ1,F(xiàn)1Θ1),則:這樣的規(guī)定可以表示一定的因果、先后次序,更加豐富語義的表達能力.需要進一步指出的是,模態(tài)組合的結(jié)果是生成新的模態(tài),例如{(F1Θ1,F(xiàn)2Θ1),(F1Θ1,F(xiàn)2Θ2),(F1Θ2,F(xiàn)2Θ1),(F1Θ2,F(xiàn)2Θ2)}就 生成了四種新的高維模態(tài),即{(Θ1,Θ1),(Θ1,Θ2),(Θ2,Θ1),(Θ2,Θ2)}.在 新 的 高 維 模態(tài)下,將同樣按照笛卡爾乘積的形式生成高維特征函數(shù):

    用語義直積可以描述我們根據(jù)所學(xué)聲母韻母組合成漢語拼音的過程.例如,我們在學(xué)習(xí)漢語拼音時,會區(qū)分聲母和韻母,分開學(xué)習(xí),然后再將聲母韻母按一定規(guī)則組合起來,就能形成所有的漢語拼音.從語義角度理解,我們可以首先定義所有聲母和韻母的語義分別為S1,S2.然后將式(7)中的規(guī)則定義為僅限聲音模態(tài)直積,對S1,S2進行組合.接著依照式(8),根據(jù)拼音的組合規(guī)則,只保留聲母在前韻母在后的組合結(jié)果.最后依照式(9),將聲母和韻母的特征函數(shù)直積成拼音的特征函數(shù).

    由于語義與語義相加需要在兩個集合間組合計算,因此計算復(fù)雜度較高.在實際應(yīng)用中,需要去除新產(chǎn)生的高維特征函數(shù)集合中的冗余.由于新產(chǎn)生的高維特征函數(shù)是由兩個屬于不同語義子空間的特征函數(shù)組合而成,不便直接使用聚類等方法去除冗余.因此,可以先通過主成分分析等方法先對高維特征函數(shù)進行降維,再在低維特征空間上通過聚類去除冗余.

    3.2 語義的度量

    在本小節(jié)中,我們將以語義為元素,給出了語義空間的數(shù)學(xué)描述,并基于語義空間提出了語義相似度、語義距離和語義度量的數(shù)學(xué)描述.

    3.2.1 語義空間

    若δ(i)為一個具體的語義,把所有的語義用集合S:={δ(i)}表示,就構(gòu)成了語義空間,其中每一種模態(tài)特征信號的集合為對應(yīng)的模態(tài)子空間.同一個模態(tài)特征信號組成一個語義子空間.語義空間是由多個不同模態(tài)信號的子空間組成.在任何類型模態(tài)信號中,定義那些不再細分的基本特征函數(shù)為語義基元.語義基元能夠支撐這類模態(tài)信號的語義子空間,當(dāng)然這些語義基元可以按不同的時空關(guān)系組合或融合再次形成高層次含義或概念的語義符號,這種融合可以逐級提升[39].一個語義的特征函數(shù)是由相應(yīng)的子空間的多個語義基元結(jié)構(gòu)化組合而成.例如,在視覺空間,一些基本的點、線、面、曲線、圓、三角形、四邊形等是視覺空間的語義基元,組成視覺語義子空間的基函數(shù).圓、三角和線可再次融合形成某一類物體的語義符號,不同復(fù)雜程度的基函數(shù)代表不同層級的語義特征函數(shù).這個語義也可能用聽覺模態(tài)子空間的基函數(shù),例如拼音的聲母和韻母的發(fā)音.整個語義空間由相互表示等價含義的多個模態(tài)信號子空間組成,如圖2所示.

    圖2 語義空間示意圖

    3.2.2 語義特征譜

    在某個模態(tài)對應(yīng)的語義子空間中,假設(shè)人工設(shè)計或?qū)W習(xí)到的特征函數(shù)用一個點表示,則在此子空間的眾多特征函數(shù)就是一個點陣圖,它們呈現(xiàn)有序結(jié)構(gòu).一維特征函數(shù)點陣呈現(xiàn)的是時間先后的一維序列結(jié)構(gòu),可以用矢量表示;二維特征函數(shù)點陣呈現(xiàn)二維圖像結(jié)構(gòu),可以用矩陣表示;高維特征函數(shù)點陣呈現(xiàn)高維圖結(jié)構(gòu).這些結(jié)構(gòu)都稱為語義特征序.

    如在一維聲波語義子空間,預(yù)先定義一維基元特征函數(shù)集合{f1(t),f2(t),f3(t),…,fn(t)},集合中的每一個元素為一個基元,它們是一個個特定連續(xù)的基本聲波.某個語義在聲波子空間可以由一維聲波信號sv表示:

    其中,ωi是對應(yīng)特征的強度系數(shù),即為sv的特征譜;ti是對應(yīng)特征的時延,即為sv的特征序.又如在二維圖像模態(tài)的語義子空間,其語義基元的特征函數(shù)集合為{F1(x,y),F(xiàn)2(x,y),F(xiàn)3(x,y),…,F(xiàn)n(x,y)},每個基元的特征函數(shù)都對應(yīng)一個特定的二維圖像.某個語義可以在圖像子空間用二維圖像信號sp表示:

    其中,ωi是對應(yīng)特征的強度系數(shù),即為sp的特征譜;(xi,yi)是對應(yīng)特征的空間結(jié)構(gòu)點集,即為sp的特征序.

    3.2.3 語義之間的距離

    前面已經(jīng)給出了語義子空間的概念,并指出語義是由不同語義子空間中定義的若干特征函數(shù)描述的.在同一個子空間中的特征函數(shù)很容易定義距離;而屬于不同子空間的特征函數(shù)由于物理意義不同,無法定義距離.因此語義之間的距離可以定義為所有子空間內(nèi)特征函數(shù)距離的集合.如果它們之間不存在相同的語義子空間,則表明這兩者語義距離無窮大;如果存在部分相同的語義子空間,則它們之間的語義距離定義為語義子空間距離的集合.對于語義子空間集合Θ={Θ1,Θ2,…,ΘN},其中在子空間Θi上定義的特征函數(shù)的集合為FΘi={F(1)Θi,F(xiàn)(2)Θi,…,F(xiàn)(ni)Θi}.于是任意兩個語義可以記 為S1={F1Θ1,F(xiàn)1Θ2,…,F(xiàn)1ΘN}和 語 義S2={F2Θ1,F(xiàn)2Θ2,…,F(xiàn)2ΘN},其中F1Θi,F(xiàn)2Θi?FΘi,i=1,2,…,N.由此,語義之間的距離定義為一個集合:

    其中每個元素表示兩個語義在語義子空間Θi下的特征函數(shù)集合之間的距離.需要指出的是,當(dāng)兩個語義特征函數(shù)集合是同一模態(tài)時,他們之間的距離便具有意義,而與其所屬的語義無關(guān).距離可定義為:

    其中,Na和Nb分別為F1Θi和F2Θi中特征函數(shù)的個數(shù),兩個特征函數(shù)之間的距離度量dis(·)如下:

    其中,dim(Θi)為語義子空間Θi的維數(shù),p為閔可夫斯基距離(Minkowski distance)的參數(shù),其取值應(yīng)根據(jù)具體應(yīng)用而定.

    需要說明的是,當(dāng)任意一個集合為空集時,距離定義為無窮大:

    這里,語義的距離是一個集合Ds={d1,d2,…,dN|di=dis(F1Θi,F(xiàn)2Θi)}.

    3.2.4 語義之間的相似度

    與語義之間的距離定義類似,可以定義語義之間的相似度集合:

    其中每個元素表示兩個語義在語義子空間Θi下的特征函數(shù)集合之間的相似度.要定義特征函數(shù)集合之間的相似度,就需要先明確兩個特征函數(shù)之間的相似度sim(a,b|Θi)=sim(F(a)Θi,F(xiàn)(b)Θi).特征函數(shù)之間的相似度可以有很多定義方式,例如:采用人工標(biāo)注的方式,對所有特征函數(shù)兩兩之間的相似度進行一個預(yù)設(shè);或者采用神經(jīng)網(wǎng)絡(luò)模型預(yù)測相似度.此處,我們給出最通用的定義方法,采用特征函數(shù)之間的閔可夫斯基距離的倒數(shù)作為特征函數(shù)之間的相似度:

    其中,dim(Θi)為語義子空間Θi的維數(shù),p為閔可夫斯基距離(Minkowski distance)的參數(shù),其取值應(yīng)根據(jù)具體應(yīng)用而定;表示特征函數(shù)的第k維;ε為一個很小的數(shù),避免除法錯誤.基于特征函數(shù)之間的相似度,我們給出集合之間的相似度的計算公式:

    其中,|·|表示集合的長度.通過該式,我們將集合間的相似度定義為兩個集合中所有特征函數(shù)兩兩之間相似度的平均值.同樣,當(dāng)任意一個集合為空集時,相似度定義為0:

    3.2.5 信號的語義度量

    人在理解一種新事物的時候,往往使用我們熟知的各個屬性對其進行衡量.有了前述語義定義之后,我們可以把這個過程看作是求一個信號在各個語義上的投影,從而實現(xiàn)信號的語義度量.設(shè)語義S={FΘ1,F(xiàn)Θ2,…,F(xiàn)ΘN},其中在子空間Θi特征函數(shù)的集合為對應(yīng)的特征譜為定 義 在 該 子 空 間 的 度 量,則其在整個語義空間的度量定義為:

    4 基于語義度量和計算的應(yīng)用實例

    為了說明語義這一核心概念的有效性和可行性,本節(jié)基于本文提出的語義度量和計算方法,分別在MNIST手寫數(shù)字圖像分類和水聲目標(biāo)識別任務(wù)上進行了仿真驗證.

    4.1 MNIST手寫數(shù)字識別

    目前,大多數(shù)機器學(xué)習(xí)方法都是基于數(shù)據(jù)驅(qū)動的,需要使用大量樣本數(shù)據(jù),消耗大量算力對模型進行訓(xùn)練后,才能用于圖像分類與識別.針對此問題,本文提出了:(1)基于人類知識和語義計算的語義符號庫構(gòu)建方法;(2)基于語義度量的識別網(wǎng)絡(luò)(總體框圖如圖3所示).其主要思路是首先利用人類知識從樣本中抽取語義,然后通過語義計算構(gòu)建語義符號庫;在識別過程中,結(jié)合語義符號庫,通過識別網(wǎng)絡(luò)對待識別圖像進行語義度量,完成識別過程.

    圖3 基于語義度量和計算的圖像識別框架

    該方法的優(yōu)勢在于只需要使用少量圖像樣本構(gòu)建語義符號庫,不需要對網(wǎng)絡(luò)進行訓(xùn)練或僅需少量訓(xùn)練,即可用于圖像識別.在MNIST數(shù)據(jù)集上的對比實驗結(jié)果表明本文方法遠優(yōu)于數(shù)據(jù)驅(qū)動的卷積神經(jīng)網(wǎng)絡(luò)[40];并且訓(xùn)練數(shù)據(jù)量越小,效果差異越大.

    4.1.1 語義符號庫的構(gòu)建

    基于人類知識和語義計算的手寫數(shù)字語義符號庫構(gòu)建方法如圖4所示.

    圖4 基于人類知識和語義計算的手寫數(shù)字語義符號庫構(gòu)建方法流程圖

    第1步,根據(jù)人類知識設(shè)計出手寫數(shù)字的基礎(chǔ)語義基元.通過分析MNIST圖像總結(jié)出手寫數(shù)字的筆畫可以拆解成各個方向上的短弧線,據(jù)此設(shè)計出如圖4中所示的基礎(chǔ)語義基元集合其中每個基元都可以用11×11的矩陣來表示.

    第2步,通過仿射變換和語義間加法對基礎(chǔ)語義基元進行組合和擴充,進而得到特征函數(shù).具體過程是,先通過仿射變換對基礎(chǔ)語義基元集合進行擴充,這種經(jīng)過仿射變換之后的基元可以在幾何形變后保持相同的語義,提升了泛化性.然后再將變換后的基元利用式(3)所示進行語義相加,得到候選特征函數(shù)F=

    第3步,使用語義乘法(如式(9)所示)計算出語義樣本對應(yīng)的圖像語義空間下的特征函數(shù).首先以篩選出的特征函數(shù)作為卷積核,對語義樣本進行卷積得到式(11)定義的特征譜集合.接著根據(jù)像素點空間近鄰關(guān)系作為式(7)中的組合規(guī)則R,按照式(9)進行語義乘法,得到圖結(jié)構(gòu)的高維特征函數(shù).然后對該圖進行圖傅里葉變換,將高維特征函數(shù)轉(zhuǎn)換為圖像語義空間下的特征函 數(shù)最后將特征函數(shù)按照式(1)構(gòu)成集合,便得到了每張圖像的語義.

    第4步,根據(jù)MNIST數(shù)據(jù)集中對所選語義樣本的類別標(biāo)注,將同一類別的所有圖像語義特征函數(shù)定義為一個語義空間,同樣根據(jù)式(1)便完成了描述手寫數(shù)字類別的語義符號庫的構(gòu)建,即

    4.1.2 基于語義度量的圖像識別

    在完成語義符號庫的構(gòu)建之后,便可基于語義度量方法對圖像進行識別.首先,將待識別圖像通過語義符號庫中的特征函數(shù)卷積得到式(3)中的特征譜,再經(jīng)過語義乘法和圖傅里葉變換方法計算出圖像特征向量fI∈R(WgHgC).然后,按照3.2.5節(jié)介紹的方法,根據(jù)符號語義庫S中的K個子語義,對圖像特征向量按照式(20)進行語義度量得到K個標(biāo)量,組成語義向量fF∈RK.最后通過計算語義向量的softmax得到圖像類別的預(yù)測概率向量,完成手寫體數(shù)字的識別.

    4.1.3 實驗結(jié)果

    本實驗在MNIST數(shù)據(jù)集上將傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)和本文方法進行了對比.用于對比的CNN由4個3×3的卷積層和一個全連接層組成.對比實驗針對不同訓(xùn)練數(shù)據(jù)量計算了兩種方法的測試準確率,對比結(jié)果如表1所示.其中nshot代表每一類使用n張圖片進行訓(xùn)練.

    表1 本文方法和卷積神經(jīng)網(wǎng)絡(luò)在不同數(shù)據(jù)量下的對比

    根據(jù)表1實驗結(jié)果,我們可以得出如下結(jié)論:(1)在使用相同訓(xùn)練數(shù)據(jù)量條件下,本文的識別方法均優(yōu)于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò).更進一步,本文方法比使用10倍數(shù)據(jù)量的傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的準確率更高.這表明了本文所提圖像識別方法的有效性,從而驗證了語義定義、度量與計算的可行性;(2)在1-shot到100-shot時,本文方法的準確率比傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的準確率高20%以上,隨著數(shù)據(jù)量增加,兩者之間的性能差異逐漸縮短.這是因為當(dāng)訓(xùn)練數(shù)據(jù)較少時,語義知識發(fā)揮主要作用;當(dāng)訓(xùn)練數(shù)據(jù)逐步增加時,數(shù)據(jù)驅(qū)動模型將逐步接近知識驅(qū)動模型的效果.從這個角度講,基于語義的知識驅(qū)動模型更適合用于訓(xùn)練數(shù)據(jù)缺乏的場景.

    4.2 水聲目標(biāo)的識別

    為了進一步驗證本文所提出的語義度量方法的有效性,我們又將語義的概念用于水聲目標(biāo)的識別.水下聲音信號受到海洋背景噪聲大、海況復(fù)雜、季節(jié)變化等多方面因素的影響,可用于有效識別的特征少,識別難度大.現(xiàn)有的水聲信號識別方法主要基于譜分析法,識別過程沒有明確的語義,因此識別的精度有限.基于本文所提出的語義概念,我們首先定義幾種具有語義屬性的水聲信號基元表達,在此基礎(chǔ)上構(gòu)建用于水聲信號識別的語義知識圖譜,然后借助于圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Network,GCN)進行語義基元間的關(guān)聯(lián)推理,進而獲得更高層次的語義表達,實現(xiàn)基于語義推理的水聲信號識別.

    本實驗的目標(biāo)針對三類艦船的水聲信號進行識別.實驗中,我們首先定義了6種水聲的語義基元特征,具體如表2所示.

    表2 水聲信號識別的語義基元定義

    利用語義基元間的先驗知識,構(gòu)建圖5所示的知識圖譜,利用圖卷積網(wǎng)絡(luò)進行語義基元間的關(guān)系推理.在三類水聲信號的分類問題上進行了實驗驗證,三類水聲信號的樣本數(shù)分別為112、136和153.實驗過程中,采用80%的數(shù)據(jù)進行模型訓(xùn)練,剩下20%的數(shù)據(jù)用于測試.為了驗證基于語義推理的水聲識別算法的有效性,將算法與傳統(tǒng)基于支持向量機(Support Vector Machine,SVM)分類的方法進行了對比實驗,實驗結(jié)果如表3所示.

    圖5 基于語義基元的水聲識別知識圖譜

    表3 基于語義推理的水聲識別方法與傳統(tǒng)基于SVM分類方法的性能對比

    從表3的實驗結(jié)果可以看出,傳統(tǒng)基于特征SVM分類的方法識別精度較低,采用基于語義推理的網(wǎng)絡(luò)識別的性能得到了大幅度的提升.這是因為水聲信號樣本數(shù)量較少,且傳統(tǒng)特征的語義層次低,因此基于SVM的方法無法獲理想的識別性能;而語義基元可以從不同的層面描述水聲信號的屬性,圖卷積網(wǎng)絡(luò)又可以進一步對語義基元進行抽象獲得更高層次的語義,形成更為深刻的信號表達.因此,結(jié)合語義基元和圖卷積網(wǎng)絡(luò)推理的方法能夠有效捕捉水聲信號的高層次語義特征,進而實現(xiàn)更準確的識別.

    4.3 面向達意通信的視頻信號語義編碼

    我們進一步將本文所提語義度量方法付諸實踐,用于視頻信號編碼.常用的視頻編碼技術(shù)以盡可能完整的傳遞視頻信號為目的,其編碼數(shù)據(jù)量隨著視頻清晰度提升而迅速增長,已經(jīng)無法滿足智能物聯(lián)網(wǎng)等智能時代背景下的視頻通信場景的需求.然而,在大多數(shù)應(yīng)用場景中,視頻通信并不需要始終完整地傳輸視頻信號,而只需傳輸其中的語義信息,實現(xiàn)達意通信即可.例如,在視頻會議場景中,通信雙方需要的是面部表情和肢體動作所傳達的意義,而不需要對方所處的環(huán)境、衣物紋理等信息.因此,通過面向達意通信的視頻語義編碼能夠有效地節(jié)省通信帶寬,滿足大規(guī)模視頻通信需求.

    本實驗以大規(guī)模視頻會議為背景,對視頻中的人體姿態(tài)語義進行層級編碼,其流程如圖6所示.我們將人體姿態(tài)語義分解為關(guān)節(jié)點和動作姿態(tài)這兩級語義.先根據(jù)人類知識定義了人體上14個關(guān)節(jié)點(如圖6初級語義符號所示),組成初級特征函數(shù)庫.再對由14個關(guān)鍵點組成的人體骨骼圖進行聚類,得到10種標(biāo)準動作,組成高級特征函數(shù)庫.根據(jù)特征函數(shù)庫,我們依次提取視頻信號中的人體關(guān)節(jié)點和動作姿態(tài)這兩級語義,作為語義編碼結(jié)果.具體流程為:首先,將輸入的視頻信號以初級特征函數(shù)庫為標(biāo)準語義進行信號語義度量,根據(jù)人體骨骼連接關(guān)系先驗,便可將度量結(jié)果記錄為圖結(jié)構(gòu)的初級語義符號;隨后,以高級特征函數(shù)庫,對初級符號進行語義度量,得到高級語義符號;最后,根據(jù)場景所需語義的層級,選擇初級語義符號或高級語義符號進行傳輸.

    圖6 視頻信號層級語義編碼

    由于語義符號為圖結(jié)構(gòu),在形象表達視頻信號中語義的同時,還能極大減小信道傳輸?shù)臄?shù)據(jù)量.我們對時長42 s、每秒25幀、分辨率512×512的原始視頻進行了MPEG(Moving Picture Experts Group)編碼和層級語義編碼,其性能對比如表4所示.從表中對比結(jié)果可以看出,面向達意通信的語義編碼能夠顯著降低信道傳輸?shù)膲毫?,甚至可以? Kbps的帶寬下傳輸視頻語義.而傳統(tǒng)編碼使用如此低的碼率時,完全無法分辨視頻中的語義.因此本文所提語義度量方法在視頻的達意通信中具有應(yīng)用意義.

    表4 層級語義編碼和MPEG編碼的性能對比

    5 結(jié)論

    本文從基于語義的新型信息處理與通信技術(shù)引入,針對目前缺乏語義刻畫和度量的數(shù)學(xué)描述這一問題,依據(jù)信息科學(xué)和神經(jīng)科學(xué)相關(guān)結(jié)論,討論了語義的內(nèi)涵,并指出語義具有模塊化、多模態(tài)、層級化的特點,由此提出了一種多模態(tài)信號的語義刻畫和度量的數(shù)學(xué)描述.為了驗證所提信號語義的刻畫和度量方法的可行性和有效性,分別在MNIST手寫數(shù)字識別和水聲目標(biāo)識別兩個應(yīng)用中進行了實驗,實驗結(jié)果表明,基于語義的分類識別網(wǎng)絡(luò)能達到比傳統(tǒng)深度學(xué)習(xí)更好的效果.本文還將語義用于視頻編碼,實現(xiàn)了遠超傳統(tǒng)方法的壓縮比,展現(xiàn)了語義在通信領(lǐng)域的實用價值.這為未來建立以語義為基礎(chǔ)的新型信息處理與通信技術(shù)奠定了理論和實踐基礎(chǔ).

    猜你喜歡
    特征函數(shù)基元度量
    有趣的度量
    關(guān)注基元反應(yīng)的考查
    模糊度量空間的強嵌入
    亞純函數(shù)的Borel方向與Tsuji特征函數(shù)
    隨機變量的特征函數(shù)在概率論中的應(yīng)用
    迷向表示分為6個不可約直和的旗流形上不變愛因斯坦度量
    特征函數(shù)的性質(zhì)在實變函數(shù)中的應(yīng)用
    人體細胞內(nèi)存在全新DNA結(jié)構(gòu)
    特征函數(shù)在伽瑪分布中一個恒等式的證明及推廣
    地質(zhì)異常的奇異性度量與隱伏源致礦異常識別
    亚洲国产色片| 国产成人91sexporn| 国产男女超爽视频在线观看| 亚洲精品一二三| 赤兔流量卡办理| 亚洲三级黄色毛片| 国产精品蜜桃在线观看| 久久久久国产精品人妻一区二区| 午夜91福利影院| 青春草亚洲视频在线观看| 中国三级夫妇交换| 国产黄频视频在线观看| 久久久亚洲精品成人影院| 伊人亚洲综合成人网| 黑丝袜美女国产一区| 免费大片黄手机在线观看| a级片在线免费高清观看视频| 亚洲av成人精品一区久久| 男女无遮挡免费网站观看| 亚洲精品456在线播放app| 下体分泌物呈黄色| 亚洲成人一二三区av| 久久影院123| 最近中文字幕高清免费大全6| 在线观看三级黄色| 免费不卡的大黄色大毛片视频在线观看| 最新中文字幕久久久久| 视频在线观看一区二区三区| 一级,二级,三级黄色视频| 人成视频在线观看免费观看| 国产女主播在线喷水免费视频网站| 欧美xxⅹ黑人| 黑丝袜美女国产一区| 日本-黄色视频高清免费观看| 两个人的视频大全免费| 免费观看av网站的网址| 九九在线视频观看精品| 看十八女毛片水多多多| 国产精品一区二区在线观看99| 少妇高潮的动态图| 欧美激情国产日韩精品一区| 少妇的逼水好多| 日韩精品免费视频一区二区三区 | 午夜福利网站1000一区二区三区| 性高湖久久久久久久久免费观看| 久久亚洲国产成人精品v| 成人综合一区亚洲| 久久国产精品男人的天堂亚洲 | 国产在线一区二区三区精| 久久久久久久久久久丰满| 黑人巨大精品欧美一区二区蜜桃 | 国产亚洲一区二区精品| 99热这里只有是精品在线观看| 丰满饥渴人妻一区二区三| 国产乱来视频区| 久久人人爽人人片av| 韩国av在线不卡| 国产精品久久久久久精品电影小说| 国产精品嫩草影院av在线观看| 国产精品熟女久久久久浪| 国产精品嫩草影院av在线观看| av女优亚洲男人天堂| 国产精品一二三区在线看| 国产精品久久久久久精品古装| 男人爽女人下面视频在线观看| 春色校园在线视频观看| 午夜福利影视在线免费观看| 亚洲,一卡二卡三卡| 一级毛片我不卡| 色婷婷久久久亚洲欧美| 国产精品久久久久成人av| 国产片特级美女逼逼视频| 曰老女人黄片| 午夜激情福利司机影院| 亚洲精品中文字幕在线视频| 精品99又大又爽又粗少妇毛片| 乱人伦中国视频| 亚洲第一av免费看| 夜夜爽夜夜爽视频| 男人添女人高潮全过程视频| 亚洲第一av免费看| 在线观看人妻少妇| 又黄又爽又刺激的免费视频.| av在线老鸭窝| 国产色婷婷99| 欧美激情国产日韩精品一区| 成人免费观看视频高清| 成人免费观看视频高清| 五月开心婷婷网| 久久久久久久久久成人| 国产成人精品福利久久| 性高湖久久久久久久久免费观看| 精品国产露脸久久av麻豆| 亚洲精品aⅴ在线观看| 亚洲精品自拍成人| 男女边摸边吃奶| 久久99蜜桃精品久久| 国产永久视频网站| freevideosex欧美| 亚洲美女黄色视频免费看| 成人国产麻豆网| 亚洲怡红院男人天堂| 777米奇影视久久| 亚洲欧洲精品一区二区精品久久久 | av女优亚洲男人天堂| 99热这里只有是精品在线观看| 久久精品久久久久久久性| 蜜桃久久精品国产亚洲av| 亚洲少妇的诱惑av| 中文字幕制服av| 97在线人人人人妻| 大又大粗又爽又黄少妇毛片口| 日韩精品免费视频一区二区三区 | 韩国av在线不卡| 少妇精品久久久久久久| 亚洲欧美精品自产自拍| 黄片无遮挡物在线观看| 亚洲美女黄色视频免费看| 欧美bdsm另类| 国产成人免费观看mmmm| 亚洲综合色网址| 中文字幕av电影在线播放| 丰满少妇做爰视频| 亚洲精品日本国产第一区| 亚洲国产色片| 国产乱来视频区| 日日啪夜夜爽| 日韩欧美一区视频在线观看| 中国美白少妇内射xxxbb| 精品国产一区二区三区久久久樱花| 欧美精品一区二区大全| 日本av免费视频播放| 亚洲国产av新网站| 97在线视频观看| 久久精品久久精品一区二区三区| 99久久精品国产国产毛片| 水蜜桃什么品种好| 丝袜在线中文字幕| 久久国产精品男人的天堂亚洲 | 18禁观看日本| videos熟女内射| 在线精品无人区一区二区三| 国产男女超爽视频在线观看| 国产永久视频网站| 中文欧美无线码| 久久精品国产自在天天线| 精品久久国产蜜桃| 嫩草影院入口| a级毛色黄片| 夜夜爽夜夜爽视频| 亚洲在久久综合| 亚洲精品aⅴ在线观看| 日韩不卡一区二区三区视频在线| 免费不卡的大黄色大毛片视频在线观看| 久久人人爽av亚洲精品天堂| 人妻人人澡人人爽人人| 麻豆乱淫一区二区| 在线观看人妻少妇| 日韩成人伦理影院| 欧美三级亚洲精品| 国产精品成人在线| 亚洲一级一片aⅴ在线观看| 国产视频首页在线观看| 日本av手机在线免费观看| 精品国产国语对白av| 久久久久精品性色| 午夜精品国产一区二区电影| 亚洲精品久久成人aⅴ小说 | 2022亚洲国产成人精品| 亚洲国产精品专区欧美| 国产精品一区二区在线不卡| 青青草视频在线视频观看| 亚洲高清免费不卡视频| 在线 av 中文字幕| 中文字幕亚洲精品专区| 久久狼人影院| 国产精品一区二区三区四区免费观看| 久久热精品热| 美女国产视频在线观看| 久久精品久久精品一区二区三区| 春色校园在线视频观看| 美女视频免费永久观看网站| 成年女人在线观看亚洲视频| 欧美激情极品国产一区二区三区 | 国产av码专区亚洲av| 我的老师免费观看完整版| 最黄视频免费看| 国产精品一区二区在线不卡| 婷婷色综合www| 晚上一个人看的免费电影| kizo精华| 夜夜看夜夜爽夜夜摸| 日本av免费视频播放| 91久久精品国产一区二区三区| 久久国产亚洲av麻豆专区| 日韩 亚洲 欧美在线| 97在线人人人人妻| 久久女婷五月综合色啪小说| 欧美日韩在线观看h| 久久久国产一区二区| 久久国产亚洲av麻豆专区| 亚洲精品第二区| 久久久久久久久久久丰满| 少妇被粗大的猛进出69影院 | 妹子高潮喷水视频| 中文字幕人妻熟人妻熟丝袜美| 欧美激情 高清一区二区三区| 人人妻人人澡人人爽人人夜夜| 男女边摸边吃奶| 一本—道久久a久久精品蜜桃钙片| 亚洲,一卡二卡三卡| 少妇熟女欧美另类| 成年女人在线观看亚洲视频| 欧美日韩综合久久久久久| 这个男人来自地球电影免费观看 | 精品久久国产蜜桃| 久久午夜福利片| 婷婷色av中文字幕| 国产在线一区二区三区精| 人妻一区二区av| 亚洲精品亚洲一区二区| a级毛片免费高清观看在线播放| 波野结衣二区三区在线| 欧美人与性动交α欧美精品济南到 | 亚洲精品,欧美精品| 色吧在线观看| 亚洲婷婷狠狠爱综合网| 国产精品久久久久久精品古装| h视频一区二区三区| 肉色欧美久久久久久久蜜桃| 国产精品秋霞免费鲁丝片| 在线观看美女被高潮喷水网站| 少妇熟女欧美另类| 黄色欧美视频在线观看| 黑丝袜美女国产一区| 极品人妻少妇av视频| 啦啦啦中文免费视频观看日本| 亚洲欧美一区二区三区国产| 国产亚洲av片在线观看秒播厂| 岛国毛片在线播放| 国产一区二区三区av在线| 亚洲精品国产色婷婷电影| 99久久精品国产国产毛片| 亚洲精品一区蜜桃| 亚洲精品美女久久av网站| 日本av免费视频播放| a级毛片免费高清观看在线播放| 亚洲av免费高清在线观看| 99久久人妻综合| 99re6热这里在线精品视频| 亚洲av国产av综合av卡| 又粗又硬又长又爽又黄的视频| 一二三四中文在线观看免费高清| 美女视频免费永久观看网站| 热99久久久久精品小说推荐| 午夜福利网站1000一区二区三区| 日韩中文字幕视频在线看片| 美女cb高潮喷水在线观看| 亚洲美女搞黄在线观看| 欧美激情国产日韩精品一区| 这个男人来自地球电影免费观看 | 免费久久久久久久精品成人欧美视频 | 国产精品一区二区三区四区免费观看| 蜜臀久久99精品久久宅男| 少妇的逼好多水| 性色avwww在线观看| 久久精品国产鲁丝片午夜精品| 免费av不卡在线播放| 国产精品成人在线| 黑人欧美特级aaaaaa片| 国产乱来视频区| 尾随美女入室| 成人手机av| 欧美日韩视频高清一区二区三区二| 另类精品久久| 久久久久久久久久成人| av免费观看日本| 热re99久久国产66热| 狠狠精品人妻久久久久久综合| 亚洲精品一二三| 日韩一本色道免费dvd| 一级毛片电影观看| 国产精品一区www在线观看| 精品视频人人做人人爽| 肉色欧美久久久久久久蜜桃| 久久久久久伊人网av| 一区二区三区乱码不卡18| 伊人久久国产一区二区| 成人免费观看视频高清| 亚洲av男天堂| 一本久久精品| 欧美97在线视频| 久久99一区二区三区| 久久久久视频综合| 国产精品一区www在线观看| 成人午夜精彩视频在线观看| 男女边摸边吃奶| 中国国产av一级| 999精品在线视频| 欧美人与善性xxx| 久久精品国产自在天天线| 国产av国产精品国产| 99热这里只有精品一区| 欧美最新免费一区二区三区| 亚洲一级一片aⅴ在线观看| a级毛片黄视频| 考比视频在线观看| 久久免费观看电影| 18禁在线播放成人免费| 免费看av在线观看网站| 国产有黄有色有爽视频| 五月玫瑰六月丁香| 亚洲欧美日韩另类电影网站| 亚洲国产精品999| 街头女战士在线观看网站| 精品国产国语对白av| 国产色爽女视频免费观看| 天天操日日干夜夜撸| 日韩强制内射视频| a级毛色黄片| 久久鲁丝午夜福利片| 国产精品秋霞免费鲁丝片| 国内精品宾馆在线| 成年女人在线观看亚洲视频| 日韩av不卡免费在线播放| 美女xxoo啪啪120秒动态图| 啦啦啦啦在线视频资源| 免费看光身美女| 欧美日韩精品成人综合77777| 美女内射精品一级片tv| 在线观看人妻少妇| 亚洲av日韩在线播放| 多毛熟女@视频| 日本黄色片子视频| 不卡视频在线观看欧美| 草草在线视频免费看| 一本久久精品| 国产高清三级在线| 两个人的视频大全免费| 久久久久人妻精品一区果冻| 欧美丝袜亚洲另类| 国产在线免费精品| 亚洲综合色惰| 国产在视频线精品| 日韩视频在线欧美| av在线观看视频网站免费| 精品少妇久久久久久888优播| 日本91视频免费播放| av.在线天堂| 国国产精品蜜臀av免费| 国产欧美日韩一区二区三区在线 | 亚洲国产精品专区欧美| 99九九在线精品视频| 一级爰片在线观看| 久久99精品国语久久久| 亚洲精品av麻豆狂野| 一个人免费看片子| 男的添女的下面高潮视频| 国产成人a∨麻豆精品| 精品久久久噜噜| 亚洲精品久久久久久婷婷小说| 91在线精品国自产拍蜜月| 亚洲精品一区蜜桃| 免费观看在线日韩| 男女国产视频网站| 亚洲成人一二三区av| 国产av精品麻豆| 一级毛片电影观看| 如何舔出高潮| 九九在线视频观看精品| 日本猛色少妇xxxxx猛交久久| 欧美 亚洲 国产 日韩一| 最近2019中文字幕mv第一页| 丝袜在线中文字幕| 如何舔出高潮| 免费黄色在线免费观看| 夜夜骑夜夜射夜夜干| 国产黄片视频在线免费观看| 校园人妻丝袜中文字幕| 午夜激情福利司机影院| 国产毛片在线视频| 精品久久久久久电影网| 亚洲欧美中文字幕日韩二区| 久久精品国产亚洲av涩爱| 亚洲精品乱久久久久久| 国产无遮挡羞羞视频在线观看| 人体艺术视频欧美日本| 久久ye,这里只有精品| 99久久人妻综合| 天天躁夜夜躁狠狠久久av| 最近中文字幕高清免费大全6| 国产日韩欧美在线精品| 久久99蜜桃精品久久| 亚洲婷婷狠狠爱综合网| 两个人免费观看高清视频| 看非洲黑人一级黄片| 国产老妇伦熟女老妇高清| 欧美+日韩+精品| 免费不卡的大黄色大毛片视频在线观看| 三级国产精品片| 国产熟女欧美一区二区| 久久午夜综合久久蜜桃| 极品少妇高潮喷水抽搐| 视频在线观看一区二区三区| 精品久久久精品久久久| 久久亚洲国产成人精品v| 日韩三级伦理在线观看| 亚洲精品456在线播放app| 欧美日韩一区二区视频在线观看视频在线| 精品一区在线观看国产| 国产深夜福利视频在线观看| 伊人亚洲综合成人网| 少妇猛男粗大的猛烈进出视频| 久久精品熟女亚洲av麻豆精品| 制服诱惑二区| 日韩亚洲欧美综合| 国产在线免费精品| 国产亚洲欧美精品永久| 中文字幕制服av| 久久久亚洲精品成人影院| 久久国产亚洲av麻豆专区| 夜夜爽夜夜爽视频| 欧美bdsm另类| 少妇 在线观看| 99国产综合亚洲精品| 亚洲精品国产色婷婷电影| 97在线人人人人妻| 日本与韩国留学比较| 2021少妇久久久久久久久久久| 亚洲久久久国产精品| 精品久久国产蜜桃| av在线app专区| 91aial.com中文字幕在线观看| 中文字幕精品免费在线观看视频 | 亚洲久久久国产精品| 国产男人的电影天堂91| 狠狠精品人妻久久久久久综合| 亚洲激情五月婷婷啪啪| 王馨瑶露胸无遮挡在线观看| 午夜免费观看性视频| 亚洲一级一片aⅴ在线观看| 欧美 日韩 精品 国产| 男女啪啪激烈高潮av片| 一级毛片我不卡| 精品人妻熟女毛片av久久网站| 亚洲内射少妇av| av在线app专区| 一区在线观看完整版| 亚洲av免费高清在线观看| 伦理电影大哥的女人| av天堂久久9| 夜夜爽夜夜爽视频| 免费播放大片免费观看视频在线观看| 亚洲欧美一区二区三区国产| videosex国产| 9色porny在线观看| 午夜影院在线不卡| 国产国语露脸激情在线看| 欧美人与善性xxx| 精品久久久久久久久亚洲| av不卡在线播放| 精品少妇黑人巨大在线播放| 午夜久久久在线观看| 高清在线视频一区二区三区| 日产精品乱码卡一卡2卡三| 中文字幕精品免费在线观看视频 | www.av在线官网国产| 国产高清国产精品国产三级| av黄色大香蕉| 亚洲精品日韩av片在线观看| 人妻少妇偷人精品九色| 夫妻性生交免费视频一级片| 午夜免费鲁丝| 久热这里只有精品99| 日韩中文字幕视频在线看片| 久久久久久久大尺度免费视频| 天天躁夜夜躁狠狠久久av| 中文字幕精品免费在线观看视频 | 性高湖久久久久久久久免费观看| 男女国产视频网站| 美女国产视频在线观看| 青春草国产在线视频| 边亲边吃奶的免费视频| 美女cb高潮喷水在线观看| 亚洲精品美女久久av网站| 国产亚洲午夜精品一区二区久久| 国产爽快片一区二区三区| 国产精品无大码| 久久久精品区二区三区| 亚洲激情五月婷婷啪啪| 免费观看的影片在线观看| 女人久久www免费人成看片| 搡老乐熟女国产| 亚洲丝袜综合中文字幕| 在线观看三级黄色| av在线app专区| 精品国产乱码久久久久久小说| a级毛色黄片| 亚洲精品亚洲一区二区| 色婷婷久久久亚洲欧美| 人体艺术视频欧美日本| 黄色毛片三级朝国网站| 日韩在线高清观看一区二区三区| 亚洲内射少妇av| av在线老鸭窝| 日韩制服骚丝袜av| 国产精品蜜桃在线观看| 久久99精品国语久久久| 51国产日韩欧美| 亚洲国产精品一区二区三区在线| 好男人视频免费观看在线| 女性生殖器流出的白浆| 视频中文字幕在线观看| 午夜免费男女啪啪视频观看| 九色成人免费人妻av| 一级爰片在线观看| 久久久久久久久大av| 纯流量卡能插随身wifi吗| 欧美日韩在线观看h| 亚洲五月色婷婷综合| 国产永久视频网站| 国产精品熟女久久久久浪| 九九在线视频观看精品| 嫩草影院入口| 女性生殖器流出的白浆| 一二三四中文在线观看免费高清| 亚洲性久久影院| 在线观看国产h片| 考比视频在线观看| 久久久国产一区二区| tube8黄色片| 少妇人妻久久综合中文| 亚洲精品国产av蜜桃| av免费观看日本| 亚洲精品456在线播放app| 在线看a的网站| 亚洲av免费高清在线观看| 最近中文字幕2019免费版| 丝袜美足系列| 九草在线视频观看| 视频中文字幕在线观看| 欧美老熟妇乱子伦牲交| 男女国产视频网站| 国产午夜精品一二区理论片| 欧美少妇被猛烈插入视频| 亚洲丝袜综合中文字幕| 一级片'在线观看视频| 久久久久久久亚洲中文字幕| 亚洲国产av新网站| 中文字幕制服av| 午夜av观看不卡| 婷婷色av中文字幕| 街头女战士在线观看网站| 狂野欧美白嫩少妇大欣赏| 人妻夜夜爽99麻豆av| 中文乱码字字幕精品一区二区三区| 中文字幕人妻丝袜制服| 国模一区二区三区四区视频| 免费av不卡在线播放| av国产精品久久久久影院| 亚洲在久久综合| 色视频在线一区二区三区| a级片在线免费高清观看视频| 九色成人免费人妻av| 在线观看免费视频网站a站| 九色成人免费人妻av| 99久久精品一区二区三区| 男女高潮啪啪啪动态图| 精品一品国产午夜福利视频| 国产亚洲午夜精品一区二区久久| 午夜免费观看性视频| 一级a做视频免费观看| 赤兔流量卡办理| 色哟哟·www| 久热这里只有精品99| 久久久精品94久久精品| 热99久久久久精品小说推荐| 国产精品一区二区在线不卡| 热99久久久久精品小说推荐| 久久久久人妻精品一区果冻| 午夜免费男女啪啪视频观看| 久久午夜综合久久蜜桃| 日韩成人伦理影院| 一级二级三级毛片免费看| 伦精品一区二区三区| 黑人欧美特级aaaaaa片| www.av在线官网国产| 午夜福利视频精品| 成人亚洲欧美一区二区av| 王馨瑶露胸无遮挡在线观看| 99视频精品全部免费 在线| 高清欧美精品videossex| 中文天堂在线官网| 欧美精品亚洲一区二区| 亚洲精品视频女| 麻豆乱淫一区二区| 免费观看a级毛片全部| 久久久久久人妻| 国产成人91sexporn| 夜夜爽夜夜爽视频| 国国产精品蜜臀av免费| 亚洲精品一二三| 日本av手机在线免费观看| 免费大片黄手机在线观看| videossex国产| 永久网站在线| 久久人人爽人人片av| 国产熟女午夜一区二区三区 | 中文欧美无线码| 欧美 日韩 精品 国产| 亚洲av成人精品一二三区| 少妇精品久久久久久久| 亚洲综合色网址| 国产av一区二区精品久久| 丰满迷人的少妇在线观看|