• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于深度學(xué)習(xí)的輕量級(jí)車載網(wǎng)絡(luò)入侵檢測(cè)方法

    2023-11-27 05:35:40蔣玉長(zhǎng)李克資秦慶凱張思聰
    關(guān)鍵詞:車載準(zhǔn)確率特征

    蔣玉長(zhǎng),徐 洋,,李克資,秦慶凱,張思聰,

    1.貴州師范大學(xué) 貴州省信息與計(jì)算科學(xué)重點(diǎn)實(shí)驗(yàn)室,貴陽(yáng)550001

    2.貴州省公安廳-貴州師范大學(xué)大數(shù)據(jù)及網(wǎng)絡(luò)安全發(fā)展研究中心,貴陽(yáng)550001

    近年來(lái),汽車技術(shù)有了飛躍式的發(fā)展,隨著5G、工業(yè)2.0與移動(dòng)群智感知[1]的提出與推廣,特別是智能交通系統(tǒng)和自動(dòng)駕駛汽車的出現(xiàn),汽車本體逐漸開(kāi)始承擔(dān)部分計(jì)算任務(wù)。2020 年7 月27 日由國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)、中共中央網(wǎng)絡(luò)安全和信息化委員會(huì)辦公室、國(guó)家發(fā)展和改革委員會(huì)、中華人民共和國(guó)科學(xué)技術(shù)部、中華人民共和國(guó)工業(yè)和信息化部聯(lián)合發(fā)布的《國(guó)家新一代人工智能標(biāo)準(zhǔn)體系建設(shè)指南》中關(guān)鍵內(nèi)容之一為“人工智能與車聯(lián)網(wǎng)的結(jié)合”。為了實(shí)現(xiàn)這一目標(biāo),研究者進(jìn)行了大量研究,如車載網(wǎng)絡(luò)通信[2]、車輛資源優(yōu)化[3]、車輛隱私保護(hù)[4]等。隨著物聯(lián)網(wǎng)(Internet of things,IoT)的飛速發(fā)展,大量傳感器支持部署在車輛上并支持相互通信,人們把車間通信網(wǎng)絡(luò)稱為車聯(lián)網(wǎng)(Internet of vehicles,IoV)。如圖1,汽車內(nèi)部與外界網(wǎng)絡(luò)的信息互動(dòng)日益頻繁,多個(gè)接口支持人們通過(guò)遠(yuǎn)程連接(藍(lán)牙、5G、物聯(lián)網(wǎng)協(xié)議)和有線連接方法與車輛連接,但這種多元信息交流極易導(dǎo)致車載網(wǎng)絡(luò)(in-vehicle network,IVN)成為攻擊目標(biāo)。

    圖1 攻擊架構(gòu)Fig.1 Attack architecture

    目前控制器區(qū)域網(wǎng)絡(luò)(controller area network,CAN)總線是被廣泛用于車載網(wǎng)絡(luò)的通信標(biāo)準(zhǔn),為電子控制單元(electronic control unit,ECU)之間提供有效、穩(wěn)定的信息溝通。但是CAN并沒(méi)有使用安全措施以保證網(wǎng)絡(luò)通信安全,如缺少認(rèn)證、明文傳輸?shù)萚5]。研究人員在遠(yuǎn)程控制汽車時(shí)利用CAN接收節(jié)點(diǎn)對(duì)源地址缺少認(rèn)證的漏洞實(shí)現(xiàn)攻擊,如通過(guò)偽造控制信息發(fā)送惡意指令破壞ECU,獲得對(duì)車輛的部分控制權(quán),最終導(dǎo)致汽車設(shè)備如齒輪、剎車或發(fā)動(dòng)機(jī)故障等[6]。如圖1所示,攻擊者可以通過(guò)OBD-II 接口對(duì)IVN 發(fā)起內(nèi)部攻擊,如拒絕服務(wù)攻擊、數(shù)據(jù)包注入和欺騙攻擊等。

    為車載網(wǎng)絡(luò)提供保護(hù)已成為目前亟待解決的問(wèn)題,常用方法是惡意行為檢測(cè)和入侵檢測(cè),有基于簽名的方法、基于閾值的方法、基于參數(shù)檢測(cè)的方法以及基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法[7]。

    D’Angelo 等人[8]提出了一個(gè)基于集群的學(xué)習(xí)算法(cluster-based learning algorithm,CLA)來(lái)檢測(cè)對(duì)車載網(wǎng)絡(luò)的四種類型攻擊,并使用無(wú)監(jiān)督學(xué)習(xí)在CAN ID提取特征,此外還提出了一個(gè)以數(shù)據(jù)為中心的異常檢測(cè)算法(data-driven anomaly detection algorithm,DADA),用于找出非法消息。雖然作者聲稱算法性能支持實(shí)時(shí)檢測(cè)攻擊,但并沒(méi)有做相關(guān)實(shí)驗(yàn)證明。Ghaleb 等人[9]提出了一種惡意行為感知協(xié)作入侵檢測(cè)系統(tǒng)(misbehavioraware on-demand collaborative intrusion detection system,MA-CIDS)。該系統(tǒng)使用分布式集成學(xué)習(xí)來(lái)提高模型的性能,并提出了一種有效的共享方案,以提高共享知識(shí)并減少通信開(kāi)銷,車輛按需使用與分類器性能測(cè)量相關(guān)的隨機(jī)森林算法共享本地訓(xùn)練的分類器,但實(shí)驗(yàn)使用數(shù)據(jù)集NSL-KDD模擬網(wǎng)絡(luò)流量,該數(shù)據(jù)集較舊,新型網(wǎng)絡(luò)攻擊無(wú)法識(shí)別。Tariq 等人[10]提出了一種基于遷移學(xué)習(xí)的CAN 協(xié)議入侵檢測(cè)方案CANTransfer,使用DoS攻擊訓(xùn)練卷積LSTM模型。然后,在一個(gè)新攻擊樣本上使用遷移學(xué)習(xí)訓(xùn)練即可檢測(cè)新型攻擊。同上,作者并沒(méi)有說(shuō)明此方法的檢測(cè)時(shí)間,另外該方法需要找到新型攻擊樣本才能應(yīng)用遷移學(xué)習(xí),而目前領(lǐng)域數(shù)據(jù)集少,難以實(shí)現(xiàn)。Agrawal等人[11]提出了一種新型的閾值判別方法(novel anomaly detection system,NovelADS),使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)和長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory,LSTM)處理數(shù)據(jù)為時(shí)間序列提取特征,通過(guò)正常序列和異常序列的標(biāo)準(zhǔn)分布差來(lái)確定閾值,最后在嵌入式開(kāi)發(fā)板上部署實(shí)現(xiàn)分類,但該方法只能支持二分類。Desta等人[12]提出了一種基于CNN的方法,在數(shù)據(jù)集Car-Hacking和自制數(shù)據(jù)集上將CAN 流量轉(zhuǎn)換為圖像,使用NVIDIA Jetson TX2對(duì)圖像分類,但多分類準(zhǔn)確率低,在Car-Hacking數(shù)據(jù)集上最低達(dá)到85%,自制數(shù)據(jù)集最低40%。

    車載網(wǎng)絡(luò)入侵檢測(cè)要求低算力消耗和實(shí)時(shí)性,目前大多的解決方案并沒(méi)有在低算力平臺(tái)部署實(shí)驗(yàn)。此外,解決方案存在數(shù)據(jù)集舊、訓(xùn)練收斂時(shí)間長(zhǎng)、準(zhǔn)確率低、僅支持二分類、難以識(shí)別特定的惡意消息等問(wèn)題。

    針對(duì)上述問(wèn)題,本文提出了一種基于優(yōu)化CNN 和遷移學(xué)習(xí)的輕量級(jí)車載網(wǎng)絡(luò)入侵檢測(cè)方法,并使用樹(shù)莓派部署在IVN的CAN總線上,用于檢測(cè)異常CAN信息并產(chǎn)生警報(bào)。首先提出了一種數(shù)據(jù)轉(zhuǎn)換方式,將車內(nèi)和車外網(wǎng)絡(luò)數(shù)據(jù)以基于時(shí)間的塊為單位進(jìn)行采集。接著通過(guò)維度變換將一維的攻擊數(shù)據(jù)轉(zhuǎn)換到二維空間,并將其可視化。然后,采用主流的卷積神經(jīng)網(wǎng)絡(luò)變體MobileNetV3[13],結(jié)合現(xiàn)在有效的遷移學(xué)習(xí)方式,通過(guò)遷移大模型預(yù)訓(xùn)練權(quán)重對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行微調(diào)訓(xùn)練,以改善模型的多種性能指標(biāo)。最后,使用Car-Hacking[14]、OTIDS[15]兩個(gè)真實(shí)車載網(wǎng)絡(luò)數(shù)據(jù)集在樹(shù)莓派上實(shí)驗(yàn),模擬真實(shí)環(huán)境下低算力平臺(tái),驗(yàn)證本文方法的有效性。

    1 本文方法

    深度學(xué)習(xí)能自動(dòng)從原始數(shù)據(jù)中學(xué)習(xí)有用的特征,從而提高分類的準(zhǔn)確率。Lecun等[16]概括了機(jī)器學(xué)習(xí)的基本架構(gòu),即特征提取模塊和分類模塊的組合。本文提出的基于遷移學(xué)習(xí)和CNN的輕量級(jí)深度入侵檢測(cè)方法也基于此基本架構(gòu),如圖2所示,主要由兩個(gè)模塊組成:數(shù)據(jù)預(yù)處理模塊和基于遷移學(xué)習(xí)的深度卷積網(wǎng)絡(luò)模塊。

    圖2 IVN入侵檢測(cè)方法框架Fig.2 IVN intrusion detection method architecture

    入侵檢測(cè)流程如下:在IVN 中的CAN 總線上部署入侵檢測(cè)設(shè)備,車載網(wǎng)絡(luò)流量流入設(shè)備,經(jīng)過(guò)數(shù)據(jù)預(yù)處理后設(shè)備對(duì)流量進(jìn)行分類,對(duì)異常流量發(fā)出告警。

    1.1 數(shù)據(jù)描述和預(yù)處理

    1.1.1 數(shù)據(jù)描述

    CAN總線是目前汽車中最常用的車內(nèi)通信網(wǎng)絡(luò)協(xié)議。它是一個(gè)基于總線拓?fù)浣Y(jié)構(gòu)的網(wǎng)絡(luò),允許ECU(節(jié)點(diǎn))發(fā)送和接收與控制轉(zhuǎn)向、轉(zhuǎn)速有關(guān)的各種信息。每個(gè)節(jié)點(diǎn)以預(yù)先定義的框架格式向整個(gè)系統(tǒng)廣播消息。CAN數(shù)據(jù)幀結(jié)構(gòu)如圖3所示。從左到右,圖中的字段依次是:幀的開(kāi)始(start of frame)、仲裁ID(arbitration ID)、控制字段(control field)、數(shù)據(jù)字段(payload)、循環(huán)冗余校驗(yàn)(CRC)、確認(rèn)字段(ACK)和幀的結(jié)束字段。

    圖3 CAN幀格式Fig.3 Frame format of CAN

    1.1.2 數(shù)據(jù)預(yù)處理

    在對(duì)數(shù)據(jù)進(jìn)行處理中發(fā)現(xiàn),大批量的數(shù)據(jù)流中會(huì)存在“臟數(shù)據(jù)”,即數(shù)據(jù)項(xiàng)缺失和數(shù)據(jù)項(xiàng)錯(cuò)誤移位的情況??紤]到真實(shí)環(huán)境也可能會(huì)出現(xiàn)采集數(shù)據(jù)部分錯(cuò)誤問(wèn)題,為了不影響訓(xùn)練和測(cè)試結(jié)果,防止數(shù)據(jù)被污染,需要將數(shù)據(jù)刪除或更改。首先對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗。對(duì)于數(shù)據(jù)位置異常的原始樣本歸位并將遺漏數(shù)據(jù)全部置為0,刪除數(shù)據(jù)格式異常的原始樣本。

    車載網(wǎng)絡(luò)入侵檢測(cè)必須快速且有效。鑒于CNN模型在圖像領(lǐng)域的優(yōu)越性,需要將入侵檢測(cè)問(wèn)題轉(zhuǎn)為圖像分類問(wèn)題,計(jì)劃將網(wǎng)絡(luò)流量數(shù)據(jù)的表格數(shù)據(jù)轉(zhuǎn)換為圖像。首先將表1的原始4個(gè)特征數(shù)據(jù)拆分并轉(zhuǎn)換為9個(gè)特征,拆分后結(jié)果如表2 和表3 所示。ID 是CAN 標(biāo)識(shí)符,CAN 數(shù)據(jù)包8 位Data 被分為8 列D0~D7,每列包含兩個(gè)十六進(jìn)制數(shù)值。將ID 與DATA 中的十六進(jìn)制轉(zhuǎn)換為十進(jìn)制數(shù)值,然后進(jìn)行數(shù)據(jù)歸一化。

    表1 原始特征Table 1 Original features

    表2 Car-Hacking數(shù)據(jù)集拆分后的特征Table 2 Split features of Car-Hacking dataset

    表3 OTIDS數(shù)據(jù)集拆分后的特征Table 3 Split features of OTIDS dataset

    數(shù)據(jù)歸一化后,根據(jù)網(wǎng)絡(luò)流量數(shù)據(jù)集的時(shí)間戳和特征大小將數(shù)據(jù)樣本轉(zhuǎn)換為數(shù)據(jù)塊。Car-Hacking和OTIDS數(shù)據(jù)集有9個(gè)重要特征(CAN ID和DATA[0]-DATA[7]),將27個(gè)連續(xù)樣本的9個(gè)特征(27×9=243個(gè)特征值)轉(zhuǎn)換為形狀為9×9×3的圖像(對(duì)比實(shí)驗(yàn)見(jiàn)第2.4.4小節(jié))。因此,每個(gè)變換后的圖像都是一個(gè)方形的彩色圖像,有3個(gè)通道(紅、綠、藍(lán))。由于圖像是根據(jù)數(shù)據(jù)樣本的時(shí)間戳生成的,可以保留原始網(wǎng)絡(luò)數(shù)據(jù)的時(shí)間序列相關(guān)性。

    此外,由于流量數(shù)據(jù)維度較小,為減少模型可能發(fā)生的過(guò)擬合情況,采用雙線性插值法[17]將9×9×3的圖像擴(kuò)大到224×224×3,在轉(zhuǎn)換完畢后也可以將圖像直接輸入到下一步改進(jìn)的MobileNet中并進(jìn)行遷移學(xué)習(xí)。假設(shè)f(x,y)為要求得(x,y)數(shù)據(jù)點(diǎn)的像素值,已知f(Q11)、f(Q12)、f(Q21)、f(Q22)為(x1,y1)、(x1,y2)、(x2,y1)、(x2,y2)坐標(biāo)所對(duì)應(yīng)數(shù)據(jù)點(diǎn)的像素值。采用的線性插值具體如下:

    首先從x軸方向先用關(guān)于x的單線性插值去分別計(jì)算f(x,y1)與f(x,y2)的像素值:

    再使用關(guān)于y方向的單線性插值計(jì)算得到(x,y)數(shù)據(jù)點(diǎn)的像素值f(x,y):

    經(jīng)過(guò)以上的數(shù)據(jù)預(yù)處理過(guò)程,生成最終變換后的圖像集作為CNN模型的輸入。Car-Hacking數(shù)據(jù)集和OTIDS數(shù)據(jù)集中每種攻擊類型的代表性樣本如圖4所示。

    圖4 維度變換后可視化Fig.4 Visualization after dimensional transformation

    對(duì)于Car-Hacking數(shù)據(jù)集,從圖4(a)可以看出,正常樣本與不同攻擊類型之間的特征模式存在較大差異。模糊攻擊圖像的特征模式比普通圖像更隨機(jī),而DoS攻擊樣本為高頻空消息,導(dǎo)致純黑模式。Gear 和RPM 欺騙攻擊是通過(guò)注入帶有特定CAN ID和數(shù)據(jù)包的消息來(lái)偽裝成合法用戶,因此他們的圖像也有特定的特征模式。同樣,OTIDS數(shù)據(jù)集的攻擊模式也可以根據(jù)圖4(b)所示的特征模式進(jìn)行明顯的區(qū)分,但是相比Car-Hacking數(shù)據(jù)集,OTIDS數(shù)據(jù)集所對(duì)應(yīng)的圖像類別之間相對(duì)難以區(qū)分,但仍可以觀察到類別之間存在區(qū)別。

    1.2 基于遷移學(xué)習(xí)的MobileNet檢測(cè)模型

    在將數(shù)據(jù)進(jìn)行處理并轉(zhuǎn)換為二維圖像之后,下一步將對(duì)分類模型進(jìn)行選取和訓(xùn)練。本文采用基于CNN的MobileNetV3 輕量級(jí)網(wǎng)絡(luò)對(duì)已處理好的數(shù)據(jù)進(jìn)行訓(xùn)練學(xué)習(xí)。MobileNet 系列深度學(xué)習(xí)模型[13,18-19]是由谷歌提出的輕量級(jí)網(wǎng)絡(luò),目的是使得算力有限的移動(dòng)終端能夠搭載并執(zhí)行端到端的神經(jīng)網(wǎng)絡(luò)模型,目前MobileNet 網(wǎng)絡(luò)從V1更新到V3版本。

    任宇杰等[20]在目標(biāo)檢測(cè)領(lǐng)域研究中,結(jié)合MobileNet和SSD 提出一種結(jié)合特征金字塔的多尺度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),使得模型在降低硬件需求的同時(shí)降低了識(shí)別時(shí)間。曾婭琴等人[21]使用可視化方法并結(jié)合MobileNetV2對(duì)惡意代碼進(jìn)行分類,實(shí)驗(yàn)結(jié)果表明方法的識(shí)別率提升了2個(gè)百分點(diǎn),并減少了對(duì)計(jì)算資源的消耗。

    由于每個(gè)數(shù)據(jù)流的特征數(shù)相對(duì)少,而原始MobileNet網(wǎng)絡(luò)深度過(guò)大,易引起過(guò)擬合的問(wèn)題。為保證訓(xùn)練的穩(wěn)定性和可靠性,本文使用經(jīng)過(guò)改進(jìn)的MobileNetV3網(wǎng)絡(luò)對(duì)流量特征所轉(zhuǎn)換的三通道圖進(jìn)行訓(xùn)練,結(jié)合車載網(wǎng)絡(luò)場(chǎng)景特點(diǎn),本文在原MobileNetV3模型的基礎(chǔ)上進(jìn)行部分調(diào)整,刪除在原始模型中部分Bottleneck層(詳見(jiàn)表4),保留了原模型的13 層。最終本文的MobileNet 的網(wǎng)絡(luò)結(jié)構(gòu)如表4和圖5所示。

    表4 MobileNet網(wǎng)絡(luò)架構(gòu)細(xì)節(jié)Table 4 Details of MobileNet network architecture

    圖5 神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.5 Structure of neural network model

    在表4 中,灰色字體的網(wǎng)絡(luò)模塊是被刪除的模塊,包括灰色字體的所有模塊為原始MobileNet V3中的架構(gòu)。

    MobileNetV3 是在V2 的基礎(chǔ)上改進(jìn)而來(lái),繼承V1的深度可分離卷積與V2 的具有線性瓶頸的殘差結(jié)構(gòu),V3版本相較于V2版本,基礎(chǔ)塊Bottleneck中引入SE模塊,類比于注意力機(jī)制,目的是針對(duì)不同貢獻(xiàn)度的特征進(jìn)行加權(quán)操作,即擴(kuò)大相關(guān)性高的特征,減小相關(guān)性低的特征大小,因此可以提高模型對(duì)于任務(wù)的各項(xiàng)指標(biāo)。具體的Bottleneck模塊細(xì)節(jié)見(jiàn)圖6。

    圖6 Bottleneck架構(gòu)Fig.6 Structure of Bottleneck

    在圖6 中Dwise 表示深度可分離卷積操作,其基本思想是將通道間的相關(guān)性和空間相關(guān)性完全分離出來(lái),以此減少計(jì)算量和參數(shù)量;NL表示非線性激活函數(shù)。

    在模型確立之后,采用遷移學(xué)習(xí)對(duì)構(gòu)建好的網(wǎng)絡(luò)在本文數(shù)據(jù)集上進(jìn)行微調(diào)訓(xùn)練。對(duì)于深度學(xué)習(xí)模型,遷移學(xué)習(xí)是將在一個(gè)大數(shù)據(jù)集上訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)模型的權(quán)值遷移到另一個(gè)相對(duì)較小任務(wù)數(shù)據(jù)集的過(guò)程。在本文中,通過(guò)遷移MobileNetV3在ImageNet數(shù)據(jù)集上的預(yù)訓(xùn)練權(quán)重進(jìn)行微調(diào),凍結(jié)(保留權(quán)重)本文模型的前11層,對(duì)最后兩層的權(quán)重進(jìn)行微調(diào)。這是因?yàn)镃NN 模型的底層學(xué)習(xí)到的特征模式通常是通用模式,適用于許多不同的任務(wù),只有上層學(xué)習(xí)到的特征是特定數(shù)據(jù)集的特定特征。因此,CNN 模型的底層可以直接轉(zhuǎn)移到不同的任務(wù)。為了提高遷移學(xué)習(xí)的有效性,可以在深度學(xué)習(xí)(deep learning,DL)模型的遷移學(xué)習(xí)過(guò)程中進(jìn)行微調(diào)。在微調(diào)中,預(yù)訓(xùn)練模型的大多數(shù)層被凍結(jié),而少數(shù)頂層被解凍,以在新的數(shù)據(jù)集上重新訓(xùn)練模型。微調(diào)能夠更新預(yù)訓(xùn)練模型中的高階特征,以更好地適合目標(biāo)任務(wù)或數(shù)據(jù)集[22]。

    2 實(shí)驗(yàn)

    2.1 實(shí)驗(yàn)環(huán)境

    實(shí)驗(yàn)使用Python3.7 中的Scikit-learn 和Pytorch 庫(kù)。在實(shí)驗(yàn)中,提出的DL模型在帶有AMD R5 5600X處理器、32 GB 內(nèi)存以及NVIDIA GeForce GTX 3060 顯卡的機(jī)器上訓(xùn)練,并在帶有Cortex-A72,64位CPU和8 GB內(nèi)存的樹(shù)莓派4B 機(jī)器上測(cè)試,分別代表一個(gè)車聯(lián)網(wǎng)中央服務(wù)器和一個(gè)車載級(jí)本地機(jī)器。

    2.2 實(shí)驗(yàn)數(shù)據(jù)集

    數(shù)據(jù)集選取韓國(guó)高麗大學(xué)HCRL 實(shí)驗(yàn)室的Car-Hacking數(shù)據(jù)集和OTIDS 數(shù)據(jù)集,由于采集源自真實(shí)環(huán)境,因此被廣泛用作模擬車載網(wǎng)絡(luò)數(shù)據(jù)入侵檢測(cè)研究。數(shù)據(jù)集作者采用定制的兩臺(tái)樹(shù)莓派在起亞SOUL 汽車上收集,一個(gè)用于信息入侵攻擊,另一個(gè)用于記錄CAN流量,捕獲的CAN 通信數(shù)據(jù)被作為數(shù)據(jù)集。Car-Hacking數(shù)據(jù)集包含四種攻擊類型:DoS 攻擊、Fuzzy 攻擊、齒輪(gear)欺騙和每分鐘轉(zhuǎn)數(shù)(RPM)欺騙攻擊。OTIDS 數(shù)據(jù)集包含三種類型攻擊:DoS攻擊、Fuzzy攻擊和Impersonation 攻擊。Car-Hacking 數(shù)據(jù)集和OTIDS 數(shù)據(jù)集攻擊數(shù)量分布如表5所示。

    表5 攻擊數(shù)據(jù)組成Table 5 Attack data composition

    2.3 評(píng)價(jià)指標(biāo)

    數(shù)據(jù)集攻擊流量與正常數(shù)據(jù)不平衡,因此采用了多指標(biāo)進(jìn)行評(píng)估,分別是準(zhǔn)確率、精確度、召回率和F1-score。具體的計(jì)算方法如式(4)~(7)所示,公式中相關(guān)符號(hào)的含義如表6所示。

    表6 混淆矩陣Table 6 Confusion matrix

    此外,由于車輛通常計(jì)算性能較低,為了評(píng)估所提出方法的效率,更清晰地實(shí)現(xiàn)性能對(duì)比,本文還記錄和對(duì)比了訓(xùn)練時(shí)間(TrainTime)、在樹(shù)莓派上測(cè)試的時(shí)間(TestTime)、參數(shù)量(Params)。訓(xùn)練時(shí)間可以體現(xiàn)方法的收斂速度,測(cè)試時(shí)間可以體現(xiàn)方法的檢測(cè)效率,參數(shù)量可以體現(xiàn)方法使用的深度學(xué)習(xí)模型大小。

    2.4 實(shí)驗(yàn)結(jié)果和分析

    2.4.1 訓(xùn)練過(guò)程

    深度學(xué)習(xí)模型過(guò)程中首先要在沒(méi)有任何先驗(yàn)知識(shí)的情況下對(duì)權(quán)重進(jìn)行隨機(jī)賦值,因此想要訓(xùn)練收斂需要非常大的數(shù)據(jù)量、時(shí)間和計(jì)算資源。為了提升訓(xùn)練的速度,同時(shí)保持訓(xùn)練的有效性,采用遷移學(xué)習(xí)方法。將在一個(gè)大數(shù)據(jù)集上訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)模型的權(quán)值遷移到另一個(gè)數(shù)據(jù)集,然后再進(jìn)行訓(xùn)練和微調(diào)以使得模型學(xué)習(xí)到新數(shù)據(jù)集的特征。

    為了驗(yàn)證遷移學(xué)習(xí)在本文任務(wù)中的有效性,選取MobileNet 模型分別在Car-Hacking 和OTIDS 兩個(gè)數(shù)據(jù)集上進(jìn)行有無(wú)遷移學(xué)習(xí)的訓(xùn)練損失和準(zhǔn)確率對(duì)比,得到圖7和圖8。

    圖7 針對(duì)Car-Hacking數(shù)據(jù)集訓(xùn)練對(duì)比結(jié)果Fig.7 Training comparison results against Car-Hacking dataset

    圖8 針對(duì)OTIDS數(shù)據(jù)集訓(xùn)練對(duì)比結(jié)果Fig.8 Training comparison results against OTIDS dataset

    通過(guò)圖7 和圖8 可以看出,使用預(yù)訓(xùn)練權(quán)重的模型訓(xùn)練過(guò)程需要更短的時(shí)間就可以收斂,而在效果基本一致的前提下,不使用遷移學(xué)習(xí)的訓(xùn)練工程需要更多的時(shí)間才能訓(xùn)練收斂。這驗(yàn)證了遷移學(xué)習(xí)對(duì)于本文任務(wù)的有效性。因此,在實(shí)驗(yàn)部分所有模型的訓(xùn)練都是采用遷移學(xué)習(xí)進(jìn)行訓(xùn)練。

    2.4.2 深度學(xué)習(xí)模型對(duì)比

    在基于遷移學(xué)習(xí)的卷積模型的選取上,本文目的是在保證一定檢測(cè)效率的基礎(chǔ)上進(jìn)行輕量化,以適應(yīng)在類似樹(shù)莓派這種低算力場(chǎng)景下的實(shí)時(shí)檢測(cè)任務(wù)。

    為此,本文在數(shù)據(jù)預(yù)處理的前提下,選取兩類主流的模型:一類是復(fù)雜化的網(wǎng)絡(luò)模型,如EfficientNet[23]、ResNet[24]和VisionTransformer[25];二是輕量化模型,如MobileNetV3(簡(jiǎn)稱MobileNet)和ShuffleNetV2[26(]簡(jiǎn)稱ShuffleNet)。選取模型后分別針對(duì)本文任務(wù)所對(duì)應(yīng)的兩個(gè)數(shù)據(jù)集進(jìn)行模型的訓(xùn)練和測(cè)試,最終測(cè)試結(jié)果見(jiàn)表7和表8。

    表7 針對(duì)Car-Hacking數(shù)據(jù)集測(cè)試結(jié)果Table 7 Test comparison results against Car-Hacking dataset

    表8 針對(duì)OTIDS數(shù)據(jù)集測(cè)試結(jié)果Table 8 Test comparison results against OTIDS dataset

    在表7和表8中Acc、P、R、F1-score和TestTime分別是在樹(shù)莓派設(shè)備上對(duì)測(cè)試集進(jìn)行實(shí)驗(yàn)得出的準(zhǔn)確率、精確率、召回率、F1 值和一個(gè)樣本的測(cè)試時(shí)間;TrainTime是在有GPU加持的PC機(jī)上進(jìn)行訓(xùn)練需要的時(shí)間;Params是卷積核的參數(shù)量,用來(lái)形容模型的大小程度。

    通過(guò)表7和表8可以看出,在Car-Hacking和OTIDS兩個(gè)數(shù)據(jù)集上不同模型訓(xùn)練和測(cè)試結(jié)果的總體趨勢(shì)是,復(fù)雜模型的檢測(cè)效果是更優(yōu)且穩(wěn)定的,這是因?yàn)閺?fù)雜模型的網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)更復(fù)雜,導(dǎo)致模型擁有更復(fù)雜的擬合能力;但由于復(fù)雜模型Params過(guò)多,從而導(dǎo)致復(fù)雜模型的測(cè)試時(shí)間相比輕量化模型更長(zhǎng)。Params越低的網(wǎng)絡(luò),保存模型所需的內(nèi)存小,對(duì)硬件內(nèi)存要求較低,因此對(duì)低算力設(shè)備更友好。綜合5 個(gè)模型來(lái)看,MobileNet 的Params接近最低值2.28×106。

    結(jié)合表7及圖4(a)可以分析得出,因?yàn)镃ar-Hacking數(shù)據(jù)集類別之間耦合性差,所以測(cè)試的5個(gè)模型都可以達(dá)到100%的檢測(cè)效果。但在訓(xùn)練時(shí)間上,MobileNet相比于復(fù)雜模型ResNet-18、EfficientNet 以及VisionTransformer分別減少了40%、74%和93%。相比ShuffleNet也減少了14%。同樣在測(cè)試時(shí)間上,MobileNet測(cè)試一個(gè)樣本的平均時(shí)間只需要2.5 ms,相比ShuffleNet減少了46%的檢測(cè)時(shí)間,且相比復(fù)雜模型中速度最快的ResNet-18更是減少了71%的時(shí)間,這得益于MobileNet與ResNet-18相比,Params減少了67%。

    結(jié)合表8和圖4(b)可以看出,因?yàn)镺TIDS數(shù)據(jù)集類別之間相對(duì)難以區(qū)分,所以在測(cè)試的5 個(gè)模型中,復(fù)雜模型的檢測(cè)效果可以達(dá)到100%,輕量級(jí)模型達(dá)到99%以上。這是由于輕量化模型相比復(fù)雜模型減少了隱藏層數(shù)和多余的層連接,以此提升模型的處理速度。通過(guò)表8可以看出,兩個(gè)輕量級(jí)模型ShuffleNet和MobileNet得益于Params的減少,在滿足99%以上的檢測(cè)效果的前提下相比于復(fù)雜模型中檢測(cè)效果更快的ResNet-18模型分別降低了32%和59%的測(cè)試時(shí)間,提升了檢測(cè)效率。

    車輛入侵檢測(cè)系統(tǒng)通常對(duì)實(shí)時(shí)性的要求為,針對(duì)每個(gè)數(shù)據(jù)包的檢測(cè)要低于10 ms[27],即入侵檢測(cè)系統(tǒng)需要在10 ms 以下的時(shí)間做出判斷和響應(yīng)。本文方法的檢測(cè)時(shí)間低于3 ms,因此本文提出的輕量級(jí)車載網(wǎng)絡(luò)入侵檢測(cè)方法能夠滿足實(shí)時(shí)檢測(cè)的需要。

    2.4.3 不同方法效果對(duì)比

    在對(duì)本文方法的可行性進(jìn)行實(shí)驗(yàn)驗(yàn)證和分析之后,為了驗(yàn)證本文方法相對(duì)于其他方法的效果,本小節(jié)分別在Car-Hacking和OTIDS兩個(gè)數(shù)據(jù)集下選取部分有代表性的論文方法進(jìn)行對(duì)比實(shí)驗(yàn),具體實(shí)驗(yàn)結(jié)果見(jiàn)表9和表10,其中最高性能值用粗體字標(biāo)出。

    表9 Car-Hacking數(shù)據(jù)集上模型的性能評(píng)估Table 9 Performance evaluation of models on Car-Hacking dataset

    表10 OTIDS數(shù)據(jù)集上模型的性能評(píng)估Table 10 Performance evaluation of models on OTIDS dataset

    通過(guò)表9 和表10 可以看出,與其他方法相比,本文基于遷移學(xué)習(xí)和MobileNet的方法都取得了最好的成績(jī),兩個(gè)測(cè)試集上訓(xùn)練和測(cè)試都取得了100%的檢測(cè)效果,在保證性能指標(biāo)的前提下,減少了訓(xùn)練時(shí)間和測(cè)試時(shí)間,能夠更好地應(yīng)用到車載網(wǎng)絡(luò)移動(dòng)實(shí)時(shí)入侵檢測(cè)場(chǎng)景。

    在表9 中,所有模型都達(dá)到了99%以上的檢測(cè)效果,這主要是因?yàn)镃ar-Hacking 數(shù)據(jù)集中正常模式和攻擊通過(guò)圖3 可以明顯區(qū)分,對(duì)比DCNN[14]、LSTM[14]、ConfidenceAveraging[28]、NovelADS[11],本文所提出的方法對(duì)比顯示出最好性能,其中提議方法訓(xùn)練時(shí)間對(duì)比同樣使用遷移學(xué)習(xí)的ConfidenceAveraging 方法時(shí)間減少了70%,測(cè)試時(shí)間減少了0.2 ms。對(duì)比使用閾值分類方法(NovelADS)訓(xùn)練時(shí)間減少了85%,測(cè)試時(shí)間減少了47%。

    對(duì)于表10 中OTIDS 數(shù)據(jù)集,本文方法比OTIDS 基于時(shí)間的方法的測(cè)試指標(biāo)P、R、F1-score 都有提升,其中R提升了足足有28.32個(gè)百分點(diǎn)。本文還分別對(duì)比了最新方法CANintelliIDS[29]和CANTransfer[10],在P、R、F1-score分別有6.21個(gè)百分點(diǎn)、6.31個(gè)百分點(diǎn)、6.09個(gè)百分點(diǎn)和5.07 個(gè)百分點(diǎn)、4.43 個(gè)百分點(diǎn)、4.75 個(gè)百分點(diǎn)的明顯性能增益。遺憾的是,這些方法并沒(méi)有提供訓(xùn)練和測(cè)試時(shí)間,因此無(wú)法作對(duì)比,但是本文方法每個(gè)流量包只需要2.9 ms,已經(jīng)能夠滿足實(shí)時(shí)檢測(cè)的需要。

    2.4.4 不同輸入大小對(duì)比

    輸入大小是指將Car-Hacking和OTIDS數(shù)據(jù)集中連續(xù)樣本轉(zhuǎn)換為圖像的單位。從數(shù)據(jù)集中提取的9 個(gè)重要特征(CAN ID 和DATA[0]~DATA[7])按輸入大小分組,并把它們轉(zhuǎn)為圖像。為了驗(yàn)證最佳輸入大小,分別測(cè)試了9、18、27、54 的連續(xù)輸入樣本大小,即圖片輸入模型大小分別為3×9×3、6×9×3、9×9×3、18×9×3,使用MobileNet 作為訓(xùn)練和測(cè)試方法,使用準(zhǔn)確率作為評(píng)價(jià)指標(biāo),最終實(shí)驗(yàn)結(jié)果見(jiàn)圖9。

    圖9 針對(duì)輸入大小MobileNet的準(zhǔn)確率Fig.9 Accuracy of MobileNet according to input size

    圖9實(shí)驗(yàn)結(jié)果顯示,在Car-Hacking數(shù)據(jù)集中,在18個(gè)樣本輸入大小之前,準(zhǔn)確率一直提升直到100%,后面持續(xù)穩(wěn)定在100%的準(zhǔn)確率。而在OTIDS 數(shù)據(jù)集中,在27個(gè)樣本輸入大小之前,準(zhǔn)確率一直提升直到69%,但之后有下降的趨勢(shì)。不難看出,27個(gè)樣本輸入在車載網(wǎng)絡(luò)中更加具有普適性。因此本文將樣本輸入大小選擇為27。

    此外,考慮到數(shù)據(jù)圖像進(jìn)行插值處理,可能對(duì)性能存在影響,在對(duì)比中選擇ResNet、EfficientNet、ShuffleNet、MobileNet 模型進(jìn)行非插值實(shí)驗(yàn),使用9×9×3 圖片輸入指定模型訓(xùn)練測(cè)試,與插值后的224×224×3圖片進(jìn)行性能對(duì)比。Car-Hacking數(shù)據(jù)集與OTIDS數(shù)據(jù)集實(shí)驗(yàn)結(jié)果分別見(jiàn)圖10、圖11。

    圖10 Car-Hacking數(shù)據(jù)集插值對(duì)比Fig.10 Interpolation comparison on Car-Hacking dataset

    通過(guò)圖10、圖11 可以看出,在Car-Hacking 數(shù)據(jù)集中,無(wú)論是插值還是非插值圖片輸入,都能表現(xiàn)出100%準(zhǔn)確率;而在OTIDS數(shù)據(jù)集非插值對(duì)比中,ResNet達(dá)到了最高準(zhǔn)確率84%,這得益于ResNet 的Params 較高,對(duì)復(fù)雜圖片擁有更好的擬合能力;對(duì)于測(cè)試時(shí)間,除了EfficentNet模型較高外,其他模型都達(dá)到了10 ms以下,符合車載網(wǎng)絡(luò)入侵檢測(cè)實(shí)時(shí)性要求,且MobileNet 模型的測(cè)試時(shí)間無(wú)論是插值前的2.9 ms還是插值后的2.7 ms,與其他模型相比都是最低測(cè)試時(shí)間。綜合來(lái)看,所有模型測(cè)試時(shí)間在插值前和插值后都相差不大,但是插值后準(zhǔn)確率得到了明顯提升。這是由于輸入圖片的尺寸越大,Backbone所提取的特征信息也越精確。

    3 結(jié)束語(yǔ)

    由于協(xié)議缺乏認(rèn)證和其他基本安全功能,廣泛使用的CAN協(xié)議使得汽車容易受到安全攻擊。本文結(jié)合流量可視化方法和輕量級(jí)的MobileNet 模型,提出一種輕量級(jí)車載網(wǎng)絡(luò)入侵檢測(cè)方法。通過(guò)將數(shù)據(jù)轉(zhuǎn)換為二維圖像并通過(guò)插值法進(jìn)行維度擴(kuò)大,之后對(duì)MobileNet 模型進(jìn)行架構(gòu)調(diào)整以進(jìn)一步適應(yīng)本文任務(wù),同時(shí)提升檢測(cè)效率。最后,通過(guò)遷移學(xué)習(xí)方式對(duì)模型進(jìn)行訓(xùn)練,以加快訓(xùn)練速度并提升檢測(cè)效果。實(shí)驗(yàn)結(jié)果表明,采用基于MobileNet 的網(wǎng)絡(luò)模型可以大幅減少訓(xùn)練和測(cè)試時(shí)間。本文方法解決了不支持低算力平臺(tái)部署、實(shí)時(shí)性檢測(cè)、數(shù)據(jù)集舊、訓(xùn)練收斂時(shí)間長(zhǎng)、準(zhǔn)確率低等問(wèn)題。下一步將考慮在真實(shí)場(chǎng)景下進(jìn)行測(cè)試,并面向?qū)崟r(shí)流檢測(cè)進(jìn)行探索研究。

    猜你喜歡
    車載準(zhǔn)確率特征
    乳腺超聲檢查診斷乳腺腫瘤的特異度及準(zhǔn)確率分析
    健康之家(2021年19期)2021-05-23 11:17:39
    不同序列磁共振成像診斷脊柱損傷的臨床準(zhǔn)確率比較探討
    2015—2017 年寧夏各天氣預(yù)報(bào)參考產(chǎn)品質(zhì)量檢驗(yàn)分析
    高速磁浮車載運(yùn)行控制系統(tǒng)綜述
    如何表達(dá)“特征”
    不忠誠(chéng)的四個(gè)特征
    高速公路車牌識(shí)別標(biāo)識(shí)站準(zhǔn)確率驗(yàn)證法
    抓住特征巧觀察
    智能互聯(lián)勢(shì)不可擋 車載存儲(chǔ)需求爆發(fā)
    基于ZVS-PWM的車載隔離DC-DC的研究
    av在线播放精品| 一本色道久久久久久精品综合| 欧美区成人在线视频| 亚洲丝袜综合中文字幕| 少妇人妻精品综合一区二区| 欧美日韩av久久| 国产成人免费无遮挡视频| 精品少妇内射三级| 成年人午夜在线观看视频| 最后的刺客免费高清国语| 男人爽女人下面视频在线观看| 妹子高潮喷水视频| 精品99又大又爽又粗少妇毛片| 在线观看www视频免费| 欧美 日韩 精品 国产| 一级爰片在线观看| 久久久久精品性色| 国产日韩欧美视频二区| 天美传媒精品一区二区| 春色校园在线视频观看| 国产视频内射| 久久久久久久久久久丰满| 免费黄频网站在线观看国产| 精品少妇黑人巨大在线播放| 国产熟女欧美一区二区| 99久久中文字幕三级久久日本| 一级毛片电影观看| 国模一区二区三区四区视频| 亚洲综合精品二区| 韩国高清视频一区二区三区| 啦啦啦啦在线视频资源| 亚洲三级黄色毛片| 五月开心婷婷网| 制服丝袜香蕉在线| av在线观看视频网站免费| 国产精品秋霞免费鲁丝片| 久久久久久伊人网av| 9色porny在线观看| 国内精品宾馆在线| 亚洲精品中文字幕在线视频 | 尾随美女入室| 成人毛片60女人毛片免费| 高清黄色对白视频在线免费看 | 久久免费观看电影| 97超视频在线观看视频| 日韩成人av中文字幕在线观看| 国产在视频线精品| 青春草国产在线视频| 丁香六月天网| 亚洲av二区三区四区| 22中文网久久字幕| 久久久久久久久大av| 美女主播在线视频| 亚洲内射少妇av| av在线播放精品| 最近的中文字幕免费完整| 亚洲美女搞黄在线观看| 中国美白少妇内射xxxbb| 大陆偷拍与自拍| 亚洲精品,欧美精品| 亚州av有码| 亚洲欧美日韩东京热| 制服丝袜香蕉在线| 夫妻午夜视频| 性色av一级| kizo精华| 哪个播放器可以免费观看大片| 久久综合国产亚洲精品| 韩国高清视频一区二区三区| 午夜福利,免费看| 日本免费在线观看一区| 一本—道久久a久久精品蜜桃钙片| 亚洲国产最新在线播放| 乱码一卡2卡4卡精品| 色网站视频免费| 精品一区二区免费观看| 国产在视频线精品| 丝袜喷水一区| 一级,二级,三级黄色视频| 免费av中文字幕在线| 国产精品久久久久久精品电影小说| av线在线观看网站| 人妻 亚洲 视频| 成人毛片60女人毛片免费| 成人国产麻豆网| av卡一久久| 少妇 在线观看| 97在线人人人人妻| 国产黄片美女视频| 国产精品秋霞免费鲁丝片| 9色porny在线观看| 少妇 在线观看| 欧美老熟妇乱子伦牲交| 国产淫语在线视频| 国产精品一区二区在线观看99| 男人舔奶头视频| 国产成人aa在线观看| 成人美女网站在线观看视频| 国产成人freesex在线| 麻豆成人av视频| 国产综合精华液| 只有这里有精品99| 久久婷婷青草| 亚洲第一av免费看| 久久久国产欧美日韩av| 欧美成人精品欧美一级黄| 国产精品久久久久久精品古装| 欧美xxxx性猛交bbbb| 春色校园在线视频观看| 成年人午夜在线观看视频| 简卡轻食公司| 妹子高潮喷水视频| 久久久a久久爽久久v久久| 国产探花极品一区二区| 十八禁网站网址无遮挡 | 最近最新中文字幕免费大全7| 色视频在线一区二区三区| 丝袜脚勾引网站| 精品视频人人做人人爽| 免费观看av网站的网址| 免费播放大片免费观看视频在线观看| 简卡轻食公司| 蜜桃在线观看..| 成年人免费黄色播放视频 | 久久精品久久精品一区二区三区| 国内精品宾馆在线| 色5月婷婷丁香| 成人毛片a级毛片在线播放| 成人国产av品久久久| 精品国产国语对白av| 国产日韩欧美视频二区| av黄色大香蕉| 国产女主播在线喷水免费视频网站| 菩萨蛮人人尽说江南好唐韦庄| 欧美日韩视频高清一区二区三区二| 亚洲精品成人av观看孕妇| 国产成人一区二区在线| 久久免费观看电影| 一级毛片电影观看| 国产国拍精品亚洲av在线观看| 乱系列少妇在线播放| av在线app专区| 久久亚洲国产成人精品v| 免费观看a级毛片全部| 中国国产av一级| 成年人午夜在线观看视频| 欧美成人午夜免费资源| 国产精品一区二区三区四区免费观看| 免费高清在线观看视频在线观看| 久久ye,这里只有精品| 成人漫画全彩无遮挡| 亚洲伊人久久精品综合| 亚洲真实伦在线观看| 亚洲欧美日韩东京热| 波野结衣二区三区在线| 成人亚洲欧美一区二区av| 亚洲av二区三区四区| 天堂中文最新版在线下载| 亚洲电影在线观看av| 日日摸夜夜添夜夜添av毛片| 色网站视频免费| 午夜福利网站1000一区二区三区| 亚洲激情五月婷婷啪啪| 草草在线视频免费看| 3wmmmm亚洲av在线观看| 一区二区三区四区激情视频| 午夜精品国产一区二区电影| 熟女电影av网| 国产亚洲91精品色在线| 插阴视频在线观看视频| 久久久欧美国产精品| 天天操日日干夜夜撸| 一本色道久久久久久精品综合| 亚洲欧美日韩另类电影网站| h视频一区二区三区| 插逼视频在线观看| 多毛熟女@视频| 国产精品99久久99久久久不卡 | 国产成人精品无人区| 少妇人妻 视频| 嫩草影院新地址| 新久久久久国产一级毛片| 黄色日韩在线| 日本wwww免费看| 2021少妇久久久久久久久久久| av在线老鸭窝| 高清黄色对白视频在线免费看 | 一个人免费看片子| 全区人妻精品视频| 噜噜噜噜噜久久久久久91| 中文字幕精品免费在线观看视频 | 国产乱人偷精品视频| 晚上一个人看的免费电影| 免费看av在线观看网站| 极品教师在线视频| 精品人妻一区二区三区麻豆| 日韩视频在线欧美| 新久久久久国产一级毛片| 乱码一卡2卡4卡精品| 久久精品熟女亚洲av麻豆精品| 大香蕉97超碰在线| 丝袜在线中文字幕| 三上悠亚av全集在线观看 | 大话2 男鬼变身卡| 亚洲精品视频女| 久久久午夜欧美精品| 777米奇影视久久| 亚洲欧洲精品一区二区精品久久久 | a级毛色黄片| 久久av网站| 最新的欧美精品一区二区| 热re99久久国产66热| 乱人伦中国视频| 黄色日韩在线| 黑人高潮一二区| 久久精品国产亚洲网站| 国产欧美亚洲国产| 精品一区二区免费观看| 国产69精品久久久久777片| 午夜免费男女啪啪视频观看| 天天躁夜夜躁狠狠久久av| 嫩草影院入口| 国产淫语在线视频| 男的添女的下面高潮视频| 久久精品久久精品一区二区三区| 精品亚洲成国产av| 亚洲精品aⅴ在线观看| 多毛熟女@视频| 特大巨黑吊av在线直播| 成人亚洲欧美一区二区av| www.色视频.com| 天堂俺去俺来也www色官网| 观看免费一级毛片| 国产精品99久久久久久久久| 国产熟女欧美一区二区| 高清黄色对白视频在线免费看 | 在线观看免费高清a一片| 国内精品宾馆在线| 久久久久久久久久久丰满| 国产成人精品一,二区| 国产精品国产av在线观看| 国产精品不卡视频一区二区| 中文字幕人妻熟人妻熟丝袜美| 少妇被粗大的猛进出69影院 | 久久人妻熟女aⅴ| 天天躁夜夜躁狠狠久久av| 日韩制服骚丝袜av| 极品人妻少妇av视频| 日韩中文字幕视频在线看片| 在线观看美女被高潮喷水网站| 五月天丁香电影| 欧美成人精品欧美一级黄| 国产午夜精品一二区理论片| 国产精品人妻久久久久久| 你懂的网址亚洲精品在线观看| 亚洲精品亚洲一区二区| 亚洲国产精品专区欧美| 欧美另类一区| 国模一区二区三区四区视频| 亚洲精品456在线播放app| 乱码一卡2卡4卡精品| 国产精品国产三级国产专区5o| 亚洲成人一二三区av| 久热这里只有精品99| 精品视频人人做人人爽| av天堂中文字幕网| 亚洲精品,欧美精品| 十分钟在线观看高清视频www | 久久久久久久久久久免费av| 制服丝袜香蕉在线| av免费观看日本| 午夜激情久久久久久久| 久久国产亚洲av麻豆专区| av不卡在线播放| 国产乱来视频区| 亚洲精品乱码久久久v下载方式| 午夜免费观看性视频| 色94色欧美一区二区| 久久精品久久久久久噜噜老黄| 国产在视频线精品| 日韩在线高清观看一区二区三区| 七月丁香在线播放| 狂野欧美激情性bbbbbb| 亚洲av二区三区四区| 亚洲情色 制服丝袜| 免费黄网站久久成人精品| 免费观看在线日韩| 国产视频首页在线观看| 久久久久久久国产电影| 国产精品成人在线| 能在线免费看毛片的网站| 亚洲三级黄色毛片| 国产一区二区三区av在线| 国产精品熟女久久久久浪| 亚洲性久久影院| 精品久久久久久电影网| 最近2019中文字幕mv第一页| 不卡视频在线观看欧美| 在线观看三级黄色| 亚洲国产欧美日韩在线播放 | 久久久精品94久久精品| 韩国高清视频一区二区三区| 九九在线视频观看精品| 有码 亚洲区| 丝袜在线中文字幕| 老司机影院毛片| 丰满乱子伦码专区| 又爽又黄a免费视频| 精品人妻偷拍中文字幕| 国产亚洲最大av| 日韩电影二区| 亚洲精品久久久久久婷婷小说| 王馨瑶露胸无遮挡在线观看| 日韩一区二区视频免费看| 国产一区亚洲一区在线观看| 免费看av在线观看网站| 熟女电影av网| 卡戴珊不雅视频在线播放| 精品一品国产午夜福利视频| 看非洲黑人一级黄片| 久久久久久久大尺度免费视频| 久久久午夜欧美精品| a 毛片基地| 性高湖久久久久久久久免费观看| 久久精品久久久久久噜噜老黄| 老司机影院成人| 高清在线视频一区二区三区| 亚洲成色77777| 午夜日本视频在线| 亚洲内射少妇av| 欧美日韩亚洲高清精品| 日本免费在线观看一区| 色哟哟·www| 欧美3d第一页| 99re6热这里在线精品视频| 最黄视频免费看| 久久国内精品自在自线图片| 赤兔流量卡办理| 国产精品秋霞免费鲁丝片| 男人爽女人下面视频在线观看| 日本91视频免费播放| 男女啪啪激烈高潮av片| 精品卡一卡二卡四卡免费| 日韩精品免费视频一区二区三区 | av福利片在线| 免费观看无遮挡的男女| 男女无遮挡免费网站观看| 深夜a级毛片| 美女xxoo啪啪120秒动态图| a 毛片基地| 成人美女网站在线观看视频| 亚洲av二区三区四区| 国产一区二区三区av在线| 9色porny在线观看| 97精品久久久久久久久久精品| 91成人精品电影| 国产av精品麻豆| 少妇人妻一区二区三区视频| 日本猛色少妇xxxxx猛交久久| 人妻人人澡人人爽人人| 内地一区二区视频在线| 高清视频免费观看一区二区| 亚洲精品视频女| 自拍欧美九色日韩亚洲蝌蚪91 | 夜夜看夜夜爽夜夜摸| 中国国产av一级| 久久久国产欧美日韩av| 婷婷色综合大香蕉| 日韩免费高清中文字幕av| 国产有黄有色有爽视频| 免费大片18禁| 成人综合一区亚洲| 如日韩欧美国产精品一区二区三区 | 国产真实伦视频高清在线观看| 亚洲va在线va天堂va国产| 秋霞伦理黄片| 久久99蜜桃精品久久| 夜夜骑夜夜射夜夜干| 国产成人一区二区在线| 午夜久久久在线观看| 国产免费又黄又爽又色| 亚洲av成人精品一二三区| 久久精品国产亚洲网站| 成人毛片60女人毛片免费| 国产高清国产精品国产三级| 在线播放无遮挡| 国产男人的电影天堂91| 午夜精品国产一区二区电影| 只有这里有精品99| 一二三四中文在线观看免费高清| 一个人看视频在线观看www免费| 在线观看三级黄色| 久久精品国产鲁丝片午夜精品| 只有这里有精品99| 黑人猛操日本美女一级片| 成人美女网站在线观看视频| 亚洲欧美精品专区久久| 国产成人免费无遮挡视频| 亚洲图色成人| 国产精品一区二区三区四区免费观看| 久久国产乱子免费精品| 日本vs欧美在线观看视频 | 哪个播放器可以免费观看大片| 久久综合国产亚洲精品| 男人狂女人下面高潮的视频| 国产成人精品福利久久| 最新的欧美精品一区二区| 一级毛片久久久久久久久女| 99热6这里只有精品| 国产欧美日韩精品一区二区| 国产永久视频网站| 免费观看a级毛片全部| 18禁在线播放成人免费| 在线亚洲精品国产二区图片欧美 | 三上悠亚av全集在线观看 | 3wmmmm亚洲av在线观看| 美女福利国产在线| 人妻制服诱惑在线中文字幕| 夫妻午夜视频| 成年女人在线观看亚洲视频| 一本色道久久久久久精品综合| 黄色视频在线播放观看不卡| 亚洲欧美日韩东京热| 久久国产亚洲av麻豆专区| 亚洲性久久影院| 精品久久国产蜜桃| 久久久a久久爽久久v久久| 欧美日韩视频精品一区| 在线观看免费高清a一片| 尾随美女入室| 丰满乱子伦码专区| 国产淫语在线视频| av一本久久久久| 亚洲三级黄色毛片| 99久久精品热视频| 黄色视频在线播放观看不卡| 国产精品偷伦视频观看了| 欧美xxxx性猛交bbbb| 免费观看av网站的网址| 成人无遮挡网站| 国产淫语在线视频| 亚洲av电影在线观看一区二区三区| 大又大粗又爽又黄少妇毛片口| 桃花免费在线播放| 国产69精品久久久久777片| 亚洲欧美精品自产自拍| 欧美精品亚洲一区二区| 天堂中文最新版在线下载| 国产免费一区二区三区四区乱码| 在线精品无人区一区二区三| 午夜久久久在线观看| 两个人免费观看高清视频 | 一本大道久久a久久精品| 免费大片黄手机在线观看| 高清av免费在线| 久久久国产欧美日韩av| 五月玫瑰六月丁香| 久久精品国产a三级三级三级| 精品久久久久久久久亚洲| 最近的中文字幕免费完整| 精品人妻偷拍中文字幕| 亚洲av成人精品一二三区| 亚洲高清免费不卡视频| 国产免费又黄又爽又色| 黄片无遮挡物在线观看| 久久97久久精品| 久久久国产欧美日韩av| 亚洲av日韩在线播放| 多毛熟女@视频| 天美传媒精品一区二区| 精品人妻一区二区三区麻豆| 高清黄色对白视频在线免费看 | 黑人猛操日本美女一级片| 免费黄色在线免费观看| 免费看光身美女| 丰满人妻一区二区三区视频av| 狂野欧美激情性bbbbbb| 免费大片黄手机在线观看| 各种免费的搞黄视频| 黄色怎么调成土黄色| 中文字幕亚洲精品专区| 蜜桃在线观看..| 国产一区二区在线观看日韩| 人妻人人澡人人爽人人| 久久久欧美国产精品| 国内揄拍国产精品人妻在线| 国产片特级美女逼逼视频| 成人午夜精彩视频在线观看| 只有这里有精品99| 王馨瑶露胸无遮挡在线观看| 人妻 亚洲 视频| 久久人人爽人人爽人人片va| 精品久久久噜噜| 少妇精品久久久久久久| av播播在线观看一区| 国产乱人偷精品视频| 国产亚洲午夜精品一区二区久久| 内射极品少妇av片p| 国语对白做爰xxxⅹ性视频网站| 欧美精品人与动牲交sv欧美| 中文字幕制服av| 啦啦啦在线观看免费高清www| 人妻一区二区av| 亚洲成人手机| 成人毛片60女人毛片免费| 婷婷色av中文字幕| 亚洲自偷自拍三级| 在线精品无人区一区二区三| 我要看黄色一级片免费的| 久久99精品国语久久久| 国产在线一区二区三区精| 国产精品欧美亚洲77777| 国产在线免费精品| 丝袜脚勾引网站| 看非洲黑人一级黄片| 精品一区二区三卡| 国产av国产精品国产| 亚洲第一区二区三区不卡| 国产精品国产三级国产专区5o| 精品久久久久久电影网| 国产精品人妻久久久久久| 精品卡一卡二卡四卡免费| 亚洲激情五月婷婷啪啪| 99久久人妻综合| 一级毛片电影观看| av天堂中文字幕网| 国产日韩欧美视频二区| 99久久中文字幕三级久久日本| 日韩在线高清观看一区二区三区| 嫩草影院入口| 最新的欧美精品一区二区| 亚洲精品国产av蜜桃| 一级a做视频免费观看| 亚洲国产日韩一区二区| 老司机影院成人| 一区在线观看完整版| 久久精品国产a三级三级三级| 99热网站在线观看| 午夜影院在线不卡| 午夜激情久久久久久久| 美女中出高潮动态图| 欧美少妇被猛烈插入视频| kizo精华| 天美传媒精品一区二区| 国产精品一区二区三区四区免费观看| 国产精品久久久久久av不卡| 久久国产精品大桥未久av | a级片在线免费高清观看视频| 男女国产视频网站| 人妻 亚洲 视频| 成人特级av手机在线观看| 熟女av电影| 久久久久人妻精品一区果冻| kizo精华| 日韩成人av中文字幕在线观看| 国产成人精品福利久久| 精品国产国语对白av| 成年美女黄网站色视频大全免费 | 欧美xxxx性猛交bbbb| 免费人妻精品一区二区三区视频| 乱人伦中国视频| 久久影院123| 黑丝袜美女国产一区| 免费在线观看成人毛片| 亚州av有码| 免费大片黄手机在线观看| 国产精品一区www在线观看| 国产精品秋霞免费鲁丝片| 欧美老熟妇乱子伦牲交| 2021少妇久久久久久久久久久| 欧美日韩精品成人综合77777| 秋霞伦理黄片| 丰满少妇做爰视频| 91aial.com中文字幕在线观看| 国产免费又黄又爽又色| 国产成人a∨麻豆精品| 久久久午夜欧美精品| 又黄又爽又刺激的免费视频.| 综合色丁香网| 欧美精品人与动牲交sv欧美| 伊人久久国产一区二区| 观看美女的网站| 亚洲国产精品一区二区三区在线| 国产一级毛片在线| 色哟哟·www| 九九在线视频观看精品| 国产精品久久久久久久久免| 国产精品欧美亚洲77777| 99视频精品全部免费 在线| 国产日韩欧美视频二区| 自拍欧美九色日韩亚洲蝌蚪91 | 丝袜脚勾引网站| 少妇人妻久久综合中文| 97超碰精品成人国产| 亚洲av免费高清在线观看| 日韩中字成人| 欧美高清成人免费视频www| 国内精品宾馆在线| 搡女人真爽免费视频火全软件| 亚洲国产精品999| 亚洲国产色片| 国产伦精品一区二区三区视频9| 久久av网站| 亚洲欧美中文字幕日韩二区| 美女国产视频在线观看| 国产一区二区三区综合在线观看 | av不卡在线播放| 亚洲欧美成人综合另类久久久| 久久av网站| 乱系列少妇在线播放| 亚洲一级一片aⅴ在线观看| 大香蕉久久网| 天堂俺去俺来也www色官网| 精品久久久久久久久av| 久久国产精品大桥未久av |