• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于國產(chǎn)服務(wù)器的國產(chǎn)Linux操作系統(tǒng)適配研究

    2023-04-21 13:10:36付志鵬張曉梨
    關(guān)鍵詞:外設(shè)固件網(wǎng)卡

    付志鵬,馮 丹,陳 紅,張曉梨

    (鵬城實(shí)驗(yàn)室,廣東 深圳 518055)

    0 引 言

    隨著國內(nèi)外環(huán)境的變化,建設(shè)自主可控的國產(chǎn)計(jì)算生態(tài)的必要性和緊迫性日益凸顯。作為計(jì)算生態(tài)核心的處理器和操作系統(tǒng),除了Wintel(Windows+Intel)體系和Intel+IOS體系,AL(ARM[1]+Linux)體系由于其在移動(dòng)端(手機(jī)、平板等)的優(yōu)勢(shì)地位而成為在服務(wù)器和PC端具有全球發(fā)展?jié)摿Φ牧硪环N體系。隨著多年的發(fā)展,國內(nèi)在AL體系已逐漸形成了以飛騰[2]+麒麟[3-6]為代表的PK(Phytium+Kylin)體系和以華為鯤鵬+歐拉為代表的鯤鵬體系。近幾年,飛騰服務(wù)器和鯤鵬服務(wù)器在國內(nèi)市場(chǎng)飛速增長(zhǎng),基于國產(chǎn)飛騰服務(wù)器和鯤鵬服務(wù)器的生態(tài)適配顯得日益迫切,這為在關(guān)鍵領(lǐng)域加速完成國產(chǎn)化替代奠定基礎(chǔ),具有廣闊的市場(chǎng)前景。

    國產(chǎn)計(jì)算平臺(tái)的核心部件,主要包括處理器、整機(jī)、操作系統(tǒng)、中間件等。將這些核心部件有效集成起來,形成能夠支撐當(dāng)前互聯(lián)網(wǎng)信息時(shí)代的基礎(chǔ)設(shè)施,進(jìn)而建設(shè)國產(chǎn)計(jì)算生態(tài),實(shí)現(xiàn)對(duì)國外生態(tài)的全面替代尤為重要。生態(tài)適配首先需要解決國產(chǎn)操作系統(tǒng)對(duì)國產(chǎn)服務(wù)器的適配。由于Intel服務(wù)器長(zhǎng)期在國際國內(nèi)的壟斷地位,國產(chǎn)操作系統(tǒng)主要基于Intel服務(wù)器開發(fā)和運(yùn)行,無需進(jìn)行適配。在AL生態(tài)蓬勃發(fā)展的當(dāng)下,國產(chǎn)操作系統(tǒng)需要首先完成對(duì)飛騰服務(wù)器和華為鯤鵬服務(wù)器的適配,才能以此為基礎(chǔ)建設(shè)國產(chǎn)AL計(jì)算平臺(tái),并在此平臺(tái)上發(fā)展AL應(yīng)用生態(tài)。

    國外關(guān)于操作系統(tǒng)對(duì)服務(wù)器適配的相關(guān)研究較少,主要原因在于Wintel體系和Intel+IOS體系在服務(wù)器和終端市場(chǎng)誕生的初期就天生結(jié)合在一起,Windows和IOS操作系統(tǒng)的開發(fā)和調(diào)試主要在Intel系列服務(wù)器或終端設(shè)備上進(jìn)行,具有天生的適配能力。

    在國內(nèi),前期國產(chǎn)操作系統(tǒng)主要以在Intel系列服務(wù)器上運(yùn)行為主。國內(nèi)外環(huán)境改變后,計(jì)算平臺(tái)國產(chǎn)化問題日益突出,國產(chǎn)操作系統(tǒng)在國產(chǎn)服務(wù)器上適配需求越來越迫切。在某些特殊領(lǐng)域,國產(chǎn)操作系統(tǒng)對(duì)處理器的適配已有相關(guān)研究。雷鳴等[7]針對(duì)在龍芯平臺(tái)上適配Android操作系統(tǒng)進(jìn)行研究,通過編譯環(huán)境適配、Linux內(nèi)核適配、文件系統(tǒng)適配等一系列改進(jìn),測(cè)試結(jié)果表明Android操作系統(tǒng)能夠適配龍芯處理器。任占廣等[8]針對(duì)國內(nèi)高性能通信需求,采用銳華國產(chǎn)嵌入式操作系統(tǒng)在自主研制的高性能通信處理器“網(wǎng)芯一號(hào)”上進(jìn)行適配,突破了操作系統(tǒng)在實(shí)時(shí)通信方面的不足,完成了銳華操作系統(tǒng)在“網(wǎng)芯一號(hào)”上的板級(jí)升級(jí)包和相關(guān)驅(qū)動(dòng)上的適配。測(cè)試結(jié)果表明,銳華操作系統(tǒng)完全能夠滿足國內(nèi)高性能通信需求,解決了通信領(lǐng)域大量使用國外軟硬件產(chǎn)品,存在安全隱患的矛盾。張靜等[9]針對(duì)銳華操作系統(tǒng)適配到國產(chǎn)飛騰1500A/4上的問題,給出了一個(gè)針對(duì)性的處理器支持包,該包支持銳華操作系統(tǒng)在飛騰1500A/4下的任務(wù)上下文切換、中斷處理、多核同步與互斥等功能,有力解決了飛騰1500A/4和銳華操作系統(tǒng)在國產(chǎn)通信領(lǐng)域的嵌入式應(yīng)用障礙。針對(duì)航空航天領(lǐng)域軟硬件國產(chǎn)化的特殊需求,項(xiàng)濤等[10]將國產(chǎn)自研的天脈1機(jī)載嵌入式實(shí)時(shí)操作系統(tǒng)在國產(chǎn)自研飛騰2000A處理器上進(jìn)行適配,測(cè)試結(jié)果表明天脈1嵌入式操作系統(tǒng)能在飛騰2000A上順利運(yùn)行。劉幟琦等[11]將天脈1嵌入式操作系統(tǒng)適配到T2080處理器上,以滿足機(jī)載計(jì)算平臺(tái)對(duì)實(shí)時(shí)性的需求。基于PK體系,郭長(zhǎng)國等[12]針對(duì)近幾年在國產(chǎn)辦公信息系統(tǒng)的研發(fā)、集成以及國產(chǎn)化推進(jìn)、實(shí)施等方面進(jìn)行總結(jié)梳理,提出了若干建設(shè)PK體系生態(tài)需要注意的問題及相應(yīng)的應(yīng)對(duì)策略,為下一步國產(chǎn)計(jì)算生態(tài)建設(shè)積累了經(jīng)驗(yàn)。針對(duì)5G時(shí)代下的物聯(lián)網(wǎng)對(duì)新型移動(dòng)操作系統(tǒng)“低延時(shí)、高帶寬、大連接”需求,宋佳明等[13]提出分別從硬件適配能力、軟件兼容能力以及服務(wù)生態(tài)兼容性三個(gè)方面來構(gòu)建新型操作系統(tǒng)適配驗(yàn)證體系的思路。

    通過這幾項(xiàng)相關(guān)研究,可以發(fā)現(xiàn)如下幾個(gè)特點(diǎn):

    (1)針對(duì)某些關(guān)鍵領(lǐng)域的國產(chǎn)化替代來進(jìn)行,具有很強(qiáng)的針對(duì)性。

    (2)操作系統(tǒng)對(duì)處理器的適配主要在嵌入式領(lǐng)域,在服務(wù)器和PC領(lǐng)域沒有涉及。

    (3)適配的對(duì)象主要是處理器,而不涉及到整機(jī)、外設(shè)等。

    (4)中國逐漸意識(shí)到生態(tài)建設(shè)的重要性并加大國產(chǎn)計(jì)算生態(tài)的建設(shè)力度。

    針對(duì)國內(nèi)通用ARM服務(wù)器領(lǐng)域的國產(chǎn)化替代來進(jìn)行,適配內(nèi)容除了處理器外,還包括固件、主板、外設(shè)等。其適配思路和方法,同樣可以推廣到國產(chǎn)ARM PC領(lǐng)域,具有一定的可推廣性。

    操作系統(tǒng)的選型是國產(chǎn)計(jì)算平臺(tái)建設(shè)的基礎(chǔ),是進(jìn)行國產(chǎn)ARM服務(wù)器適配的第一步。目前主流的國產(chǎn)操作系統(tǒng)主要有銀河麒麟系列、歐拉系列以及統(tǒng)信操作系統(tǒng)。鑒于PK體系和鯤鵬歐拉體系在AL體系中的主流地位,采用銀河麒麟操作系統(tǒng)來進(jìn)行適配。該適配思路和方法可以同樣擴(kuò)展到歐拉或統(tǒng)信等其他操作系統(tǒng)上。

    國產(chǎn)操作系統(tǒng)對(duì)國產(chǎn)ARM服務(wù)器的適配需要經(jīng)過一系列流程。由于服務(wù)器主要由固件、CPU、主板、外設(shè)等幾個(gè)大模塊組成,因此相應(yīng)的適配過程也主要分為如下四個(gè)步驟來進(jìn)行:固件適配、處理器適配、主板適配、外設(shè)適配,其中每個(gè)步驟又可以細(xì)分為多個(gè)子步驟,適配整體方案如圖1所示。

    圖1 國產(chǎn)操作系統(tǒng)對(duì)ARM服務(wù)器適配的整體方案

    國產(chǎn)固件適配主要解決服務(wù)器加載并啟動(dòng)操作系統(tǒng)的問題,國產(chǎn)處理器適配主要針對(duì)國產(chǎn)處理器內(nèi)置SOC控制器,包括GPIO(General-Purpose Input/Output)、GIC(Generic Interrupt Controller)、內(nèi)存地址隨機(jī)化部件等進(jìn)行適配。外設(shè)適配主要針對(duì)網(wǎng)卡、顯卡、外部存儲(chǔ)和RTC(Real-Time Clock)等模塊,需要基于整體硬件平臺(tái)構(gòu)建操作系統(tǒng)的驅(qū)動(dòng)模塊,實(shí)現(xiàn)系統(tǒng)對(duì)硬件的無縫兼容。主板適配主要是指操作系統(tǒng)在主板上運(yùn)行時(shí)可能會(huì)遇到各種各樣的問題,并針對(duì)這些問題進(jìn)行排查、分析和解決。隨著操作系統(tǒng)和國產(chǎn)主板幾十年的發(fā)展,在主板適配上遇到的問題較少,因此這里主要闡述固件適配、處理器適配和外設(shè)適配。

    1 國產(chǎn)固件適配

    固件是在啟動(dòng)操作系統(tǒng)之前首先在計(jì)算機(jī)上運(yùn)行的一種軟件,它的作用有兩個(gè),一個(gè)是檢測(cè)并進(jìn)行基本的硬件初始化,另外一個(gè)是加載操作系統(tǒng),然后把控制權(quán)交給操作系統(tǒng)。

    國產(chǎn)固件適配是指讓國產(chǎn)固件能夠成功啟動(dòng)操作系統(tǒng),目前主要支持兩種啟動(dòng)方式:直接啟動(dòng)(固件直接加載操作系統(tǒng)內(nèi)核并啟動(dòng)內(nèi)核)和間接啟動(dòng)(固件先加載grub等bootloader,然后通過bootloader啟動(dòng)操作系統(tǒng)),啟動(dòng)方式不同,其要做的工作也有所區(qū)別。固件適配要做的工作主要包括:

    (1)約定好啟動(dòng)操作系統(tǒng)要加載的內(nèi)容。直接啟動(dòng),則要加載內(nèi)核二進(jìn)制文件、initrd文件及設(shè)備樹文件。間接啟動(dòng),則還要加載啟動(dòng)加載器grub。

    (2)約定好所加載內(nèi)容的加載地址,包括內(nèi)核二進(jìn)制文件加載地址、initrd文件加載地址、設(shè)備樹文件加載地址等。

    (3)約定好固件傳遞給內(nèi)核的啟動(dòng)參數(shù)。

    當(dāng)固件做完其硬件檢查和配置工作,需要啟動(dòng)操作系統(tǒng)時(shí),根據(jù)其啟動(dòng)方式不同,分別做相應(yīng)的操作。當(dāng)為直接啟動(dòng)時(shí),使用約定的內(nèi)核參數(shù)啟動(dòng)內(nèi)核,內(nèi)核在啟動(dòng)過程中需要解析設(shè)備樹,解壓并掛載initrd文件和文件系統(tǒng)進(jìn)行內(nèi)核和系統(tǒng)啟動(dòng)工作。當(dāng)為間接啟動(dòng)時(shí),通過已加載的grub參數(shù)加載指定的內(nèi)核和設(shè)備樹,然后使用約定的內(nèi)核參數(shù)啟動(dòng)內(nèi)核,內(nèi)核在啟動(dòng)過程中需要解析設(shè)備樹,解壓并掛載initrd文件和文件系統(tǒng)進(jìn)行內(nèi)核和系統(tǒng)啟動(dòng)工作。

    2 國產(chǎn)處理器適配

    國產(chǎn)處理器適配主要從GPIO驅(qū)動(dòng)模塊、GIC中斷驅(qū)動(dòng)模塊以及內(nèi)存地址隨機(jī)化模塊三個(gè)方面進(jìn)行。

    國產(chǎn)處理器集成了GPIO模塊[14],主要用來實(shí)現(xiàn)IO數(shù)據(jù)的傳輸。GPIO驅(qū)動(dòng)模塊適配需要根據(jù)約定的硬件采樣機(jī)制,實(shí)現(xiàn)GPIO的接口操作封裝,同時(shí)對(duì)系統(tǒng)內(nèi)核通用關(guān)機(jī)和重啟接口進(jìn)行改造,實(shí)現(xiàn)系統(tǒng)下軟關(guān)機(jī)和軟重啟功能。

    GPIO驅(qū)動(dòng)模塊適配流程分為五個(gè)過程:(1)探測(cè)設(shè)備并對(duì)片內(nèi)GPIO控制器寄存器進(jìn)行初始化;(2)獲取設(shè)備樹定義的GPIO屬性配置信息進(jìn)行GPIO設(shè)置;(3)構(gòu)建GPIO控制器方法,包括定義GPIO方向輸入方法、GPIO值獲取方法、GPIO值設(shè)置方法并進(jìn)行GPIO池的注冊(cè);(4)為了方便GPIO驅(qū)動(dòng)和應(yīng)用接口的良好交互,構(gòu)建sysfs文件系統(tǒng)框架,將GPIO的方向輸入接口、GPIO值設(shè)置和獲取接口提供給應(yīng)用接口;(5)通過改造poweroff/reboot系統(tǒng)接口,按照約定的采樣機(jī)制構(gòu)建GPIO設(shè)置執(zhí)行流程,實(shí)現(xiàn)系統(tǒng)下通過GPIO接口的軟關(guān)機(jī)和軟重啟功能。

    GIC中斷驅(qū)動(dòng)模塊[15]適配,需要建立一個(gè)中斷和中斷源的映射關(guān)系,即一個(gè)設(shè)備發(fā)起一個(gè)中斷,能夠被系統(tǒng)及時(shí)察覺到并做相應(yīng)的處理。如PCIe設(shè)備的MSI和MSI-X類型的中斷,系統(tǒng)需要在內(nèi)存中建立相應(yīng)的結(jié)構(gòu),用于存儲(chǔ)這種對(duì)應(yīng)關(guān)系,從而確保這些中斷能夠及時(shí)被處理。適配完成后,所有外設(shè)觸發(fā)的中斷都能夠在系統(tǒng)下正常被處理器響應(yīng)和執(zhí)行。系統(tǒng)下打開/proc/interrupts可以查看系統(tǒng)中各設(shè)備對(duì)應(yīng)的中斷關(guān)系,并查看這些中斷的數(shù)目的變化,變化的幅度在正常范圍內(nèi)。

    為了提供更安全的地址空間分配隨機(jī)化功能(地址分配隨機(jī)化增強(qiáng)功能),需要在32位系統(tǒng)達(dá)到28-30位時(shí)隨機(jī)化,即G bytes級(jí)別;在64位系統(tǒng)要達(dá)到≥40位時(shí)隨機(jī)化,即T bytes級(jí)別。飛騰FT1500A芯片是ARM64架構(gòu),要滿足40位以上的地址空間隨機(jī)化,需要通過mmap基地址(mmap_base)映射代碼段、數(shù)據(jù)段、堆段、棧段、mmap段和匿名mmap段、vdso段。內(nèi)核在初始化mmap基地址的時(shí)候會(huì)判斷當(dāng)前內(nèi)核是否支持地址空間隨機(jī)化,若支持則會(huì)基于mmap_base 加上經(jīng)過一定處理的隨機(jī)數(shù)rnd來保證后續(xù)每次訪存得到的地址空間都隨機(jī)變化,以達(dá)到提高系統(tǒng)安全性的目的。

    適配完成的地址隨機(jī)化功能,通過終端命令“cat /proc/self/maps”,就可以查看系統(tǒng)下代碼段、數(shù)據(jù)段、堆段、棧段、mmap段和匿名mmap段、vdso段等地址空間信息。重復(fù)輸入該命令,對(duì)比可以發(fā)現(xiàn)同一地址空間(例如棧段)變動(dòng)的位數(shù),即當(dāng)前系統(tǒng)實(shí)現(xiàn)的地址空間隨機(jī)化位數(shù)。

    3 外設(shè)適配

    國產(chǎn)整機(jī)一般除了CPU上SOC集成的外設(shè)外,還會(huì)通過擴(kuò)展總線(比如PCIe總線、USB總線)擴(kuò)展其他外設(shè),這些外設(shè)主要包括網(wǎng)卡、顯卡、存儲(chǔ)設(shè)備等。

    3.1 網(wǎng)卡適配

    網(wǎng)卡適配主要是適配對(duì)應(yīng)網(wǎng)卡型號(hào)的網(wǎng)絡(luò)設(shè)備驅(qū)動(dòng),以及結(jié)合處理器和網(wǎng)卡驅(qū)動(dòng)實(shí)現(xiàn)發(fā)送和接收環(huán)的定制操作。網(wǎng)卡驅(qū)動(dòng)位于操作系統(tǒng)網(wǎng)絡(luò)協(xié)議棧的數(shù)據(jù)鏈路層,上層接收網(wǎng)絡(luò)協(xié)議中發(fā)出的數(shù)據(jù),并傳遞給網(wǎng)卡硬件,下層從網(wǎng)卡接收數(shù)據(jù),并傳遞給網(wǎng)絡(luò)協(xié)議棧。

    網(wǎng)卡適配分為四個(gè)部分,注冊(cè)網(wǎng)卡驅(qū)動(dòng)、網(wǎng)卡初始化、構(gòu)建網(wǎng)卡基本操作接口和初始化發(fā)送/接收操作接口,如圖2所示。

    圖2 網(wǎng)卡適配流程

    首先調(diào)用PCIe設(shè)備驅(qū)動(dòng)注冊(cè)函數(shù)注冊(cè)網(wǎng)卡驅(qū)動(dòng),在匹配設(shè)備ID后,調(diào)用驅(qū)動(dòng)探針函數(shù)對(duì)網(wǎng)卡進(jìn)行初始化,包括寄存器、DMA以及獲取EEPROM (Electrically Erasable Programmable Read Only Memory)等信息,接著構(gòu)建網(wǎng)卡基本操作接口,接口包括open(命令ifup對(duì)應(yīng)的內(nèi)核接口),close(命令ifdown對(duì)應(yīng)的內(nèi)核接口)等;初始化發(fā)送/接收操作,包括發(fā)送接口函數(shù)的初始化以及napi的初始化(82574網(wǎng)卡接收采用的是napi機(jī)制)以及發(fā)送接收中斷等函數(shù)接口。

    網(wǎng)卡驅(qū)動(dòng)的發(fā)送和接收流程是網(wǎng)卡適配難點(diǎn),需要結(jié)合處理器以及網(wǎng)卡驅(qū)動(dòng)實(shí)現(xiàn)發(fā)送和接收環(huán)的定制操作。以接收流程為例,每個(gè)接收描述符環(huán)含有256(size)個(gè)描述符,一個(gè)頭指針Head,一個(gè)尾指針Tail,如圖3所示。

    圖3 接受描述符環(huán)軟件結(jié)構(gòu)

    驅(qū)動(dòng)初始化的時(shí)候Head和Tail指針都是指向Base,軟件控制Tail指針,初始化一個(gè)描述符,Tail指針往后移動(dòng)一個(gè)單位,當(dāng)Tail指針移動(dòng)到Base+Size的時(shí)候重置為Base,當(dāng)軟件發(fā)現(xiàn)Tail等于Head的時(shí)候,表示當(dāng)前已經(jīng)沒有數(shù)據(jù)可供處理,需要等待網(wǎng)卡接收新的數(shù)據(jù)報(bào)文。硬件控制Head指針,網(wǎng)卡設(shè)備接收到數(shù)據(jù)包的時(shí)候,硬件移動(dòng)Head指針,當(dāng)Head指針移動(dòng)到Base+Size的時(shí)候重置為Base,當(dāng)網(wǎng)卡設(shè)備發(fā)現(xiàn)Head等于Tail的時(shí)候,表示當(dāng)前環(huán)的所有描述符都已經(jīng)被填充,說明網(wǎng)卡接收速度快于驅(qū)動(dòng)處理數(shù)據(jù)的速度,需要等待驅(qū)動(dòng)處理數(shù)據(jù)并提供新的描述符。適配需要結(jié)合處理器以及網(wǎng)卡驅(qū)動(dòng)實(shí)現(xiàn)發(fā)送和接收環(huán)的定制操作。

    3.2 顯卡適配

    顯卡是顯示設(shè)備,為計(jì)算機(jī)提供圖形渲染與圖形顯示的功能。顯卡一般由GPU、顯示控制器和顯示接口等幾部分組成。目前主流的顯卡主要有兩家廠商,ATI的A系列顯卡和英偉達(dá)的N系列顯卡,而國產(chǎn)化的顯卡在圖形加速處理能力以及產(chǎn)品成熟度上跟主流商用顯卡存在一定差距,急需解決國產(chǎn)化顯卡在圖形加速處理方面不足的問題。

    早期的3D加速處理,渲染緩沖模塊由一個(gè)屏幕前緩沖和一個(gè)屏幕后緩沖組成,所有的客戶端和服務(wù)器必須共享這個(gè)單一的緩沖區(qū),應(yīng)用程序?qū)⒅苯愉秩镜竭@個(gè)屏幕后緩沖里,然后通過等待垂直同步信號(hào)的到來再交換到屏幕前緩沖中,這種機(jī)制下在下一次渲染時(shí)需要等待當(dāng)前渲染緩沖的釋放,會(huì)帶來阻塞開銷,同時(shí)往返等待服務(wù)器發(fā)送渲染緩沖區(qū)的過程也會(huì)帶來性能損失。

    隨著單位幀內(nèi)渲染場(chǎng)景的復(fù)雜度增加,對(duì)渲染緩沖區(qū)的需求加大,現(xiàn)階段3D處理提出了一種稱為動(dòng)態(tài)多緩沖區(qū)的機(jī)制,這種機(jī)制使得每一個(gè)客戶端都使用自己私有的后緩沖,而不是使用單個(gè)共享的后緩沖??蛻舳送ㄟ^這個(gè)私有的后緩沖關(guān)聯(lián)自己的深度緩沖、模板緩沖、顏色緩沖,最后將渲染內(nèi)容拷貝到屏幕。

    該機(jī)制重新定義了一個(gè)與當(dāng)前應(yīng)用客戶端關(guān)聯(lián)的緩沖區(qū)池,當(dāng)前應(yīng)用需要緩沖區(qū)進(jìn)行渲染時(shí)就會(huì)在該緩沖區(qū)池中獲取一個(gè)新的緩存,通過輪詢?cè)摼彌_區(qū)池中的每一個(gè)緩存,找到一個(gè)空閑的緩沖區(qū)。

    動(dòng)態(tài)多緩沖區(qū)機(jī)制的實(shí)現(xiàn)由原來一個(gè)緩沖增加到現(xiàn)在的一個(gè)緩沖池。一個(gè)渲染客戶端可以擁有一個(gè)或多個(gè)緩沖區(qū),這些緩沖區(qū)的生命周期就是當(dāng)前渲染上下文的生命周期。一旦當(dāng)前渲染上下文銷毀后,該緩沖池中的每一個(gè)緩存將被釋放。

    合理分配緩沖區(qū)池中緩存的數(shù)量,盡量避免3D引擎主動(dòng)向服務(wù)器端輪詢消息事件,有效控制往返等待消息事件的時(shí)間,使得渲染過程不會(huì)因?yàn)樯暾?qǐng)緩存的時(shí)間開銷而增大渲染周期,給圖形渲染帶來性能損失。經(jīng)過不同場(chǎng)景下對(duì)圖形性能的測(cè)試發(fā)現(xiàn),緩沖池中的緩存數(shù)量保持在2~3個(gè)為最佳。

    3.3 存儲(chǔ)設(shè)備適配

    存儲(chǔ)設(shè)備是指存儲(chǔ)控制器,為計(jì)算機(jī)提供訪問外存的控制設(shè)備。存儲(chǔ)包括許多不同的種類,SATA(Serial Advanced Technology Attachment)控制器用于擴(kuò)展SATA磁盤,RAID(Redundant Array of Independent Disk)控制器用來搭建RAID,光纖控制器用來擴(kuò)展ISCSI(Internet Small Computer System Interface)磁盤陣列等。存儲(chǔ)設(shè)備驅(qū)動(dòng)位于IO棧的底層,其上層是通用塊設(shè)備層,下層就是具體的存儲(chǔ)設(shè)備。存儲(chǔ)設(shè)備驅(qū)動(dòng)接收來自通用塊設(shè)備層的IO請(qǐng)求,根據(jù)IO請(qǐng)求的內(nèi)容和方向,發(fā)送數(shù)據(jù)給磁盤或從磁盤讀取數(shù)據(jù)傳遞給上層。

    SCSI實(shí)現(xiàn)了一種客戶機(jī)/服務(wù)器風(fēng)格的通信架構(gòu)。發(fā)起者向目標(biāo)設(shè)備發(fā)送命令請(qǐng)求,該目標(biāo)處理此請(qǐng)求并向發(fā)起者返回響應(yīng)。發(fā)起者可以是托管計(jì)算機(jī)中的一個(gè)SCSI設(shè)備,而SCSI目標(biāo)則可以是一個(gè)磁盤、光盤和磁帶設(shè)備或特殊設(shè)備(比如箱體設(shè)備)。

    目前,國產(chǎn)平臺(tái)選用的SATA控制器對(duì)命令的支持程度是有局限性的,有一些SCSI命令無法被硬件所識(shí)別并響應(yīng),特別是針對(duì)光驅(qū)的一些命令,如讀取光盤信息等,這就導(dǎo)致了刻錄光盤時(shí)無法得到空光盤的信息,進(jìn)而無法刻錄等一系列問題。因此,存儲(chǔ)設(shè)備適配重點(diǎn)解決SATA控制器對(duì)SCSI命令無法被硬件識(shí)別的問題。為此,首先找到無法被識(shí)別的SCSI命令,并根據(jù)SCSI命令手冊(cè)找到這些命令的作用。然后,把無法識(shí)別的命令在驅(qū)動(dòng)命令服務(wù)層中進(jìn)行截流改造,如圖4所示,讓硬件可以正常返回。

    圖4 系統(tǒng)命令服務(wù)邏輯框架

    3.4 RTC驅(qū)動(dòng)模塊適配

    國產(chǎn)平臺(tái)主要采用DS1339型號(hào)的RTC芯片[16],掛載在I2C0總線下,其作用是為操作系統(tǒng)提供可靠的時(shí)間,當(dāng)系統(tǒng)處于關(guān)機(jī)的情況下,RTC記錄操作系統(tǒng)時(shí)間,并可在電池供電情況下繼續(xù)正常工作,當(dāng)系統(tǒng)正常啟動(dòng)后,系統(tǒng)可從RTC讀取時(shí)間信息,來確保關(guān)機(jī)到開機(jī)后時(shí)間運(yùn)行連續(xù)性。

    為了實(shí)現(xiàn)系統(tǒng)對(duì)RTC時(shí)間的讀寫操作,需要構(gòu)建基于DS1339芯片的RTC驅(qū)動(dòng)模型,并且實(shí)現(xiàn)對(duì)RTC接口的封裝以及文件系統(tǒng)下設(shè)備節(jié)點(diǎn)的創(chuàng)建。用戶可以通過操作系統(tǒng)中的設(shè)備節(jié)點(diǎn)來實(shí)現(xiàn)讀寫RTC時(shí)間,具體驅(qū)動(dòng)設(shè)計(jì)框架如圖5所示。

    圖5 RTC驅(qū)動(dòng)設(shè)計(jì)框架

    主要工作針對(duì)圖5中的內(nèi)核空間部分展開。首先,進(jìn)行設(shè)備驅(qū)動(dòng)的注冊(cè)和初始化工作,包括根據(jù)數(shù)據(jù)手冊(cè)對(duì)DS1339芯片寄存器的初始化;其次,創(chuàng)建設(shè)備文件節(jié)點(diǎn),通過class封裝函數(shù)分別在文件系統(tǒng)下創(chuàng)建sys文件節(jié)點(diǎn),proc文件節(jié)點(diǎn),dev設(shè)備節(jié)點(diǎn);最后,針對(duì)設(shè)備文件節(jié)點(diǎn)的操作函數(shù)接口封裝,讓用戶通過操作相應(yīng)的設(shè)備文件節(jié)點(diǎn)就可以完成對(duì)RTC的讀寫。

    由于每次將時(shí)間寫入RTC芯片的過程中會(huì)產(chǎn)生一個(gè)時(shí)間延遲漂移,根據(jù)各芯片特性不同漂移系數(shù)會(huì)有差別,這是一個(gè)隱性問題,比較難以發(fā)現(xiàn)。在操作系統(tǒng)的關(guān)機(jī)過程中,會(huì)有一次將系統(tǒng)時(shí)間寫入RTC的操作,在系統(tǒng)開機(jī)加電時(shí)再將RTC時(shí)間讀出,寫入系統(tǒng)時(shí)間。故而在重啟一定次數(shù)后,系統(tǒng)時(shí)間將會(huì)產(chǎn)生比較大的誤差,原因是漂移延遲進(jìn)行了累加。解決辦法是在寫入RTC過程中加上該芯片的漂移系數(shù)。

    適配完成的RTC驅(qū)動(dòng),可以通過date命令設(shè)置當(dāng)前系統(tǒng)時(shí)間,通過命令hwclock -w將系統(tǒng)時(shí)間寫入RTC芯片,通過命令hwclock -r讀取當(dāng)前RTC時(shí)間,通過命令hwclock -s將RTC時(shí)間覆蓋系統(tǒng)時(shí)間,觀察是否正確。

    4 測(cè)試驗(yàn)證

    為了對(duì)上述適配方案進(jìn)行驗(yàn)證,采用銀河麒麟操作系統(tǒng)在鯤鵬服務(wù)器上進(jìn)行,其測(cè)試驗(yàn)證平臺(tái)的軟硬件配置如表1所示。

    表1 測(cè)試驗(yàn)證環(huán)境配置

    測(cè)試驗(yàn)證的內(nèi)容主要針對(duì)麒麟操作系統(tǒng)通過上面的適配方案在鯤鵬服務(wù)器上適配后,其固件、處理器、外設(shè)等是否適配成功,即相關(guān)的固件、處理器、外設(shè)是否能夠正常使用。

    測(cè)試方法主要是輸入與適配部件相關(guān)的命令,如果能夠正常查看并使用相關(guān)部件,可以認(rèn)為適配成功并能正常使用,相關(guān)測(cè)試內(nèi)容及結(jié)果如表2所示。

    表2 適配測(cè)試及結(jié)果

    同時(shí),通過表3所示的48小時(shí)穩(wěn)定性測(cè)試,來檢驗(yàn)適配后的服務(wù)器是否能穩(wěn)定運(yùn)行。

    表3 穩(wěn)定性測(cè)試結(jié)果

    測(cè)試驗(yàn)證結(jié)果表明,銀河麒麟服務(wù)器操作系統(tǒng)V10在TaiShan200-2280v2服務(wù)器上適配成功,能滿足正常使用需求。

    5 結(jié)束語

    建設(shè)國產(chǎn)計(jì)算平臺(tái)是信創(chuàng)建設(shè)的基礎(chǔ),是實(shí)現(xiàn)國家關(guān)鍵領(lǐng)域國產(chǎn)化替代的關(guān)鍵環(huán)節(jié),它首先需要解決國產(chǎn)操作系統(tǒng)在國產(chǎn)服務(wù)器上的適配。針對(duì)銀河麒麟在國產(chǎn)ARM服務(wù)器上的適配問題,該文從固件、處理器、網(wǎng)卡、顯卡、外部存儲(chǔ)、時(shí)鐘等方面詳細(xì)闡述,測(cè)試驗(yàn)證結(jié)果表明,該適配方案能夠很好地滿足國產(chǎn)操作系統(tǒng)對(duì)國產(chǎn)ARM服務(wù)器的適配。

    下一步將基于國產(chǎn)計(jì)算平臺(tái)建設(shè)基于AL平臺(tái)的國產(chǎn)計(jì)算生態(tài),重點(diǎn)在數(shù)據(jù)庫、中間件、關(guān)鍵行業(yè)應(yīng)用軟件等方面進(jìn)行遷移適配。針對(duì)國產(chǎn)昇騰AI芯片,下一步也將做相應(yīng)的適配,滿足國內(nèi)日益增長(zhǎng)的人工智能計(jì)算需求。通過一系列的數(shù)據(jù)庫、中間件、應(yīng)用軟件適配,希望豐富壯大國產(chǎn)計(jì)算生態(tài),有力解決當(dāng)前關(guān)鍵技術(shù)受制于人的被動(dòng)局面。

    猜你喜歡
    外設(shè)固件網(wǎng)卡
    在DDS 中間件上實(shí)現(xiàn)雙冗余網(wǎng)卡切換的方法
    Server 2016網(wǎng)卡組合模式
    基于固件的遠(yuǎn)程身份認(rèn)證
    挑戰(zhàn)Killer網(wǎng)卡Realtek網(wǎng)游專用Dragon網(wǎng)卡
    提取ROM固件中的APP
    電腦愛好者(2015年7期)2015-04-09 08:54:02
    一種通過USB接口的可靠固件升級(jí)技術(shù)
    Microchip推出具備雙ADC外設(shè)的全新器件,擴(kuò)展其低成本8位PIC?單片機(jī)產(chǎn)品線
    奧林巴斯XZ—2新固件升級(jí)
    中國攝影(2014年1期)2014-02-24 01:50:23
    貼身呵護(hù) 必不可少的PSP外設(shè)
    外設(shè)天地行情
    国产一级毛片七仙女欲春2 | 亚洲色图 男人天堂 中文字幕| 天天躁夜夜躁狠狠躁躁| 一级毛片精品| av福利片在线| 极品教师在线免费播放| 午夜福利一区二区在线看| 伦理电影免费视频| 18禁国产床啪视频网站| 国产精品永久免费网站| 日韩欧美一区二区三区在线观看| 高清在线国产一区| 他把我摸到了高潮在线观看| 一本精品99久久精品77| 久久精品夜夜夜夜夜久久蜜豆 | avwww免费| www.熟女人妻精品国产| 久久天堂一区二区三区四区| 国产片内射在线| 亚洲精品色激情综合| 久久青草综合色| 久久久久久国产a免费观看| 热re99久久国产66热| 久久中文字幕人妻熟女| 亚洲va日本ⅴa欧美va伊人久久| 最近最新中文字幕大全免费视频| 国产乱人伦免费视频| 久久久久国内视频| 久久婷婷成人综合色麻豆| 久99久视频精品免费| 国产三级在线视频| 成年女人毛片免费观看观看9| 一区福利在线观看| 欧美国产日韩亚洲一区| 欧美激情 高清一区二区三区| 国内精品久久久久精免费| 欧美性猛交黑人性爽| 欧美乱色亚洲激情| 亚洲av熟女| 亚洲五月色婷婷综合| 桃红色精品国产亚洲av| 精品电影一区二区在线| 成人国语在线视频| 久久精品国产亚洲av香蕉五月| 久久午夜综合久久蜜桃| 亚洲国产欧洲综合997久久, | 国内揄拍国产精品人妻在线 | 在线观看66精品国产| 少妇 在线观看| 制服诱惑二区| 女人高潮潮喷娇喘18禁视频| 精品午夜福利视频在线观看一区| 草草在线视频免费看| 两个人看的免费小视频| 亚洲中文av在线| 日韩国内少妇激情av| 日本 欧美在线| 欧美一区二区精品小视频在线| 夜夜夜夜夜久久久久| 99re在线观看精品视频| 最近最新中文字幕大全电影3 | 亚洲精品中文字幕一二三四区| 午夜两性在线视频| 国产国语露脸激情在线看| 亚洲国产精品sss在线观看| 国产片内射在线| 成人免费观看视频高清| 成人国产综合亚洲| 1024手机看黄色片| 欧美av亚洲av综合av国产av| 久久人妻av系列| 俄罗斯特黄特色一大片| 变态另类成人亚洲欧美熟女| 亚洲人成电影免费在线| 无遮挡黄片免费观看| 亚洲天堂国产精品一区在线| 天天添夜夜摸| 日本成人三级电影网站| 可以在线观看的亚洲视频| 国产不卡一卡二| 久久 成人 亚洲| 亚洲第一电影网av| 怎么达到女性高潮| 成人18禁在线播放| 99久久精品国产亚洲精品| 午夜免费激情av| 欧美成人性av电影在线观看| 村上凉子中文字幕在线| 日本一本二区三区精品| 99久久无色码亚洲精品果冻| 久久欧美精品欧美久久欧美| 久久国产精品人妻蜜桃| 亚洲一码二码三码区别大吗| 韩国精品一区二区三区| 91大片在线观看| 18禁美女被吸乳视频| 欧美一区二区精品小视频在线| 在线观看免费视频日本深夜| 精品国产超薄肉色丝袜足j| 老熟妇乱子伦视频在线观看| netflix在线观看网站| 黄片播放在线免费| 欧美日韩亚洲国产一区二区在线观看| 亚洲成a人片在线一区二区| 久久久久久大精品| 老汉色∧v一级毛片| 伦理电影免费视频| 亚洲av熟女| 亚洲自拍偷在线| 真人做人爱边吃奶动态| 给我免费播放毛片高清在线观看| 精华霜和精华液先用哪个| 人人妻人人看人人澡| 午夜精品在线福利| 国产精品久久久人人做人人爽| 91九色精品人成在线观看| 1024手机看黄色片| 亚洲成人国产一区在线观看| 亚洲国产精品合色在线| 国产97色在线日韩免费| 美女高潮到喷水免费观看| 亚洲熟女毛片儿| 一卡2卡三卡四卡精品乱码亚洲| 亚洲熟女毛片儿| 欧美日韩一级在线毛片| 国产精品免费一区二区三区在线| 欧美激情久久久久久爽电影| 欧美丝袜亚洲另类 | 亚洲国产精品合色在线| 老司机午夜十八禁免费视频| 国产av不卡久久| 一区二区三区激情视频| 国产久久久一区二区三区| 亚洲欧美一区二区三区黑人| 日韩精品青青久久久久久| 免费观看精品视频网站| 中国美女看黄片| 男女做爰动态图高潮gif福利片| 在线十欧美十亚洲十日本专区| 中文字幕精品亚洲无线码一区 | 性色av乱码一区二区三区2| 此物有八面人人有两片| 啦啦啦韩国在线观看视频| 在线观看免费日韩欧美大片| 国产免费av片在线观看野外av| 天天一区二区日本电影三级| 久久久久久亚洲精品国产蜜桃av| a级毛片a级免费在线| 大型黄色视频在线免费观看| 欧美一级a爱片免费观看看 | 成在线人永久免费视频| 久久精品人妻少妇| 国产精品野战在线观看| 午夜精品久久久久久毛片777| 欧美黄色片欧美黄色片| 一边摸一边做爽爽视频免费| 亚洲欧洲精品一区二区精品久久久| 一级片免费观看大全| 男女做爰动态图高潮gif福利片| 白带黄色成豆腐渣| 亚洲精品国产一区二区精华液| 久久精品国产亚洲av高清一级| 亚洲美女黄片视频| 久久精品国产综合久久久| 免费在线观看成人毛片| 日韩视频一区二区在线观看| 亚洲真实伦在线观看| 午夜日韩欧美国产| 99热6这里只有精品| 俄罗斯特黄特色一大片| 亚洲成人精品中文字幕电影| 老司机深夜福利视频在线观看| 国产精品亚洲av一区麻豆| 午夜亚洲福利在线播放| 国产一区在线观看成人免费| 美女国产高潮福利片在线看| 熟女少妇亚洲综合色aaa.| 亚洲黑人精品在线| 亚洲精品久久成人aⅴ小说| 亚洲色图av天堂| 亚洲精品一卡2卡三卡4卡5卡| 麻豆久久精品国产亚洲av| 日韩 欧美 亚洲 中文字幕| 99精品欧美一区二区三区四区| 久久久久久免费高清国产稀缺| 欧美最黄视频在线播放免费| 99热6这里只有精品| 国产伦人伦偷精品视频| 国产一卡二卡三卡精品| 99国产综合亚洲精品| 丝袜美腿诱惑在线| 久久精品国产亚洲av高清一级| 久久亚洲真实| 又大又爽又粗| 可以在线观看的亚洲视频| 两个人视频免费观看高清| 国产91精品成人一区二区三区| 欧美一区二区精品小视频在线| 一本综合久久免费| 午夜久久久在线观看| 国产色视频综合| 亚洲性夜色夜夜综合| 亚洲av第一区精品v没综合| 97人妻精品一区二区三区麻豆 | 国产一区二区三区视频了| 国产乱人伦免费视频| 天天躁狠狠躁夜夜躁狠狠躁| 男女做爰动态图高潮gif福利片| 日韩欧美三级三区| 女性生殖器流出的白浆| 午夜亚洲福利在线播放| 最近最新免费中文字幕在线| 在线观看免费午夜福利视频| 久久精品国产亚洲av高清一级| 亚洲久久久国产精品| 村上凉子中文字幕在线| 中文亚洲av片在线观看爽| 热re99久久国产66热| 亚洲国产精品久久男人天堂| 日本一区二区免费在线视频| 两个人视频免费观看高清| 亚洲久久久国产精品| 亚洲国产精品sss在线观看| 亚洲熟女毛片儿| 女人爽到高潮嗷嗷叫在线视频| 亚洲国产精品久久男人天堂| 日韩有码中文字幕| 日日干狠狠操夜夜爽| 中文字幕人妻丝袜一区二区| 国产男靠女视频免费网站| 黑人巨大精品欧美一区二区mp4| 99国产精品99久久久久| 欧美中文综合在线视频| 久99久视频精品免费| 亚洲国产精品成人综合色| 国产精品九九99| 久久精品夜夜夜夜夜久久蜜豆 | 两人在一起打扑克的视频| 狠狠狠狠99中文字幕| 久久精品影院6| 日韩精品免费视频一区二区三区| 中文字幕人妻丝袜一区二区| 天天躁狠狠躁夜夜躁狠狠躁| 不卡一级毛片| 超碰成人久久| 我的亚洲天堂| 色综合欧美亚洲国产小说| 中文字幕人妻熟女乱码| 亚洲黑人精品在线| 成人亚洲精品一区在线观看| 丰满的人妻完整版| av天堂在线播放| 日本黄色视频三级网站网址| 欧美国产精品va在线观看不卡| 亚洲第一电影网av| 麻豆av在线久日| 日韩欧美免费精品| 中文字幕人妻丝袜一区二区| 国产又色又爽无遮挡免费看| 日韩精品青青久久久久久| 夜夜看夜夜爽夜夜摸| 亚洲专区字幕在线| 怎么达到女性高潮| 丰满人妻熟妇乱又伦精品不卡| 国内精品久久久久久久电影| 久久性视频一级片| av视频在线观看入口| 国产一区二区激情短视频| 日韩欧美一区视频在线观看| 99国产极品粉嫩在线观看| 日韩中文字幕欧美一区二区| 日韩国内少妇激情av| 看片在线看免费视频| 观看免费一级毛片| 国产成人啪精品午夜网站| 亚洲免费av在线视频| 久久久国产成人免费| 丝袜人妻中文字幕| 男女之事视频高清在线观看| 欧美性猛交黑人性爽| 国产欧美日韩精品亚洲av| 国产免费av片在线观看野外av| 欧美av亚洲av综合av国产av| www.自偷自拍.com| 在线观看www视频免费| 国产精品98久久久久久宅男小说| 国产成+人综合+亚洲专区| 看黄色毛片网站| 在线观看66精品国产| 一本大道久久a久久精品| 丁香六月欧美| 两个人看的免费小视频| 亚洲avbb在线观看| 性欧美人与动物交配| 很黄的视频免费| 操出白浆在线播放| 制服诱惑二区| 亚洲五月婷婷丁香| 亚洲五月天丁香| 国产成人精品无人区| 国产精品av久久久久免费| 色综合站精品国产| 国产一区二区激情短视频| 十八禁网站免费在线| 国产成年人精品一区二区| 在线永久观看黄色视频| 久久精品国产亚洲av香蕉五月| 满18在线观看网站| 国产高清videossex| 欧美绝顶高潮抽搐喷水| 少妇粗大呻吟视频| 欧美午夜高清在线| 日本免费a在线| 18禁黄网站禁片午夜丰满| 女人被狂操c到高潮| 欧美一级毛片孕妇| 99久久综合精品五月天人人| 可以免费在线观看a视频的电影网站| 久久草成人影院| 人妻久久中文字幕网| 两人在一起打扑克的视频| 亚洲国产精品成人综合色| 亚洲中文av在线| 91麻豆精品激情在线观看国产| 亚洲第一青青草原| 99精品欧美一区二区三区四区| 亚洲成av片中文字幕在线观看| 亚洲久久久国产精品| 欧美乱妇无乱码| 精品卡一卡二卡四卡免费| 欧美一区二区精品小视频在线| 99热只有精品国产| 18美女黄网站色大片免费观看| 欧美一级毛片孕妇| 色播在线永久视频| 18禁观看日本| 嫩草影院精品99| 大型av网站在线播放| 日韩高清综合在线| 又大又爽又粗| 久久久国产欧美日韩av| 欧美又色又爽又黄视频| 亚洲成人精品中文字幕电影| 精品国产一区二区三区四区第35| 男女做爰动态图高潮gif福利片| 宅男免费午夜| 免费高清视频大片| 欧美性猛交黑人性爽| 免费观看人在逋| 久久亚洲真实| 午夜精品在线福利| 99热6这里只有精品| 色综合欧美亚洲国产小说| 天堂影院成人在线观看| 啦啦啦韩国在线观看视频| 欧美日本视频| 欧美国产精品va在线观看不卡| 国语自产精品视频在线第100页| 日本黄色视频三级网站网址| 18禁观看日本| 国产真人三级小视频在线观看| 黄色女人牲交| 久久香蕉国产精品| 一夜夜www| 大香蕉久久成人网| 欧美日韩福利视频一区二区| 免费在线观看亚洲国产| 一卡2卡三卡四卡精品乱码亚洲| 国产又黄又爽又无遮挡在线| 一区二区三区国产精品乱码| 757午夜福利合集在线观看| 欧美成人午夜精品| 久久久久久人人人人人| 国产野战对白在线观看| 黄色女人牲交| 视频区欧美日本亚洲| 少妇裸体淫交视频免费看高清 | 久久精品91蜜桃| 免费看a级黄色片| 国产主播在线观看一区二区| 国产av不卡久久| av视频在线观看入口| 成年人黄色毛片网站| 成年免费大片在线观看| 国产片内射在线| 在线国产一区二区在线| 亚洲一区中文字幕在线| 欧美亚洲日本最大视频资源| 免费看a级黄色片| 国产私拍福利视频在线观看| 亚洲人成77777在线视频| 老鸭窝网址在线观看| 亚洲av五月六月丁香网| 黄色 视频免费看| 波多野结衣av一区二区av| 日韩欧美三级三区| 91av网站免费观看| 午夜免费激情av| 久久久国产成人精品二区| 人人澡人人妻人| 又黄又粗又硬又大视频| 亚洲一区二区三区色噜噜| 97人妻精品一区二区三区麻豆 | 日韩欧美免费精品| 欧美乱妇无乱码| 婷婷丁香在线五月| 丁香六月欧美| 黑人巨大精品欧美一区二区mp4| av中文乱码字幕在线| 美女高潮喷水抽搐中文字幕| а√天堂www在线а√下载| 色精品久久人妻99蜜桃| 日韩一卡2卡3卡4卡2021年| 久久人妻av系列| 岛国在线观看网站| 日韩欧美国产一区二区入口| 亚洲激情在线av| 狠狠狠狠99中文字幕| 国产麻豆成人av免费视频| 亚洲欧洲精品一区二区精品久久久| 好看av亚洲va欧美ⅴa在| 欧美亚洲日本最大视频资源| av在线播放免费不卡| 久久久久久久午夜电影| 久久久久九九精品影院| 精品久久蜜臀av无| 精品高清国产在线一区| 动漫黄色视频在线观看| 国产精品香港三级国产av潘金莲| 欧美性猛交黑人性爽| 久久性视频一级片| 法律面前人人平等表现在哪些方面| 亚洲中文日韩欧美视频| 国产99白浆流出| 男女做爰动态图高潮gif福利片| 丝袜美腿诱惑在线| 一进一出抽搐动态| 精品一区二区三区av网在线观看| 白带黄色成豆腐渣| 天天躁狠狠躁夜夜躁狠狠躁| 色综合站精品国产| 两性夫妻黄色片| 精品久久久久久久久久久久久 | 亚洲 欧美 日韩 在线 免费| av在线播放免费不卡| 91av网站免费观看| 精品一区二区三区四区五区乱码| 中文字幕久久专区| 欧美一区二区精品小视频在线| 精品不卡国产一区二区三区| 国产一区在线观看成人免费| 亚洲性夜色夜夜综合| 无人区码免费观看不卡| 欧美久久黑人一区二区| 国产男靠女视频免费网站| 最近在线观看免费完整版| 成年版毛片免费区| 黄色视频不卡| 人妻久久中文字幕网| 国产成人欧美| 一夜夜www| 黄色a级毛片大全视频| 国产亚洲精品第一综合不卡| 男女视频在线观看网站免费 | 性欧美人与动物交配| 一本综合久久免费| 午夜福利18| 搡老妇女老女人老熟妇| 精品欧美一区二区三区在线| 欧美国产精品va在线观看不卡| 美女大奶头视频| 欧美成人性av电影在线观看| 亚洲第一欧美日韩一区二区三区| 老司机深夜福利视频在线观看| 无遮挡黄片免费观看| 91av网站免费观看| 国产v大片淫在线免费观看| 国产免费男女视频| 成人三级黄色视频| 成人午夜高清在线视频 | 少妇粗大呻吟视频| av有码第一页| 免费在线观看亚洲国产| 女人爽到高潮嗷嗷叫在线视频| 最好的美女福利视频网| 久久中文字幕人妻熟女| www国产在线视频色| 国产精品乱码一区二三区的特点| 99re在线观看精品视频| 一个人观看的视频www高清免费观看 | 亚洲欧美精品综合一区二区三区| av欧美777| 日韩大码丰满熟妇| 淫妇啪啪啪对白视频| 每晚都被弄得嗷嗷叫到高潮| 在线天堂中文资源库| 国产成人av教育| 亚洲国产欧美网| 久久久国产欧美日韩av| 欧美成人性av电影在线观看| 日本三级黄在线观看| 亚洲成人免费电影在线观看| www.999成人在线观看| bbb黄色大片| 无限看片的www在线观看| 国产一区在线观看成人免费| 国产精品久久视频播放| 久久久久久久久免费视频了| 999精品在线视频| 久久久久久久午夜电影| 性欧美人与动物交配| 亚洲色图av天堂| 欧美黄色片欧美黄色片| 99在线视频只有这里精品首页| 99国产精品99久久久久| 欧美av亚洲av综合av国产av| 男女视频在线观看网站免费 | 精品无人区乱码1区二区| 国产免费男女视频| 黄色女人牲交| 99精品久久久久人妻精品| 女人爽到高潮嗷嗷叫在线视频| 国产一区在线观看成人免费| 18美女黄网站色大片免费观看| 亚洲 欧美一区二区三区| 亚洲美女黄片视频| 1024视频免费在线观看| 欧美最黄视频在线播放免费| 亚洲美女黄片视频| 久久久久国内视频| 亚洲精品av麻豆狂野| 亚洲 国产 在线| 精品国产美女av久久久久小说| 国产色视频综合| 亚洲第一电影网av| 一级a爱视频在线免费观看| 欧美激情极品国产一区二区三区| 亚洲成国产人片在线观看| 欧美成人午夜精品| 精品久久久久久久毛片微露脸| 国产精品久久电影中文字幕| 99久久久亚洲精品蜜臀av| 叶爱在线成人免费视频播放| 精品久久久久久久久久久久久 | 一a级毛片在线观看| 国产熟女午夜一区二区三区| 免费在线观看视频国产中文字幕亚洲| 国产一卡二卡三卡精品| 免费在线观看亚洲国产| 久久国产精品影院| 嫩草影院精品99| 中文在线观看免费www的网站 | 午夜激情av网站| 色综合站精品国产| 色尼玛亚洲综合影院| 日韩精品青青久久久久久| 亚洲五月天丁香| 91在线观看av| 欧美黄色片欧美黄色片| 国产单亲对白刺激| 久久婷婷成人综合色麻豆| 狠狠狠狠99中文字幕| 欧美最黄视频在线播放免费| 国产又色又爽无遮挡免费看| 久99久视频精品免费| 亚洲精品一卡2卡三卡4卡5卡| 久久国产乱子伦精品免费另类| a在线观看视频网站| av电影中文网址| 十八禁网站免费在线| www.精华液| 人人妻人人澡欧美一区二区| 啪啪无遮挡十八禁网站| 99久久99久久久精品蜜桃| 欧美激情 高清一区二区三区| 中文字幕精品亚洲无线码一区 | 午夜视频精品福利| 18禁美女被吸乳视频| 真人做人爱边吃奶动态| 久久99热这里只有精品18| 欧美日韩一级在线毛片| 一二三四在线观看免费中文在| 欧美日韩亚洲综合一区二区三区_| 人人澡人人妻人| 日本 av在线| 女人被狂操c到高潮| 国产99白浆流出| cao死你这个sao货| 在线观看舔阴道视频| 国产黄a三级三级三级人| 欧美乱码精品一区二区三区| 99久久无色码亚洲精品果冻| 亚洲欧美精品综合一区二区三区| 视频在线观看一区二区三区| 欧美绝顶高潮抽搐喷水| 久久久国产精品麻豆| 欧美一级a爱片免费观看看 | 亚洲国产欧美日韩在线播放| 亚洲国产欧美一区二区综合| 91九色精品人成在线观看| 哪里可以看免费的av片| 久久人妻av系列| 国产精品久久久人人做人人爽| 久久精品国产99精品国产亚洲性色| 亚洲专区中文字幕在线| 欧美成狂野欧美在线观看| 久热爱精品视频在线9| 中文字幕另类日韩欧美亚洲嫩草| 久久 成人 亚洲| 亚洲精品美女久久久久99蜜臀| 欧美另类亚洲清纯唯美| 亚洲真实伦在线观看| 美女 人体艺术 gogo| 国内少妇人妻偷人精品xxx网站 | 日韩欧美一区视频在线观看|