• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向航天應(yīng)用的對象存儲系統(tǒng)設(shè)計

    2021-04-14 03:09:42宮永生呂從民曹素芝
    載人航天 2021年1期
    關(guān)鍵詞:數(shù)據(jù)備份存儲設(shè)備存儲系統(tǒng)

    宮永生,呂從民,曹素芝

    (1.中國科學院空間應(yīng)用工程與技術(shù)中心,北京100094;2.中國科學院大學,北京100049)

    1 引言

    隨著太空探索逐步深入,空間應(yīng)用的規(guī)模大幅擴展,相應(yīng)地出現(xiàn)了載人空間站等大型飛行器及低軌互聯(lián)網(wǎng)衛(wèi)星星座等空間應(yīng)用形態(tài),且未來會向著月球基地、火星基地以及更深遠的太空進一步拓展。空間應(yīng)用的擴展對空間信息系統(tǒng)的發(fā)展提出了新的要求,空間信息系統(tǒng)的架構(gòu)走向以組網(wǎng)為基礎(chǔ)分布式形態(tài),包括飛行器內(nèi)部基于有線網(wǎng)絡(luò)的分布式存儲和處理以及多個飛行器間的空間無線網(wǎng)絡(luò)分布式信息存儲和處理。空間信息系統(tǒng)架構(gòu)的演進意味著必須考慮如何在空間部署分布式存儲系統(tǒng),以滿足未來空間應(yīng)用的需求。

    對象存儲系統(tǒng)通過創(chuàng)新性的分布式架構(gòu)設(shè)計,解決了資源共享、超高速存儲、海量存儲、高可靠、可擴展等數(shù)據(jù)存儲系統(tǒng)面臨的難題,在地面大規(guī)模數(shù)據(jù)存儲系統(tǒng)中獲得廣泛應(yīng)用。國際互聯(lián)網(wǎng)工程任務(wù)組(Internet Engineering Task Force,IETF)于2010年正式發(fā)布了并行文件系統(tǒng)(parallel Network File System,pNFS)標準,在傳統(tǒng)的網(wǎng)絡(luò)文件系統(tǒng)NFS基礎(chǔ)上添加對于分布式存儲系統(tǒng)的支持,同時支持對象存儲、塊存儲和文件存儲設(shè)備3種類型。針對對象存儲設(shè)備,pNFS定義了分布式對象存儲的基本架構(gòu),但并未詳細規(guī)定具體的分布式控制協(xié)議、存儲協(xié)議以及系統(tǒng)數(shù)據(jù)備份策略等內(nèi)容。由美國能源部資助開發(fā)的開源對象存儲系統(tǒng)Lustre在超大規(guī)模和超高性能服務(wù)集群中獲得廣泛應(yīng)用,在系統(tǒng)規(guī)模、性能和可靠性方面表現(xiàn)優(yōu)異,但系統(tǒng)設(shè)計復雜度極高。面向極致性能、可靠性和可擴展性而設(shè)計的統(tǒng)一對象存儲系統(tǒng)Ceph則在OpenStack社區(qū)獲得了相當廣泛的使用,其采用名為CRUSH(Controlled Replication Under Scalable Hashing)的算法計算數(shù)據(jù)對象的存儲位置,替代傳統(tǒng)元數(shù)據(jù)索引管理方式,提升了元數(shù)據(jù)服務(wù)器性能,以算代存是很巧妙的問題解決思路,但是需要客戶端具有較強計算能力支持。

    對象存儲系統(tǒng)能夠解決未來空間應(yīng)用數(shù)據(jù)存儲的大規(guī)模、高可靠、可擴展等關(guān)鍵需求,但是也面臨一些設(shè)計挑戰(zhàn),突出體現(xiàn)在兩方面:①空間設(shè)備的體積、重量、功耗(Size,Weight,and Power,SWaP)約束要遠遠比地面嚴苛,對象存儲系統(tǒng)架構(gòu)及協(xié)議設(shè)計上需充分優(yōu)化,降低系統(tǒng)SwaP,特別是用戶端的協(xié)議設(shè)計應(yīng)盡可能簡單。②空間應(yīng)用數(shù)據(jù)具有特殊性,數(shù)據(jù)的產(chǎn)生、表征、傳輸?shù)燃扔袇f(xié)議需要兼容,數(shù)據(jù)在軌存儲模式與地面互聯(lián)網(wǎng)應(yīng)用相比也有很大的不同,空間數(shù)據(jù)存儲系統(tǒng)設(shè)計需進行針對性考慮。

    本文針對航天應(yīng)用數(shù)據(jù)存儲的需求,首先研究空間應(yīng)用的數(shù)據(jù)特征及其對象化表征方式;然后在此基礎(chǔ)上綜合考慮空間設(shè)備體積、重量、功耗等特定的約束條件,設(shè)計輕量化空間應(yīng)用對象存儲系統(tǒng)架構(gòu)及相關(guān)協(xié)議,并探討系統(tǒng)中數(shù)據(jù)備份等關(guān)鍵策略設(shè)計;最后給出系統(tǒng)實現(xiàn)及驗證情況,對后續(xù)研究提供借鑒。

    2 基于CCSDS航天應(yīng)用數(shù)據(jù)對象化定義

    對象存儲系統(tǒng)中的對象是數(shù)據(jù)的一種邏輯組織形式,對象特征通過對象屬性來描述。航天應(yīng)用數(shù)據(jù)對象的建立除了需要表征航天應(yīng)用數(shù)據(jù)的特征之外,還需考慮數(shù)據(jù)對象后續(xù)存儲及處理的使用模式,特別是在基于網(wǎng)絡(luò)的對象存儲系統(tǒng)中,對象數(shù)據(jù)的格式定義對于系統(tǒng)設(shè)計有很大影響。

    航天應(yīng)用數(shù)據(jù)一般按照CCSDS(Consultative Committee for Space Data Systems)定義的數(shù)據(jù)格式進行描述,本文在不更改CCSDS協(xié)議的前提下,對CCSDS的字段進行部分擴展,以反映空間應(yīng)用數(shù)據(jù)的特征,同時考慮數(shù)據(jù)對象分布式存儲需求。

    CCSDS空間數(shù)據(jù)包協(xié)議(Space Packet Protocol,SPP)定義了空間應(yīng)用的數(shù)據(jù)格式,滿足星間、星地等空間鏈路上的空間用戶數(shù)據(jù)傳輸需求,是傳輸鏈路層和用戶應(yīng)用之間的橋梁性協(xié)議。SPP協(xié)議定義的標準數(shù)據(jù)格式如圖1所示,主要包括主導頭、副導頭和用戶數(shù)據(jù)區(qū)3部分。

    圖1 空間數(shù)據(jù)包協(xié)議格式定義Fig.1 Definition of Space Packet Protocol

    通過SPP數(shù)據(jù)格式可以看到,主導頭主要用于定義數(shù)據(jù)的產(chǎn)生源頭以及數(shù)據(jù)傳輸方式,而副導頭則預(yù)留了較大的擴展空間,可以依據(jù)應(yīng)用進行定制。

    根據(jù)空間應(yīng)用數(shù)據(jù)的自身特性以及對象存儲系統(tǒng)的特點,在副導頭增加數(shù)據(jù)存儲屬性字段來擴展數(shù)據(jù)的表征方式,并添加數(shù)據(jù)的后續(xù)存儲需求,例如數(shù)據(jù)可靠性保證需求、數(shù)據(jù)的保密和壓縮需求等內(nèi)容。數(shù)據(jù)對象的副導頭擴展定義如圖2所示。

    數(shù)據(jù)存儲屬性字段的第1個要素為任務(wù)號TaskID,由于空間應(yīng)用數(shù)據(jù)的產(chǎn)生和處理與任務(wù)的安排密切相關(guān),可方便后續(xù)對該任務(wù)數(shù)據(jù)的查詢和檢索操作。

    圖2 空間應(yīng)用數(shù)據(jù)對象副導頭擴展定義Fig.2 Packet secondary header definition for space app lication data

    數(shù)據(jù)存儲屬性字段的第2個要素設(shè)計為子設(shè)備號SubDeviceID,對于某個特定的空間應(yīng)用載荷(具有唯一APID)一般會包括若干個儀器設(shè)備,不同的儀器設(shè)備數(shù)據(jù)特征各不相同,后續(xù)需要的存儲策略也有很大差異,因此加入子設(shè)備號屬性,可對應(yīng)用數(shù)據(jù)進一步細分。

    數(shù)據(jù)存儲屬性字段的第3個要素設(shè)計為數(shù)據(jù)類型DataType,對于某個特定的空間應(yīng)用載荷的特定儀器設(shè)備,依然可能產(chǎn)生不同的數(shù)據(jù)類型需要進行區(qū)分存儲,數(shù)據(jù)類型字段可以對數(shù)據(jù)進一步細分。

    數(shù)據(jù)存儲屬性字段的第4個要素設(shè)計為數(shù)據(jù)段標識SegNo,用于對同一類型數(shù)據(jù)的長度進行擴充。SPP協(xié)議中定義的序列號字段SeqNo僅能表示不超過1 GB的數(shù)據(jù),對于更大的數(shù)據(jù)長度,序列號SeqNo會重復。增加數(shù)據(jù)段標識SegNo可擴展數(shù)據(jù)對象長度。

    數(shù)據(jù)存儲屬性字段的第5個要素設(shè)計為QoS字段,QoS字段表征該數(shù)據(jù)對象希望對象存儲系統(tǒng)執(zhí)行的所有特殊需求,主要包括數(shù)據(jù)備份數(shù)目的需求、數(shù)據(jù)加密/壓縮等需求。

    綜上,空間應(yīng)用數(shù)據(jù)的CCSDS數(shù)據(jù)包可以采用<APID,Task ID,SubDeviceID,DataType,SegNo,SeqNo>六元組進行唯一表征,其中APID和Seq-No使用SPP包格式的主導頭信息,而TaskID,SubDeviceID,DataType,SegNo則使用SPP包格式的副導頭擴展信息。

    3 對象存儲系統(tǒng)架構(gòu)設(shè)計

    3.1 系統(tǒng)架構(gòu)

    對象存儲系統(tǒng)由3部分構(gòu)成,客戶端(Client)、元數(shù)據(jù)服務(wù)器(Metadata Server,MDS)和對象存儲設(shè)備(Object Storage Device,OSD),三部分之間通過主要的3個協(xié)議進行通信:存儲控制協(xié)議、存儲管理協(xié)議和存儲訪問協(xié)議。系統(tǒng)架構(gòu)如圖3所示。

    圖3 對象存儲系統(tǒng)架構(gòu)Fig.3 Framework of object storage system

    客戶端與元數(shù)據(jù)服務(wù)器通過存儲控制協(xié)議交換控制信息,例如任務(wù)請求及響應(yīng)等;客戶端與對象存儲設(shè)備通過存儲訪問協(xié)議交換讀寫的數(shù)據(jù);元數(shù)據(jù)服務(wù)器與對象存儲設(shè)備通過存儲管理協(xié)議進行對象存儲設(shè)備狀態(tài)管理等。

    3.1.1 客戶端

    客戶端是用戶訪問對象存儲系統(tǒng)的入口,將用戶直接的數(shù)據(jù)讀寫轉(zhuǎn)換為對象存儲系統(tǒng)內(nèi)部的數(shù)據(jù)訪問。客戶端屏蔽對象存儲系統(tǒng)內(nèi)部訪問細節(jié),對用戶提供直接的標準數(shù)據(jù)訪問接口。

    1)客戶端與元數(shù)據(jù)服務(wù)器交換控制信息,獲得當前存儲系統(tǒng)的狀態(tài);

    2)客戶端與對象存儲設(shè)備直接進行數(shù)據(jù)讀寫,完成數(shù)據(jù)傳輸。

    3.1.2 元數(shù)據(jù)服務(wù)器

    元數(shù)據(jù)服務(wù)器負責管理整個對象存儲系統(tǒng),包括所有用戶的元數(shù)據(jù)信息以及對象存儲系統(tǒng)自身的狀態(tài)信息。元數(shù)據(jù)信息描述了數(shù)據(jù)對象是如何分布在對象存儲設(shè)備上的布局信息(LAYOUT信息),而系統(tǒng)自身狀態(tài)信息則反映了對象存儲設(shè)備本身的工作狀態(tài)。

    1)對象存儲設(shè)備管理功能,包括節(jié)點健康狀況監(jiān)控及故障隔離;

    2)系統(tǒng)元數(shù)據(jù)管理功能,負責所有用戶數(shù)據(jù)的元數(shù)據(jù)信息管理,提供用戶數(shù)據(jù)快速查詢和檢索功能。

    3.1.3 對象存儲設(shè)備

    對象存儲設(shè)備負責具體用戶數(shù)據(jù)的實際存儲功能。

    1)智能化數(shù)據(jù)存儲功能,支持按照數(shù)據(jù)對象ID進行數(shù)據(jù)訪問;

    2)支持按照時間碼、對象屬性等進行快速檢索,提供符合要求的對象數(shù)據(jù);

    3)支持智能數(shù)據(jù)備份功能,對于需要進行數(shù)據(jù)冗余備份的對象數(shù)據(jù),自動在多個對象存儲設(shè)備節(jié)點進行數(shù)據(jù)備份。

    3.2 系統(tǒng)功能設(shè)計

    3.2.1 對象顆粒度設(shè)置

    按照SPP格式定義,空間應(yīng)用數(shù)據(jù)的基本顆粒度為單個CCSDS數(shù)據(jù)包,通過<APID,TaskID,SubDeviceID,DataType,SegNo,SeqNo>六元組進行表征,數(shù)據(jù)長度最長為64 kB。

    對于對象存儲系統(tǒng)來說,數(shù)據(jù)對象的顆粒度越小,意味著數(shù)據(jù)對象的管理類元數(shù)據(jù)信息越大。假設(shè)對象存儲系統(tǒng)的總?cè)萘繛?28 TB,意味著數(shù)據(jù)對象的個數(shù)不少于2×10個。如果對于每個數(shù)據(jù)對象都建立索引信息,則元數(shù)據(jù)服務(wù)器代價很大。為此可將數(shù)據(jù)對象的管理粒度和實際對象存儲粒度分離設(shè)計,將若干個數(shù)據(jù)對象分組進行統(tǒng)一管理。

    例如,考慮到空間應(yīng)用任務(wù)執(zhí)行的特點和系統(tǒng)規(guī)模,元數(shù)據(jù)服務(wù)器的索引信息可以只管理到數(shù)據(jù)段號,對于具有相同五元組<APID,Task ID,SubDeviceID,DataType,SegNo>的數(shù)據(jù)對象都分布在同一個OSD上,這樣元數(shù)據(jù)服務(wù)器的管理壓力顯著減低。另一方面具有相同五元組的數(shù)據(jù)對象總?cè)萘坎粫^1 GB,方便了用戶應(yīng)用數(shù)據(jù)在多個OSD之間的調(diào)度問題,也簡化了多備份策略下的數(shù)據(jù)遷移問題。

    本系統(tǒng)將數(shù)據(jù)對象進行組合管理,每個數(shù)據(jù)對象組通過五元組<APID,Task ID,SubDeviceID,DataType,SegNo>進行表征,而數(shù)據(jù)對象的讀寫訪問則依然使用六元組<APID,Task ID,SubDeviceID,DataType,SegNo,SeqNo>,簡化系統(tǒng)管理的同時,滿足用戶細粒度訪問數(shù)據(jù)的需求。

    3.2.2 模塊具體功能設(shè)計

    1)元數(shù)據(jù)服務(wù)器模塊。對象存儲系統(tǒng)中OSD設(shè)備狀態(tài)存在上線、下線等狀態(tài)變化,元數(shù)據(jù)服務(wù)器需實時了解各個OSD設(shè)備的可用狀態(tài)。為此設(shè)計心跳機制,OSD設(shè)備定時向元數(shù)據(jù)服務(wù)器報告自己的狀態(tài)。通過該機制,元數(shù)據(jù)服務(wù)器可了解系統(tǒng)中所有OSD在線狀態(tài)以及在線OSD的可用存儲容量、執(zhí)行任務(wù)情況等,并在系統(tǒng)中維持該信息(系統(tǒng)狀態(tài)信息)。

    元數(shù)據(jù)服務(wù)器另一個重要功能是維護系統(tǒng)中所有數(shù)據(jù)對象組的映射關(guān)系,即每個數(shù)據(jù)對象組存放在哪些OSD上(LAYOUT信息)。一般情況下,元數(shù)據(jù)服務(wù)器自身持久維護該信息,由此帶來了多元數(shù)據(jù)服務(wù)器之間、元數(shù)據(jù)服務(wù)器和OSD之間的信息同步問題,需要設(shè)計復雜的一致性協(xié)議保障數(shù)據(jù)同步。

    本文設(shè)計的元數(shù)據(jù)服務(wù)器對LAYOUT信息采用緩存模式,元數(shù)據(jù)服務(wù)器并不會長久保存LAYOUT信息,而是通過非易失OSD設(shè)備的信息進行恢復,所有數(shù)據(jù)以O(shè)SD信息為主,OSD同時保存了對象數(shù)據(jù)和對象元數(shù)據(jù)信息,可以保證數(shù)據(jù)和元數(shù)據(jù)之間的一致性。

    同時,緩存更新策略也采用懶更新策略,即系統(tǒng)上電時不會主動詢問OSD來實時更新該信息,只有當用戶執(zhí)行某個數(shù)據(jù)對象查詢時,元數(shù)據(jù)服務(wù)器檢查自己的LAYOUT信息,判斷是否有相關(guān)數(shù)據(jù)對象組的記錄,如果有則直接返回記錄信息給用戶;如果沒有,則向系統(tǒng)中所有的OSD進行查詢,并將查詢結(jié)果反饋給用戶的同時更新自身的LAYOUT信息。

    通過緩存模式設(shè)計和懶更新策略,極大降低了元數(shù)據(jù)服務(wù)器的設(shè)計復雜度和工作負載,使得輕量化的元數(shù)據(jù)服務(wù)器實現(xiàn)成為可能。由此帶來的缺點是用戶查詢元數(shù)據(jù)服務(wù)器緩存未命中的情況下,需要等待元數(shù)據(jù)服務(wù)器和OSD之間的信息更新,此時系統(tǒng)的讀取性能會稍微下降。但是對于空間應(yīng)用來說,90%以上的工況為數(shù)據(jù)寫入,該設(shè)計對系統(tǒng)性能幾乎無影響。

    2)對象存儲設(shè)備模塊。對象存儲設(shè)備設(shè)計為標準的對象數(shù)據(jù)訪問設(shè)備,每個數(shù)據(jù)對象的ID使用六元組<APID,TaskID,SubDeviceID,Data-Type,SegNo,SeqNo>表示,支持對任意數(shù)據(jù)對象的單獨訪問。

    3)客戶端模塊。用戶在訪問對象存儲系統(tǒng)之前,需要獲取對象存儲系統(tǒng)的相關(guān)設(shè)備信息。

    如果是數(shù)據(jù)對象寫入操作,則首先向元數(shù)據(jù)服務(wù)器請求系統(tǒng)狀態(tài)信息,可以獲知系統(tǒng)中OSD設(shè)備的在線狀態(tài)及工作參數(shù),由客戶端隨機選擇滿足要求的OSD進行數(shù)據(jù)寫入。

    如果是數(shù)據(jù)對象讀取操作,則首先向元數(shù)據(jù)服務(wù)器查詢該數(shù)據(jù)對象的LAYOUT信息,并依據(jù)元數(shù)據(jù)服務(wù)器反饋的LAYOUT信息訪問相應(yīng)的OSD設(shè)備。

    3.3 數(shù)據(jù)備份策略

    數(shù)據(jù)備份策略從系統(tǒng)層面和數(shù)據(jù)層面2個維度考慮,分別關(guān)注系統(tǒng)元數(shù)據(jù)的備份以及用戶數(shù)據(jù)的備份,以保障系統(tǒng)可靠運行和用戶數(shù)據(jù)可靠存儲。

    3.3.1 系統(tǒng)元數(shù)據(jù)備份策略

    對象存儲系統(tǒng)的系統(tǒng)元數(shù)據(jù)包含了整個系統(tǒng)運行所需的所有關(guān)鍵信息,包括系統(tǒng)所有節(jié)點的健康狀態(tài)數(shù)據(jù)、系統(tǒng)存儲資源的分配狀況、目前執(zhí)行任務(wù)的用戶信息等。

    傳統(tǒng)的對象存儲系統(tǒng)中,系統(tǒng)元數(shù)據(jù)必須實時更新,否則會面臨對象ID沖突等問題,導致數(shù)據(jù)對象寫入的互相覆蓋。因此對于多服務(wù)器組成的元數(shù)據(jù)服務(wù)器集群來說,多個服務(wù)器間的元數(shù)據(jù)必須滿足強一致性同步要求,給設(shè)計帶來了極大的挑戰(zhàn)。為滿足該要求,可以采用Paxos等一致性算法進行數(shù)據(jù)同步,由此帶來了頻繁的元數(shù)據(jù)服務(wù)器間數(shù)據(jù)更新操作,極大地影響系統(tǒng)的性能。

    本系統(tǒng)設(shè)計的元數(shù)據(jù)服務(wù)器通過以下2個方法解決這一問題:

    1)數(shù)據(jù)對象唯一性保證策略。數(shù)據(jù)對象ID的定義與數(shù)據(jù)產(chǎn)生的源頭進行綁定,通過唯一六元組<APID,Task ID,SubDeviceID,DataType,Seg-No,SeqNo>進行表征。通過該種方式保證了系統(tǒng)中不存在同樣的數(shù)據(jù)對象ID,因此即使在元數(shù)據(jù)服務(wù)器發(fā)生網(wǎng)絡(luò)分區(qū)無法通信的情況下,依然各自能夠執(zhí)行正常的任務(wù)。在網(wǎng)絡(luò)分區(qū)狀態(tài)解決后,多個元數(shù)據(jù)服務(wù)器的信息并不會發(fā)生沖突的情況,直接進行融合合并即可。

    2)OSD數(shù)據(jù)對象組預(yù)分配策略。每個OSD對于接收到的新的數(shù)據(jù)對象寫入請求時,首先判斷本OSD可供分配的剩余存儲空間。由于每個數(shù)據(jù)對象組的大小定義為不超過1 GB,因此OSD可以輕易地根據(jù)當前正在執(zhí)行的寫入需求判斷是否能夠接受新的數(shù)據(jù)對象寫入請求。這樣,即使多個用戶獲得的系統(tǒng)元數(shù)據(jù)信息不夠?qū)崟r,也不會發(fā)生用戶數(shù)據(jù)對象寫入錯誤的問題。通過數(shù)據(jù)對象組預(yù)分配策略,避免了數(shù)據(jù)對象組沖突導致的回滾動作。

    通過上述方法,解決了傳統(tǒng)對象存儲系統(tǒng)面臨的元數(shù)據(jù)服務(wù)器分區(qū)隔離和數(shù)據(jù)同步的需求,無需實現(xiàn)任何專門的元數(shù)據(jù)備份策略,即可保證系統(tǒng)正常穩(wěn)定運行。

    3.3.2 用戶數(shù)據(jù)備份策略

    用戶數(shù)據(jù)備份策略重點集中在面向航天應(yīng)用的按需備份策略的實施。按需備份策略需要解決2個問題:首先是用戶的備份需求通過什么樣的方式通知對象存儲系統(tǒng),其次是對于存在多個備份的數(shù)據(jù)對象,誰來執(zhí)行數(shù)據(jù)備份的操作以及維護系統(tǒng)中的有效備份數(shù)目。

    由于數(shù)據(jù)對象具有自描述的特征,為了簡化用戶與對象存儲系統(tǒng)之間的接口訪問,可以將每個數(shù)據(jù)對象的備份需求直接嵌入到數(shù)據(jù)對象的包格式中,為此為每個數(shù)據(jù)對象定義QoS字段并將其放置在副導頭位置,這樣所有對象存儲系統(tǒng)中的設(shè)備都能夠獲知該數(shù)據(jù)對象的QoS要求,而無需單獨與用戶進行協(xié)議交互。

    QoS字段表征了該數(shù)據(jù)對象希望對象存儲系統(tǒng)執(zhí)行的所有特殊需求,主要包括數(shù)據(jù)備份數(shù)目的需求、數(shù)據(jù)加密/壓縮等處理的需求。本文定義的QoS數(shù)據(jù)備份字段格式見圖4,通過在數(shù)據(jù)對象格式中定義QoS字段,解決了數(shù)據(jù)備份需求的約定形式。

    圖4 QoS數(shù)據(jù)備份字段定義Fig.4 Definition of QoS data backup segment

    本文采用由對象存儲設(shè)備主導的用戶數(shù)據(jù)備份方式。在該方式下,用戶只需完成對第1個對象存儲設(shè)備的數(shù)據(jù)寫入即可,第1個對象存儲設(shè)備會依據(jù)數(shù)據(jù)備份的具體需求,適時地將數(shù)據(jù)寫入到其余的備份設(shè)備。

    每個對象存儲設(shè)備在接收到有備份需求的數(shù)據(jù)對象時,除了將該數(shù)據(jù)對象保存到本地,還會檢查該對象的當前備份編號字段,如果當前備份編號小于備份次數(shù)需求,則該設(shè)備將當前備份編號加1并發(fā)送給系統(tǒng)中的下1個對象存儲設(shè)備,如果當前備份編號大于等于備份次數(shù)需求,則只進行數(shù)據(jù)對象保存而不進行后續(xù)的備份工作。通過該機制能夠以簡單的方式實現(xiàn)系統(tǒng)中存儲多個數(shù)據(jù)備份的需求。

    在系統(tǒng)運行過程中,如某個備份節(jié)點發(fā)生了損壞,則會導致系統(tǒng)中有效數(shù)據(jù)備份數(shù)目減少。如果需要對象存儲系統(tǒng)中始終存在滿足需求的備份數(shù)目,則需要設(shè)計數(shù)據(jù)遷移策略,在監(jiān)測到數(shù)據(jù)存儲設(shè)備故障導致備份數(shù)目不足的情況下,啟動數(shù)據(jù)遷移??臻g數(shù)據(jù)備份策略的需求是為了解決數(shù)據(jù)存儲設(shè)備故障的情況,避免關(guān)鍵數(shù)據(jù)的單點失效不可恢復,而不是追求系統(tǒng)在長時間運行中始終維持多個備份數(shù)據(jù)的存在。綜合考慮空間應(yīng)用數(shù)據(jù)的使用需求以及數(shù)據(jù)遷移帶來的網(wǎng)絡(luò)傳輸代價,本文不考慮數(shù)據(jù)遷移算法的設(shè)計,即數(shù)據(jù)備份策略只在初次數(shù)據(jù)寫入的時候執(zhí)行,保證系統(tǒng)中存在滿足需求的備份數(shù)目,而后續(xù)設(shè)備故障導致的備份丟失不會觸發(fā)數(shù)據(jù)遷移操作。

    4 系統(tǒng)驗證

    4.1 驗證系統(tǒng)組成

    系統(tǒng)驗證以空間站應(yīng)用系統(tǒng)項目為背景,構(gòu)建模擬地面驗證環(huán)境,對本文提出對象存儲系統(tǒng)進行功能和性能驗證。

    驗證系統(tǒng)基于FC-AE-1553交換式網(wǎng)絡(luò)進行構(gòu)建,在交換網(wǎng)絡(luò)之上實現(xiàn)了對象存儲系統(tǒng),主要包括元數(shù)據(jù)服務(wù)器、智能存儲節(jié)點和客戶端模擬設(shè)備,驗證系統(tǒng)組成如圖5所示。

    在硬件設(shè)計上,元數(shù)據(jù)服務(wù)器和智能存儲節(jié)點均采用自研的嵌入式3U VPX板卡(主芯片為Xilinx XC7Z045),盡可能模擬將來在軌應(yīng)用的實際使用環(huán)境,地檢則使用多個機架式服務(wù)器進行模擬。

    元數(shù)據(jù)服務(wù)器軟件完成對智能存儲節(jié)點的狀態(tài)管理和客戶端存儲任務(wù)的管理,運行在FC-AE-1553網(wǎng)絡(luò)的NC節(jié)點上。智能存儲節(jié)點完成對用戶數(shù)據(jù)的實際存儲,運行在FC-AE-1553網(wǎng)絡(luò)的NT節(jié)點上??蛻舳斯δ苓\行在地檢上,完成載荷數(shù)據(jù)源模擬及地面數(shù)據(jù)下行通道模擬。三部分共同完成對象存儲系統(tǒng)的資源調(diào)度,實現(xiàn)數(shù)據(jù)的寫入和讀取操作。

    圖5 技術(shù)驗證系統(tǒng)組成框圖Fig.5 Block diagram of technical verification system

    驗證系統(tǒng)的部分性能指標如下:

    1)FC-AE-1553交換網(wǎng)絡(luò)物理層速率為4.25 Gbps,去除物理層8 B/10 B編碼開銷,理論上限為3.4 Gbps;

    2)單個NT模擬節(jié)點模擬不超過8個載荷,單個載荷的有效數(shù)據(jù)率設(shè)計為不超過600 Mbps,仿真實際的機柜內(nèi)工作載荷;

    3)單個NT智能存儲節(jié)點的內(nèi)部存儲帶寬為4.5~5.8 Gbps。

    4.2 驗證結(jié)果

    為了驗證對象存儲系統(tǒng)在不同工況下的存儲性能,分別設(shè)計多載荷任務(wù)同時訪問測試和多節(jié)點存儲系統(tǒng)測試,模擬在軌多用戶同時訪問和存儲系統(tǒng)節(jié)點動態(tài)調(diào)整的使用工況。

    1)多載荷任務(wù)同時訪問性能測試。單個存儲節(jié)點情況下,載荷任務(wù)分別設(shè)置為(1/2/4/8/16/32/64),測試系統(tǒng)的存儲總帶寬。多載荷任務(wù)同時存儲性能測試結(jié)果如圖6所示,可以看到,隨著載荷任務(wù)增多,系統(tǒng)總帶寬逐步增加到3.17 Gbps,此后基本維持穩(wěn)定。對象存儲系統(tǒng)能夠支持多任務(wù)并發(fā)執(zhí)行,并在嵌入式環(huán)境下網(wǎng)絡(luò)帶寬利用率達到91%以上。

    2)多存儲節(jié)點系統(tǒng)性能測試。載荷任務(wù)固定為64的情況下,存儲節(jié)點數(shù)目分別設(shè)置為(1/2/4/8),測試系統(tǒng)的存儲總帶寬。多存儲節(jié)點同時存儲性能測試結(jié)果如圖7所示??梢钥吹剑谠撔∫?guī)模存儲系統(tǒng)下,隨著存儲節(jié)點數(shù)目增多,對象存儲系統(tǒng)的性能隨著分布式節(jié)點近似線性增加,系統(tǒng)具有良好的橫向擴展能力。

    圖6 多載荷任務(wù)工況系統(tǒng)存儲帶寬Fig.6 Storage bandw idth ofmulti-task system

    圖7 多存儲節(jié)點工況系統(tǒng)存儲帶寬Fig.7 Storage bandw idth of multiple storage nodes system

    5 結(jié)論

    本文針對空間站空間應(yīng)用場景,設(shè)計了小規(guī)模對象存儲系統(tǒng),研究了空間數(shù)據(jù)對象格式定義、對象存儲系統(tǒng)架構(gòu)和協(xié)議、系統(tǒng)數(shù)據(jù)備份策略等問題,提出了適應(yīng)場景的設(shè)計方案,并進行了系統(tǒng)驗證。驗證結(jié)果表明:在航天專用的嵌入式環(huán)境下,通過對象存儲系統(tǒng)解決資源共享、高速存儲、高可靠、可擴展等數(shù)據(jù)存儲系統(tǒng)面臨的難題是一種可行的途徑。

    猜你喜歡
    數(shù)據(jù)備份存儲設(shè)備存儲系統(tǒng)
    泉州高速公路收費系統(tǒng)遠程數(shù)據(jù)備份研究
    海洋數(shù)據(jù)備份平臺的設(shè)計和實現(xiàn)
    程控交換機的數(shù)據(jù)備份與恢復技術(shù)分析
    分布式存儲系統(tǒng)在企業(yè)檔案管理中的應(yīng)用
    哈爾濱軸承(2020年2期)2020-11-06 09:22:36
    No.4 IDC:2019年上半年數(shù)據(jù)備份與恢復市場同比增長10.0%
    天河超算存儲系統(tǒng)在美創(chuàng)佳績
    Windows 7下USB存儲設(shè)備接入痕跡的證據(jù)提取
    基于Flash芯片的新型存儲設(shè)備數(shù)據(jù)恢復技術(shù)研究
    華為震撼發(fā)布新一代OceanStor 18000 V3系列高端存儲系統(tǒng)
    一種基于STM32的具有斷電保護機制的采集存儲系統(tǒng)設(shè)計
    亚洲av美国av| 高潮久久久久久久久久久不卡| 一区在线观看完整版| 视频在线观看一区二区三区| 中文字幕另类日韩欧美亚洲嫩草| 一级毛片黄色毛片免费观看视频| 大香蕉久久网| 亚洲人成77777在线视频| 美女高潮到喷水免费观看| 九草在线视频观看| 免费在线观看完整版高清| 久久久国产欧美日韩av| 超碰97精品在线观看| 精品国产超薄肉色丝袜足j| 悠悠久久av| 久久国产精品影院| 亚洲熟女毛片儿| 一级黄片播放器| 777久久人妻少妇嫩草av网站| 中文字幕精品免费在线观看视频| 国产精品久久久久成人av| 日韩免费高清中文字幕av| 啦啦啦中文免费视频观看日本| 99久久99久久久精品蜜桃| 王馨瑶露胸无遮挡在线观看| av国产久精品久网站免费入址| 国产精品久久久久成人av| 亚洲熟女毛片儿| 亚洲国产成人一精品久久久| 亚洲成人免费av在线播放| 天天影视国产精品| 国产欧美日韩一区二区三 | 99久久99久久久精品蜜桃| 免费日韩欧美在线观看| 中文字幕av电影在线播放| 欧美国产精品va在线观看不卡| 精品国产超薄肉色丝袜足j| 97在线人人人人妻| 日韩欧美一区视频在线观看| 午夜福利,免费看| 中文字幕另类日韩欧美亚洲嫩草| 永久免费av网站大全| 美女大奶头黄色视频| 亚洲人成电影观看| 亚洲一卡2卡3卡4卡5卡精品中文| 可以免费在线观看a视频的电影网站| 大片电影免费在线观看免费| 国产激情久久老熟女| 看免费成人av毛片| 男女之事视频高清在线观看 | 欧美在线一区亚洲| 久久久亚洲精品成人影院| 亚洲av国产av综合av卡| 女警被强在线播放| 亚洲一区二区三区欧美精品| 日韩av不卡免费在线播放| av网站免费在线观看视频| 久久久亚洲精品成人影院| 超色免费av| 男女边摸边吃奶| 嫁个100分男人电影在线观看 | 亚洲专区国产一区二区| 国产无遮挡羞羞视频在线观看| 亚洲国产成人一精品久久久| av欧美777| 一二三四社区在线视频社区8| 天天添夜夜摸| 日韩一本色道免费dvd| 一区二区三区精品91| 亚洲一卡2卡3卡4卡5卡精品中文| 国产97色在线日韩免费| 少妇人妻久久综合中文| 亚洲精品国产一区二区精华液| 欧美久久黑人一区二区| av电影中文网址| 国产精品一区二区精品视频观看| 侵犯人妻中文字幕一二三四区| 欧美 日韩 精品 国产| 乱人伦中国视频| 考比视频在线观看| 欧美日韩综合久久久久久| 永久免费av网站大全| 国产精品成人在线| 女人精品久久久久毛片| 成人三级做爰电影| 高潮久久久久久久久久久不卡| 亚洲国产最新在线播放| 97精品久久久久久久久久精品| 亚洲国产精品国产精品| 两个人免费观看高清视频| 亚洲国产精品999| 国产精品.久久久| 老鸭窝网址在线观看| 国产女主播在线喷水免费视频网站| 亚洲av国产av综合av卡| 欧美人与性动交α欧美精品济南到| 亚洲国产av影院在线观看| 多毛熟女@视频| 亚洲欧美日韩高清在线视频 | 美女高潮到喷水免费观看| 色网站视频免费| 国产三级黄色录像| 美女脱内裤让男人舔精品视频| 国产精品av久久久久免费| 永久免费av网站大全| 成年人黄色毛片网站| 亚洲伊人久久精品综合| 国产男女内射视频| 精品一区二区三区av网在线观看 | 免费在线观看影片大全网站 | a级片在线免费高清观看视频| 久久久欧美国产精品| 两个人免费观看高清视频| 亚洲,欧美精品.| 黄色视频不卡| 男女之事视频高清在线观看 | 亚洲av电影在线观看一区二区三区| 久久久久久久精品精品| 一区二区三区四区激情视频| 欧美乱码精品一区二区三区| 美女国产高潮福利片在线看| 国产成人欧美| 国产亚洲av片在线观看秒播厂| 1024香蕉在线观看| 日韩熟女老妇一区二区性免费视频| 国产精品av久久久久免费| 亚洲人成电影观看| 欧美亚洲 丝袜 人妻 在线| 精品一区二区三区四区五区乱码 | 国产女主播在线喷水免费视频网站| 久久人妻熟女aⅴ| 丝袜人妻中文字幕| 国产成人免费观看mmmm| 成人影院久久| 国产成人精品久久二区二区免费| 99国产精品一区二区三区| 丰满饥渴人妻一区二区三| 亚洲成人免费av在线播放| 国产成人一区二区在线| 90打野战视频偷拍视频| 久久人妻熟女aⅴ| 日本av免费视频播放| 少妇的丰满在线观看| 青青草视频在线视频观看| 一本久久精品| 在线观看www视频免费| 女人被躁到高潮嗷嗷叫费观| 亚洲精品国产av蜜桃| 亚洲欧美色中文字幕在线| 久久毛片免费看一区二区三区| 久久国产精品大桥未久av| 亚洲精品日韩在线中文字幕| 久久久久久亚洲精品国产蜜桃av| 欧美久久黑人一区二区| 国产成人精品久久二区二区免费| 色婷婷久久久亚洲欧美| 激情视频va一区二区三区| 日韩电影二区| 捣出白浆h1v1| 国产精品久久久久久人妻精品电影 | 老司机影院毛片| 一级,二级,三级黄色视频| 日本vs欧美在线观看视频| av天堂久久9| 欧美性长视频在线观看| 亚洲国产成人一精品久久久| 国产真人三级小视频在线观看| 一本一本久久a久久精品综合妖精| 肉色欧美久久久久久久蜜桃| 欧美成狂野欧美在线观看| 最新在线观看一区二区三区 | 美女国产高潮福利片在线看| 又紧又爽又黄一区二区| 亚洲精品第二区| 天堂俺去俺来也www色官网| 免费少妇av软件| 日韩,欧美,国产一区二区三区| 国产成人精品久久久久久| 精品熟女少妇八av免费久了| 2018国产大陆天天弄谢| 国精品久久久久久国模美| 欧美 亚洲 国产 日韩一| 午夜视频精品福利| 久久毛片免费看一区二区三区| 免费女性裸体啪啪无遮挡网站| 国产一区二区三区av在线| 99久久精品国产亚洲精品| 人人妻人人添人人爽欧美一区卜| 国产精品久久久久久精品古装| 国产又色又爽无遮挡免| 看免费成人av毛片| 这个男人来自地球电影免费观看| 久久久久视频综合| 国产成人精品久久二区二区免费| 一二三四在线观看免费中文在| 亚洲少妇的诱惑av| 亚洲精品美女久久久久99蜜臀 | 中文字幕精品免费在线观看视频| 欧美成人午夜精品| 日韩电影二区| 亚洲九九香蕉| 麻豆av在线久日| 桃花免费在线播放| 激情五月婷婷亚洲| 又黄又粗又硬又大视频| 午夜视频精品福利| 国产成人一区二区在线| 日韩av在线免费看完整版不卡| 18禁裸乳无遮挡动漫免费视频| 国产av国产精品国产| 一边摸一边做爽爽视频免费| 亚洲国产毛片av蜜桃av| 久久亚洲国产成人精品v| 国产女主播在线喷水免费视频网站| 国产精品秋霞免费鲁丝片| 久久久久久久精品精品| 国产亚洲av高清不卡| 精品一品国产午夜福利视频| 99精国产麻豆久久婷婷| 免费在线观看黄色视频的| 看免费av毛片| 黄网站色视频无遮挡免费观看| 韩国高清视频一区二区三区| 亚洲成人免费av在线播放| 九草在线视频观看| 久久精品亚洲av国产电影网| www.精华液| 夜夜骑夜夜射夜夜干| 亚洲精品国产av蜜桃| 在线精品无人区一区二区三| 国产精品 国内视频| 各种免费的搞黄视频| 亚洲成人手机| 老汉色∧v一级毛片| 午夜福利,免费看| 日韩人妻精品一区2区三区| 久久久国产一区二区| 成人国产一区最新在线观看 | 99久久精品国产亚洲精品| 丁香六月欧美| 99热全是精品| 亚洲人成网站在线观看播放| 99国产综合亚洲精品| 国产欧美日韩综合在线一区二区| 中国国产av一级| 欧美成人午夜精品| 国产欧美日韩一区二区三 | 久久久久精品人妻al黑| 男女边摸边吃奶| 2018国产大陆天天弄谢| 又黄又粗又硬又大视频| 精品亚洲成a人片在线观看| 午夜福利免费观看在线| 99热国产这里只有精品6| 啦啦啦中文免费视频观看日本| 性色av一级| 91麻豆精品激情在线观看国产 | 久久精品国产a三级三级三级| 国产亚洲欧美在线一区二区| 69精品国产乱码久久久| 校园人妻丝袜中文字幕| 激情视频va一区二区三区| 午夜福利,免费看| 亚洲精品久久久久久婷婷小说| 中文字幕最新亚洲高清| 国产老妇伦熟女老妇高清| 在线观看一区二区三区激情| 人人妻人人澡人人爽人人夜夜| 99热国产这里只有精品6| 日日摸夜夜添夜夜爱| 91字幕亚洲| 国产欧美日韩精品亚洲av| 别揉我奶头~嗯~啊~动态视频 | 黑人欧美特级aaaaaa片| 国产黄色视频一区二区在线观看| 精品一品国产午夜福利视频| 99国产精品一区二区蜜桃av | 丰满人妻熟妇乱又伦精品不卡| 夜夜骑夜夜射夜夜干| 十八禁高潮呻吟视频| 久久国产精品大桥未久av| bbb黄色大片| 精品少妇内射三级| 精品亚洲成国产av| 波野结衣二区三区在线| 少妇人妻 视频| 99国产精品99久久久久| 中文字幕制服av| 黄色视频不卡| 性少妇av在线| 午夜91福利影院| 亚洲第一av免费看| 中文字幕人妻丝袜制服| 国产男人的电影天堂91| 亚洲一区中文字幕在线| 午夜免费观看性视频| 国产成人精品无人区| 女人精品久久久久毛片| 一本大道久久a久久精品| 日本91视频免费播放| 丝袜美腿诱惑在线| 18禁裸乳无遮挡动漫免费视频| 欧美国产精品va在线观看不卡| avwww免费| 日韩大码丰满熟妇| 国产成人av激情在线播放| 999久久久国产精品视频| 成人亚洲欧美一区二区av| 久久这里只有精品19| 亚洲av片天天在线观看| 国产亚洲av片在线观看秒播厂| 欧美日韩亚洲综合一区二区三区_| 最新在线观看一区二区三区 | 国产无遮挡羞羞视频在线观看| 精品少妇黑人巨大在线播放| 国产成人一区二区三区免费视频网站 | 两个人看的免费小视频| 女人被躁到高潮嗷嗷叫费观| 国产免费现黄频在线看| 七月丁香在线播放| 久久精品国产综合久久久| 少妇精品久久久久久久| 日韩一本色道免费dvd| 人人澡人人妻人| 亚洲专区中文字幕在线| 色网站视频免费| 大码成人一级视频| 水蜜桃什么品种好| 热99久久久久精品小说推荐| 免费人妻精品一区二区三区视频| 亚洲国产精品一区三区| 老汉色∧v一级毛片| 成在线人永久免费视频| 一级,二级,三级黄色视频| 可以免费在线观看a视频的电影网站| 成年人午夜在线观看视频| 黄网站色视频无遮挡免费观看| 手机成人av网站| 97在线人人人人妻| 大话2 男鬼变身卡| www.精华液| 久久久久国产精品人妻一区二区| 国产午夜精品一二区理论片| 日韩大码丰满熟妇| 午夜免费鲁丝| 晚上一个人看的免费电影| 成年人免费黄色播放视频| 国产精品秋霞免费鲁丝片| 午夜福利影视在线免费观看| 日韩视频在线欧美| 中文欧美无线码| av在线播放精品| 乱人伦中国视频| 免费观看人在逋| 一级片'在线观看视频| 亚洲欧洲日产国产| 秋霞在线观看毛片| 大陆偷拍与自拍| 青春草亚洲视频在线观看| 午夜免费成人在线视频| 久久免费观看电影| 男男h啪啪无遮挡| 午夜免费男女啪啪视频观看| 欧美精品一区二区免费开放| 一级毛片女人18水好多 | 电影成人av| 久久国产精品人妻蜜桃| 韩国精品一区二区三区| 在线看a的网站| 欧美国产精品一级二级三级| 欧美成人精品欧美一级黄| 大香蕉久久网| 亚洲综合色网址| 性色av一级| 美女脱内裤让男人舔精品视频| 午夜激情久久久久久久| 精品少妇一区二区三区视频日本电影| 国产欧美日韩精品亚洲av| 久久久久国产一级毛片高清牌| 高清欧美精品videossex| 国产精品国产av在线观看| 日本色播在线视频| 2021少妇久久久久久久久久久| 熟女av电影| 亚洲欧美成人综合另类久久久| 99国产精品一区二区三区| 午夜免费观看性视频| 别揉我奶头~嗯~啊~动态视频 | 国产精品熟女久久久久浪| 18禁国产床啪视频网站| 亚洲av成人精品一二三区| 亚洲自偷自拍图片 自拍| 18禁国产床啪视频网站| 久久久精品国产亚洲av高清涩受| 亚洲一区中文字幕在线| 欧美黄色片欧美黄色片| 国产欧美日韩综合在线一区二区| 一区二区三区四区激情视频| 搡老岳熟女国产| 汤姆久久久久久久影院中文字幕| 久久国产亚洲av麻豆专区| 国产又爽黄色视频| 欧美日韩成人在线一区二区| av国产久精品久网站免费入址| 人妻 亚洲 视频| 国产麻豆69| 日韩 亚洲 欧美在线| 久久女婷五月综合色啪小说| 国产成人啪精品午夜网站| 好男人电影高清在线观看| 一级,二级,三级黄色视频| 午夜日韩欧美国产| 久久亚洲国产成人精品v| 日本wwww免费看| 亚洲五月色婷婷综合| 叶爱在线成人免费视频播放| 久久综合国产亚洲精品| 国产成人系列免费观看| 免费人妻精品一区二区三区视频| 国产免费一区二区三区四区乱码| 国产91精品成人一区二区三区 | 美女中出高潮动态图| 中文字幕人妻熟女乱码| 亚洲欧美中文字幕日韩二区| 国产三级黄色录像| √禁漫天堂资源中文www| 极品少妇高潮喷水抽搐| 久久精品成人免费网站| netflix在线观看网站| 国产成人欧美在线观看 | 久久人人爽av亚洲精品天堂| 成年av动漫网址| 天天躁夜夜躁狠狠久久av| 99九九在线精品视频| 亚洲人成网站在线观看播放| 亚洲天堂av无毛| 手机成人av网站| 一二三四社区在线视频社区8| 精品一区二区三区四区五区乱码 | 免费看不卡的av| 国产97色在线日韩免费| 国产一级毛片在线| 国产成人精品久久久久久| 亚洲欧美日韩高清在线视频 | 亚洲免费av在线视频| 一级黄片播放器| 丝袜美腿诱惑在线| 精品第一国产精品| 午夜福利视频在线观看免费| 青草久久国产| 欧美性长视频在线观看| 国产一区二区激情短视频 | 男女高潮啪啪啪动态图| 三上悠亚av全集在线观看| 日韩一本色道免费dvd| netflix在线观看网站| 亚洲少妇的诱惑av| 亚洲男人天堂网一区| 日韩熟女老妇一区二区性免费视频| 国产三级黄色录像| 90打野战视频偷拍视频| 久久狼人影院| 热re99久久精品国产66热6| 中文乱码字字幕精品一区二区三区| 亚洲伊人色综图| 1024视频免费在线观看| 啦啦啦中文免费视频观看日本| 美女中出高潮动态图| 一区二区av电影网| 亚洲三区欧美一区| 男女之事视频高清在线观看 | 黄色视频在线播放观看不卡| 国产成人精品在线电影| 久久久久久久久免费视频了| 天天影视国产精品| 日韩伦理黄色片| 美女高潮到喷水免费观看| 国产精品人妻久久久影院| 美女视频免费永久观看网站| 母亲3免费完整高清在线观看| 国产成人免费无遮挡视频| 国产欧美日韩一区二区三 | 免费女性裸体啪啪无遮挡网站| 国产成人免费无遮挡视频| 18禁国产床啪视频网站| 99热网站在线观看| 另类精品久久| 一级,二级,三级黄色视频| 欧美国产精品va在线观看不卡| 成人亚洲精品一区在线观看| 国产人伦9x9x在线观看| 日韩 欧美 亚洲 中文字幕| av片东京热男人的天堂| 亚洲国产成人一精品久久久| 超色免费av| 水蜜桃什么品种好| 天堂中文最新版在线下载| av国产久精品久网站免费入址| 老汉色av国产亚洲站长工具| 亚洲精品国产色婷婷电影| 久久狼人影院| 一本—道久久a久久精品蜜桃钙片| 老司机靠b影院| 一级,二级,三级黄色视频| 国产精品熟女久久久久浪| 叶爱在线成人免费视频播放| 2021少妇久久久久久久久久久| 欧美黑人精品巨大| 国产一区亚洲一区在线观看| 韩国精品一区二区三区| 波多野结衣一区麻豆| 亚洲精品在线美女| 中国美女看黄片| a 毛片基地| 国产成人精品久久二区二区91| 精品少妇内射三级| 国产在线免费精品| 黄片播放在线免费| 国产又色又爽无遮挡免| 一边亲一边摸免费视频| 黑人巨大精品欧美一区二区蜜桃| 母亲3免费完整高清在线观看| 老司机亚洲免费影院| 欧美激情高清一区二区三区| 啦啦啦中文免费视频观看日本| 亚洲视频免费观看视频| 亚洲综合色网址| 国产又爽黄色视频| 一本—道久久a久久精品蜜桃钙片| 女人高潮潮喷娇喘18禁视频| 69精品国产乱码久久久| 一级毛片 在线播放| 国产精品免费视频内射| 大型av网站在线播放| 欧美性长视频在线观看| 午夜福利免费观看在线| 少妇猛男粗大的猛烈进出视频| 99国产精品免费福利视频| 搡老乐熟女国产| 男女无遮挡免费网站观看| 日韩大片免费观看网站| 久久久国产欧美日韩av| 一本色道久久久久久精品综合| 亚洲国产精品国产精品| 国产一区二区在线观看av| www.自偷自拍.com| 国产极品粉嫩免费观看在线| 天天躁夜夜躁狠狠躁躁| 精品国产乱码久久久久久小说| 老司机靠b影院| 青草久久国产| 亚洲精品国产区一区二| 如日韩欧美国产精品一区二区三区| 久久久精品区二区三区| 久久99精品国语久久久| 秋霞在线观看毛片| 国产精品偷伦视频观看了| 国产无遮挡羞羞视频在线观看| 91国产中文字幕| 精品少妇一区二区三区视频日本电影| 大型av网站在线播放| 成年人午夜在线观看视频| 美女大奶头黄色视频| 亚洲精品第二区| 大香蕉久久成人网| 精品国产超薄肉色丝袜足j| 亚洲人成电影观看| 手机成人av网站| 这个男人来自地球电影免费观看| 久热爱精品视频在线9| 亚洲精品日韩在线中文字幕| 亚洲精品一卡2卡三卡4卡5卡 | 国产精品香港三级国产av潘金莲 | av视频免费观看在线观看| 欧美精品av麻豆av| 亚洲,欧美,日韩| 国产精品一区二区免费欧美 | 美女高潮到喷水免费观看| 99久久综合免费| 波野结衣二区三区在线| 午夜福利影视在线免费观看| 老司机影院毛片| 一本久久精品| 亚洲欧美一区二区三区黑人| 成年人午夜在线观看视频| 麻豆av在线久日| 婷婷色av中文字幕| 免费在线观看黄色视频的| av在线app专区| 成人三级做爰电影| 日韩 欧美 亚洲 中文字幕| 欧美少妇被猛烈插入视频| 国产深夜福利视频在线观看| 两性夫妻黄色片| 欧美日韩黄片免| 国产成人一区二区三区免费视频网站 | 手机成人av网站| 又大又爽又粗| 老司机靠b影院| 国产麻豆69| 日韩 欧美 亚洲 中文字幕| 中国国产av一级| 19禁男女啪啪无遮挡网站| 国产1区2区3区精品| 波野结衣二区三区在线| 2021少妇久久久久久久久久久| 电影成人av| 久久久久久免费高清国产稀缺| 中文欧美无线码| 亚洲av综合色区一区| 亚洲av成人精品一二三区| 91成人精品电影| 熟女少妇亚洲综合色aaa.| 亚洲,欧美精品.| 亚洲精品av麻豆狂野|