• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向航天應(yīng)用的對象存儲系統(tǒng)設(shè)計

    2021-04-14 03:09:42宮永生呂從民曹素芝
    載人航天 2021年1期
    關(guān)鍵詞:數(shù)據(jù)備份存儲設(shè)備存儲系統(tǒng)

    宮永生,呂從民,曹素芝

    (1.中國科學院空間應(yīng)用工程與技術(shù)中心,北京100094;2.中國科學院大學,北京100049)

    1 引言

    隨著太空探索逐步深入,空間應(yīng)用的規(guī)模大幅擴展,相應(yīng)地出現(xiàn)了載人空間站等大型飛行器及低軌互聯(lián)網(wǎng)衛(wèi)星星座等空間應(yīng)用形態(tài),且未來會向著月球基地、火星基地以及更深遠的太空進一步拓展。空間應(yīng)用的擴展對空間信息系統(tǒng)的發(fā)展提出了新的要求,空間信息系統(tǒng)的架構(gòu)走向以組網(wǎng)為基礎(chǔ)分布式形態(tài),包括飛行器內(nèi)部基于有線網(wǎng)絡(luò)的分布式存儲和處理以及多個飛行器間的空間無線網(wǎng)絡(luò)分布式信息存儲和處理。空間信息系統(tǒng)架構(gòu)的演進意味著必須考慮如何在空間部署分布式存儲系統(tǒng),以滿足未來空間應(yīng)用的需求。

    對象存儲系統(tǒng)通過創(chuàng)新性的分布式架構(gòu)設(shè)計,解決了資源共享、超高速存儲、海量存儲、高可靠、可擴展等數(shù)據(jù)存儲系統(tǒng)面臨的難題,在地面大規(guī)模數(shù)據(jù)存儲系統(tǒng)中獲得廣泛應(yīng)用。國際互聯(lián)網(wǎng)工程任務(wù)組(Internet Engineering Task Force,IETF)于2010年正式發(fā)布了并行文件系統(tǒng)(parallel Network File System,pNFS)標準,在傳統(tǒng)的網(wǎng)絡(luò)文件系統(tǒng)NFS基礎(chǔ)上添加對于分布式存儲系統(tǒng)的支持,同時支持對象存儲、塊存儲和文件存儲設(shè)備3種類型。針對對象存儲設(shè)備,pNFS定義了分布式對象存儲的基本架構(gòu),但并未詳細規(guī)定具體的分布式控制協(xié)議、存儲協(xié)議以及系統(tǒng)數(shù)據(jù)備份策略等內(nèi)容。由美國能源部資助開發(fā)的開源對象存儲系統(tǒng)Lustre在超大規(guī)模和超高性能服務(wù)集群中獲得廣泛應(yīng)用,在系統(tǒng)規(guī)模、性能和可靠性方面表現(xiàn)優(yōu)異,但系統(tǒng)設(shè)計復雜度極高。面向極致性能、可靠性和可擴展性而設(shè)計的統(tǒng)一對象存儲系統(tǒng)Ceph則在OpenStack社區(qū)獲得了相當廣泛的使用,其采用名為CRUSH(Controlled Replication Under Scalable Hashing)的算法計算數(shù)據(jù)對象的存儲位置,替代傳統(tǒng)元數(shù)據(jù)索引管理方式,提升了元數(shù)據(jù)服務(wù)器性能,以算代存是很巧妙的問題解決思路,但是需要客戶端具有較強計算能力支持。

    對象存儲系統(tǒng)能夠解決未來空間應(yīng)用數(shù)據(jù)存儲的大規(guī)模、高可靠、可擴展等關(guān)鍵需求,但是也面臨一些設(shè)計挑戰(zhàn),突出體現(xiàn)在兩方面:①空間設(shè)備的體積、重量、功耗(Size,Weight,and Power,SWaP)約束要遠遠比地面嚴苛,對象存儲系統(tǒng)架構(gòu)及協(xié)議設(shè)計上需充分優(yōu)化,降低系統(tǒng)SwaP,特別是用戶端的協(xié)議設(shè)計應(yīng)盡可能簡單。②空間應(yīng)用數(shù)據(jù)具有特殊性,數(shù)據(jù)的產(chǎn)生、表征、傳輸?shù)燃扔袇f(xié)議需要兼容,數(shù)據(jù)在軌存儲模式與地面互聯(lián)網(wǎng)應(yīng)用相比也有很大的不同,空間數(shù)據(jù)存儲系統(tǒng)設(shè)計需進行針對性考慮。

    本文針對航天應(yīng)用數(shù)據(jù)存儲的需求,首先研究空間應(yīng)用的數(shù)據(jù)特征及其對象化表征方式;然后在此基礎(chǔ)上綜合考慮空間設(shè)備體積、重量、功耗等特定的約束條件,設(shè)計輕量化空間應(yīng)用對象存儲系統(tǒng)架構(gòu)及相關(guān)協(xié)議,并探討系統(tǒng)中數(shù)據(jù)備份等關(guān)鍵策略設(shè)計;最后給出系統(tǒng)實現(xiàn)及驗證情況,對后續(xù)研究提供借鑒。

    2 基于CCSDS航天應(yīng)用數(shù)據(jù)對象化定義

    對象存儲系統(tǒng)中的對象是數(shù)據(jù)的一種邏輯組織形式,對象特征通過對象屬性來描述。航天應(yīng)用數(shù)據(jù)對象的建立除了需要表征航天應(yīng)用數(shù)據(jù)的特征之外,還需考慮數(shù)據(jù)對象后續(xù)存儲及處理的使用模式,特別是在基于網(wǎng)絡(luò)的對象存儲系統(tǒng)中,對象數(shù)據(jù)的格式定義對于系統(tǒng)設(shè)計有很大影響。

    航天應(yīng)用數(shù)據(jù)一般按照CCSDS(Consultative Committee for Space Data Systems)定義的數(shù)據(jù)格式進行描述,本文在不更改CCSDS協(xié)議的前提下,對CCSDS的字段進行部分擴展,以反映空間應(yīng)用數(shù)據(jù)的特征,同時考慮數(shù)據(jù)對象分布式存儲需求。

    CCSDS空間數(shù)據(jù)包協(xié)議(Space Packet Protocol,SPP)定義了空間應(yīng)用的數(shù)據(jù)格式,滿足星間、星地等空間鏈路上的空間用戶數(shù)據(jù)傳輸需求,是傳輸鏈路層和用戶應(yīng)用之間的橋梁性協(xié)議。SPP協(xié)議定義的標準數(shù)據(jù)格式如圖1所示,主要包括主導頭、副導頭和用戶數(shù)據(jù)區(qū)3部分。

    圖1 空間數(shù)據(jù)包協(xié)議格式定義Fig.1 Definition of Space Packet Protocol

    通過SPP數(shù)據(jù)格式可以看到,主導頭主要用于定義數(shù)據(jù)的產(chǎn)生源頭以及數(shù)據(jù)傳輸方式,而副導頭則預(yù)留了較大的擴展空間,可以依據(jù)應(yīng)用進行定制。

    根據(jù)空間應(yīng)用數(shù)據(jù)的自身特性以及對象存儲系統(tǒng)的特點,在副導頭增加數(shù)據(jù)存儲屬性字段來擴展數(shù)據(jù)的表征方式,并添加數(shù)據(jù)的后續(xù)存儲需求,例如數(shù)據(jù)可靠性保證需求、數(shù)據(jù)的保密和壓縮需求等內(nèi)容。數(shù)據(jù)對象的副導頭擴展定義如圖2所示。

    數(shù)據(jù)存儲屬性字段的第1個要素為任務(wù)號TaskID,由于空間應(yīng)用數(shù)據(jù)的產(chǎn)生和處理與任務(wù)的安排密切相關(guān),可方便后續(xù)對該任務(wù)數(shù)據(jù)的查詢和檢索操作。

    圖2 空間應(yīng)用數(shù)據(jù)對象副導頭擴展定義Fig.2 Packet secondary header definition for space app lication data

    數(shù)據(jù)存儲屬性字段的第2個要素設(shè)計為子設(shè)備號SubDeviceID,對于某個特定的空間應(yīng)用載荷(具有唯一APID)一般會包括若干個儀器設(shè)備,不同的儀器設(shè)備數(shù)據(jù)特征各不相同,后續(xù)需要的存儲策略也有很大差異,因此加入子設(shè)備號屬性,可對應(yīng)用數(shù)據(jù)進一步細分。

    數(shù)據(jù)存儲屬性字段的第3個要素設(shè)計為數(shù)據(jù)類型DataType,對于某個特定的空間應(yīng)用載荷的特定儀器設(shè)備,依然可能產(chǎn)生不同的數(shù)據(jù)類型需要進行區(qū)分存儲,數(shù)據(jù)類型字段可以對數(shù)據(jù)進一步細分。

    數(shù)據(jù)存儲屬性字段的第4個要素設(shè)計為數(shù)據(jù)段標識SegNo,用于對同一類型數(shù)據(jù)的長度進行擴充。SPP協(xié)議中定義的序列號字段SeqNo僅能表示不超過1 GB的數(shù)據(jù),對于更大的數(shù)據(jù)長度,序列號SeqNo會重復。增加數(shù)據(jù)段標識SegNo可擴展數(shù)據(jù)對象長度。

    數(shù)據(jù)存儲屬性字段的第5個要素設(shè)計為QoS字段,QoS字段表征該數(shù)據(jù)對象希望對象存儲系統(tǒng)執(zhí)行的所有特殊需求,主要包括數(shù)據(jù)備份數(shù)目的需求、數(shù)據(jù)加密/壓縮等需求。

    綜上,空間應(yīng)用數(shù)據(jù)的CCSDS數(shù)據(jù)包可以采用<APID,Task ID,SubDeviceID,DataType,SegNo,SeqNo>六元組進行唯一表征,其中APID和Seq-No使用SPP包格式的主導頭信息,而TaskID,SubDeviceID,DataType,SegNo則使用SPP包格式的副導頭擴展信息。

    3 對象存儲系統(tǒng)架構(gòu)設(shè)計

    3.1 系統(tǒng)架構(gòu)

    對象存儲系統(tǒng)由3部分構(gòu)成,客戶端(Client)、元數(shù)據(jù)服務(wù)器(Metadata Server,MDS)和對象存儲設(shè)備(Object Storage Device,OSD),三部分之間通過主要的3個協(xié)議進行通信:存儲控制協(xié)議、存儲管理協(xié)議和存儲訪問協(xié)議。系統(tǒng)架構(gòu)如圖3所示。

    圖3 對象存儲系統(tǒng)架構(gòu)Fig.3 Framework of object storage system

    客戶端與元數(shù)據(jù)服務(wù)器通過存儲控制協(xié)議交換控制信息,例如任務(wù)請求及響應(yīng)等;客戶端與對象存儲設(shè)備通過存儲訪問協(xié)議交換讀寫的數(shù)據(jù);元數(shù)據(jù)服務(wù)器與對象存儲設(shè)備通過存儲管理協(xié)議進行對象存儲設(shè)備狀態(tài)管理等。

    3.1.1 客戶端

    客戶端是用戶訪問對象存儲系統(tǒng)的入口,將用戶直接的數(shù)據(jù)讀寫轉(zhuǎn)換為對象存儲系統(tǒng)內(nèi)部的數(shù)據(jù)訪問。客戶端屏蔽對象存儲系統(tǒng)內(nèi)部訪問細節(jié),對用戶提供直接的標準數(shù)據(jù)訪問接口。

    1)客戶端與元數(shù)據(jù)服務(wù)器交換控制信息,獲得當前存儲系統(tǒng)的狀態(tài);

    2)客戶端與對象存儲設(shè)備直接進行數(shù)據(jù)讀寫,完成數(shù)據(jù)傳輸。

    3.1.2 元數(shù)據(jù)服務(wù)器

    元數(shù)據(jù)服務(wù)器負責管理整個對象存儲系統(tǒng),包括所有用戶的元數(shù)據(jù)信息以及對象存儲系統(tǒng)自身的狀態(tài)信息。元數(shù)據(jù)信息描述了數(shù)據(jù)對象是如何分布在對象存儲設(shè)備上的布局信息(LAYOUT信息),而系統(tǒng)自身狀態(tài)信息則反映了對象存儲設(shè)備本身的工作狀態(tài)。

    1)對象存儲設(shè)備管理功能,包括節(jié)點健康狀況監(jiān)控及故障隔離;

    2)系統(tǒng)元數(shù)據(jù)管理功能,負責所有用戶數(shù)據(jù)的元數(shù)據(jù)信息管理,提供用戶數(shù)據(jù)快速查詢和檢索功能。

    3.1.3 對象存儲設(shè)備

    對象存儲設(shè)備負責具體用戶數(shù)據(jù)的實際存儲功能。

    1)智能化數(shù)據(jù)存儲功能,支持按照數(shù)據(jù)對象ID進行數(shù)據(jù)訪問;

    2)支持按照時間碼、對象屬性等進行快速檢索,提供符合要求的對象數(shù)據(jù);

    3)支持智能數(shù)據(jù)備份功能,對于需要進行數(shù)據(jù)冗余備份的對象數(shù)據(jù),自動在多個對象存儲設(shè)備節(jié)點進行數(shù)據(jù)備份。

    3.2 系統(tǒng)功能設(shè)計

    3.2.1 對象顆粒度設(shè)置

    按照SPP格式定義,空間應(yīng)用數(shù)據(jù)的基本顆粒度為單個CCSDS數(shù)據(jù)包,通過<APID,TaskID,SubDeviceID,DataType,SegNo,SeqNo>六元組進行表征,數(shù)據(jù)長度最長為64 kB。

    對于對象存儲系統(tǒng)來說,數(shù)據(jù)對象的顆粒度越小,意味著數(shù)據(jù)對象的管理類元數(shù)據(jù)信息越大。假設(shè)對象存儲系統(tǒng)的總?cè)萘繛?28 TB,意味著數(shù)據(jù)對象的個數(shù)不少于2×10個。如果對于每個數(shù)據(jù)對象都建立索引信息,則元數(shù)據(jù)服務(wù)器代價很大。為此可將數(shù)據(jù)對象的管理粒度和實際對象存儲粒度分離設(shè)計,將若干個數(shù)據(jù)對象分組進行統(tǒng)一管理。

    例如,考慮到空間應(yīng)用任務(wù)執(zhí)行的特點和系統(tǒng)規(guī)模,元數(shù)據(jù)服務(wù)器的索引信息可以只管理到數(shù)據(jù)段號,對于具有相同五元組<APID,Task ID,SubDeviceID,DataType,SegNo>的數(shù)據(jù)對象都分布在同一個OSD上,這樣元數(shù)據(jù)服務(wù)器的管理壓力顯著減低。另一方面具有相同五元組的數(shù)據(jù)對象總?cè)萘坎粫^1 GB,方便了用戶應(yīng)用數(shù)據(jù)在多個OSD之間的調(diào)度問題,也簡化了多備份策略下的數(shù)據(jù)遷移問題。

    本系統(tǒng)將數(shù)據(jù)對象進行組合管理,每個數(shù)據(jù)對象組通過五元組<APID,Task ID,SubDeviceID,DataType,SegNo>進行表征,而數(shù)據(jù)對象的讀寫訪問則依然使用六元組<APID,Task ID,SubDeviceID,DataType,SegNo,SeqNo>,簡化系統(tǒng)管理的同時,滿足用戶細粒度訪問數(shù)據(jù)的需求。

    3.2.2 模塊具體功能設(shè)計

    1)元數(shù)據(jù)服務(wù)器模塊。對象存儲系統(tǒng)中OSD設(shè)備狀態(tài)存在上線、下線等狀態(tài)變化,元數(shù)據(jù)服務(wù)器需實時了解各個OSD設(shè)備的可用狀態(tài)。為此設(shè)計心跳機制,OSD設(shè)備定時向元數(shù)據(jù)服務(wù)器報告自己的狀態(tài)。通過該機制,元數(shù)據(jù)服務(wù)器可了解系統(tǒng)中所有OSD在線狀態(tài)以及在線OSD的可用存儲容量、執(zhí)行任務(wù)情況等,并在系統(tǒng)中維持該信息(系統(tǒng)狀態(tài)信息)。

    元數(shù)據(jù)服務(wù)器另一個重要功能是維護系統(tǒng)中所有數(shù)據(jù)對象組的映射關(guān)系,即每個數(shù)據(jù)對象組存放在哪些OSD上(LAYOUT信息)。一般情況下,元數(shù)據(jù)服務(wù)器自身持久維護該信息,由此帶來了多元數(shù)據(jù)服務(wù)器之間、元數(shù)據(jù)服務(wù)器和OSD之間的信息同步問題,需要設(shè)計復雜的一致性協(xié)議保障數(shù)據(jù)同步。

    本文設(shè)計的元數(shù)據(jù)服務(wù)器對LAYOUT信息采用緩存模式,元數(shù)據(jù)服務(wù)器并不會長久保存LAYOUT信息,而是通過非易失OSD設(shè)備的信息進行恢復,所有數(shù)據(jù)以O(shè)SD信息為主,OSD同時保存了對象數(shù)據(jù)和對象元數(shù)據(jù)信息,可以保證數(shù)據(jù)和元數(shù)據(jù)之間的一致性。

    同時,緩存更新策略也采用懶更新策略,即系統(tǒng)上電時不會主動詢問OSD來實時更新該信息,只有當用戶執(zhí)行某個數(shù)據(jù)對象查詢時,元數(shù)據(jù)服務(wù)器檢查自己的LAYOUT信息,判斷是否有相關(guān)數(shù)據(jù)對象組的記錄,如果有則直接返回記錄信息給用戶;如果沒有,則向系統(tǒng)中所有的OSD進行查詢,并將查詢結(jié)果反饋給用戶的同時更新自身的LAYOUT信息。

    通過緩存模式設(shè)計和懶更新策略,極大降低了元數(shù)據(jù)服務(wù)器的設(shè)計復雜度和工作負載,使得輕量化的元數(shù)據(jù)服務(wù)器實現(xiàn)成為可能。由此帶來的缺點是用戶查詢元數(shù)據(jù)服務(wù)器緩存未命中的情況下,需要等待元數(shù)據(jù)服務(wù)器和OSD之間的信息更新,此時系統(tǒng)的讀取性能會稍微下降。但是對于空間應(yīng)用來說,90%以上的工況為數(shù)據(jù)寫入,該設(shè)計對系統(tǒng)性能幾乎無影響。

    2)對象存儲設(shè)備模塊。對象存儲設(shè)備設(shè)計為標準的對象數(shù)據(jù)訪問設(shè)備,每個數(shù)據(jù)對象的ID使用六元組<APID,TaskID,SubDeviceID,Data-Type,SegNo,SeqNo>表示,支持對任意數(shù)據(jù)對象的單獨訪問。

    3)客戶端模塊。用戶在訪問對象存儲系統(tǒng)之前,需要獲取對象存儲系統(tǒng)的相關(guān)設(shè)備信息。

    如果是數(shù)據(jù)對象寫入操作,則首先向元數(shù)據(jù)服務(wù)器請求系統(tǒng)狀態(tài)信息,可以獲知系統(tǒng)中OSD設(shè)備的在線狀態(tài)及工作參數(shù),由客戶端隨機選擇滿足要求的OSD進行數(shù)據(jù)寫入。

    如果是數(shù)據(jù)對象讀取操作,則首先向元數(shù)據(jù)服務(wù)器查詢該數(shù)據(jù)對象的LAYOUT信息,并依據(jù)元數(shù)據(jù)服務(wù)器反饋的LAYOUT信息訪問相應(yīng)的OSD設(shè)備。

    3.3 數(shù)據(jù)備份策略

    數(shù)據(jù)備份策略從系統(tǒng)層面和數(shù)據(jù)層面2個維度考慮,分別關(guān)注系統(tǒng)元數(shù)據(jù)的備份以及用戶數(shù)據(jù)的備份,以保障系統(tǒng)可靠運行和用戶數(shù)據(jù)可靠存儲。

    3.3.1 系統(tǒng)元數(shù)據(jù)備份策略

    對象存儲系統(tǒng)的系統(tǒng)元數(shù)據(jù)包含了整個系統(tǒng)運行所需的所有關(guān)鍵信息,包括系統(tǒng)所有節(jié)點的健康狀態(tài)數(shù)據(jù)、系統(tǒng)存儲資源的分配狀況、目前執(zhí)行任務(wù)的用戶信息等。

    傳統(tǒng)的對象存儲系統(tǒng)中,系統(tǒng)元數(shù)據(jù)必須實時更新,否則會面臨對象ID沖突等問題,導致數(shù)據(jù)對象寫入的互相覆蓋。因此對于多服務(wù)器組成的元數(shù)據(jù)服務(wù)器集群來說,多個服務(wù)器間的元數(shù)據(jù)必須滿足強一致性同步要求,給設(shè)計帶來了極大的挑戰(zhàn)。為滿足該要求,可以采用Paxos等一致性算法進行數(shù)據(jù)同步,由此帶來了頻繁的元數(shù)據(jù)服務(wù)器間數(shù)據(jù)更新操作,極大地影響系統(tǒng)的性能。

    本系統(tǒng)設(shè)計的元數(shù)據(jù)服務(wù)器通過以下2個方法解決這一問題:

    1)數(shù)據(jù)對象唯一性保證策略。數(shù)據(jù)對象ID的定義與數(shù)據(jù)產(chǎn)生的源頭進行綁定,通過唯一六元組<APID,Task ID,SubDeviceID,DataType,Seg-No,SeqNo>進行表征。通過該種方式保證了系統(tǒng)中不存在同樣的數(shù)據(jù)對象ID,因此即使在元數(shù)據(jù)服務(wù)器發(fā)生網(wǎng)絡(luò)分區(qū)無法通信的情況下,依然各自能夠執(zhí)行正常的任務(wù)。在網(wǎng)絡(luò)分區(qū)狀態(tài)解決后,多個元數(shù)據(jù)服務(wù)器的信息并不會發(fā)生沖突的情況,直接進行融合合并即可。

    2)OSD數(shù)據(jù)對象組預(yù)分配策略。每個OSD對于接收到的新的數(shù)據(jù)對象寫入請求時,首先判斷本OSD可供分配的剩余存儲空間。由于每個數(shù)據(jù)對象組的大小定義為不超過1 GB,因此OSD可以輕易地根據(jù)當前正在執(zhí)行的寫入需求判斷是否能夠接受新的數(shù)據(jù)對象寫入請求。這樣,即使多個用戶獲得的系統(tǒng)元數(shù)據(jù)信息不夠?qū)崟r,也不會發(fā)生用戶數(shù)據(jù)對象寫入錯誤的問題。通過數(shù)據(jù)對象組預(yù)分配策略,避免了數(shù)據(jù)對象組沖突導致的回滾動作。

    通過上述方法,解決了傳統(tǒng)對象存儲系統(tǒng)面臨的元數(shù)據(jù)服務(wù)器分區(qū)隔離和數(shù)據(jù)同步的需求,無需實現(xiàn)任何專門的元數(shù)據(jù)備份策略,即可保證系統(tǒng)正常穩(wěn)定運行。

    3.3.2 用戶數(shù)據(jù)備份策略

    用戶數(shù)據(jù)備份策略重點集中在面向航天應(yīng)用的按需備份策略的實施。按需備份策略需要解決2個問題:首先是用戶的備份需求通過什么樣的方式通知對象存儲系統(tǒng),其次是對于存在多個備份的數(shù)據(jù)對象,誰來執(zhí)行數(shù)據(jù)備份的操作以及維護系統(tǒng)中的有效備份數(shù)目。

    由于數(shù)據(jù)對象具有自描述的特征,為了簡化用戶與對象存儲系統(tǒng)之間的接口訪問,可以將每個數(shù)據(jù)對象的備份需求直接嵌入到數(shù)據(jù)對象的包格式中,為此為每個數(shù)據(jù)對象定義QoS字段并將其放置在副導頭位置,這樣所有對象存儲系統(tǒng)中的設(shè)備都能夠獲知該數(shù)據(jù)對象的QoS要求,而無需單獨與用戶進行協(xié)議交互。

    QoS字段表征了該數(shù)據(jù)對象希望對象存儲系統(tǒng)執(zhí)行的所有特殊需求,主要包括數(shù)據(jù)備份數(shù)目的需求、數(shù)據(jù)加密/壓縮等處理的需求。本文定義的QoS數(shù)據(jù)備份字段格式見圖4,通過在數(shù)據(jù)對象格式中定義QoS字段,解決了數(shù)據(jù)備份需求的約定形式。

    圖4 QoS數(shù)據(jù)備份字段定義Fig.4 Definition of QoS data backup segment

    本文采用由對象存儲設(shè)備主導的用戶數(shù)據(jù)備份方式。在該方式下,用戶只需完成對第1個對象存儲設(shè)備的數(shù)據(jù)寫入即可,第1個對象存儲設(shè)備會依據(jù)數(shù)據(jù)備份的具體需求,適時地將數(shù)據(jù)寫入到其余的備份設(shè)備。

    每個對象存儲設(shè)備在接收到有備份需求的數(shù)據(jù)對象時,除了將該數(shù)據(jù)對象保存到本地,還會檢查該對象的當前備份編號字段,如果當前備份編號小于備份次數(shù)需求,則該設(shè)備將當前備份編號加1并發(fā)送給系統(tǒng)中的下1個對象存儲設(shè)備,如果當前備份編號大于等于備份次數(shù)需求,則只進行數(shù)據(jù)對象保存而不進行后續(xù)的備份工作。通過該機制能夠以簡單的方式實現(xiàn)系統(tǒng)中存儲多個數(shù)據(jù)備份的需求。

    在系統(tǒng)運行過程中,如某個備份節(jié)點發(fā)生了損壞,則會導致系統(tǒng)中有效數(shù)據(jù)備份數(shù)目減少。如果需要對象存儲系統(tǒng)中始終存在滿足需求的備份數(shù)目,則需要設(shè)計數(shù)據(jù)遷移策略,在監(jiān)測到數(shù)據(jù)存儲設(shè)備故障導致備份數(shù)目不足的情況下,啟動數(shù)據(jù)遷移??臻g數(shù)據(jù)備份策略的需求是為了解決數(shù)據(jù)存儲設(shè)備故障的情況,避免關(guān)鍵數(shù)據(jù)的單點失效不可恢復,而不是追求系統(tǒng)在長時間運行中始終維持多個備份數(shù)據(jù)的存在。綜合考慮空間應(yīng)用數(shù)據(jù)的使用需求以及數(shù)據(jù)遷移帶來的網(wǎng)絡(luò)傳輸代價,本文不考慮數(shù)據(jù)遷移算法的設(shè)計,即數(shù)據(jù)備份策略只在初次數(shù)據(jù)寫入的時候執(zhí)行,保證系統(tǒng)中存在滿足需求的備份數(shù)目,而后續(xù)設(shè)備故障導致的備份丟失不會觸發(fā)數(shù)據(jù)遷移操作。

    4 系統(tǒng)驗證

    4.1 驗證系統(tǒng)組成

    系統(tǒng)驗證以空間站應(yīng)用系統(tǒng)項目為背景,構(gòu)建模擬地面驗證環(huán)境,對本文提出對象存儲系統(tǒng)進行功能和性能驗證。

    驗證系統(tǒng)基于FC-AE-1553交換式網(wǎng)絡(luò)進行構(gòu)建,在交換網(wǎng)絡(luò)之上實現(xiàn)了對象存儲系統(tǒng),主要包括元數(shù)據(jù)服務(wù)器、智能存儲節(jié)點和客戶端模擬設(shè)備,驗證系統(tǒng)組成如圖5所示。

    在硬件設(shè)計上,元數(shù)據(jù)服務(wù)器和智能存儲節(jié)點均采用自研的嵌入式3U VPX板卡(主芯片為Xilinx XC7Z045),盡可能模擬將來在軌應(yīng)用的實際使用環(huán)境,地檢則使用多個機架式服務(wù)器進行模擬。

    元數(shù)據(jù)服務(wù)器軟件完成對智能存儲節(jié)點的狀態(tài)管理和客戶端存儲任務(wù)的管理,運行在FC-AE-1553網(wǎng)絡(luò)的NC節(jié)點上。智能存儲節(jié)點完成對用戶數(shù)據(jù)的實際存儲,運行在FC-AE-1553網(wǎng)絡(luò)的NT節(jié)點上??蛻舳斯δ苓\行在地檢上,完成載荷數(shù)據(jù)源模擬及地面數(shù)據(jù)下行通道模擬。三部分共同完成對象存儲系統(tǒng)的資源調(diào)度,實現(xiàn)數(shù)據(jù)的寫入和讀取操作。

    圖5 技術(shù)驗證系統(tǒng)組成框圖Fig.5 Block diagram of technical verification system

    驗證系統(tǒng)的部分性能指標如下:

    1)FC-AE-1553交換網(wǎng)絡(luò)物理層速率為4.25 Gbps,去除物理層8 B/10 B編碼開銷,理論上限為3.4 Gbps;

    2)單個NT模擬節(jié)點模擬不超過8個載荷,單個載荷的有效數(shù)據(jù)率設(shè)計為不超過600 Mbps,仿真實際的機柜內(nèi)工作載荷;

    3)單個NT智能存儲節(jié)點的內(nèi)部存儲帶寬為4.5~5.8 Gbps。

    4.2 驗證結(jié)果

    為了驗證對象存儲系統(tǒng)在不同工況下的存儲性能,分別設(shè)計多載荷任務(wù)同時訪問測試和多節(jié)點存儲系統(tǒng)測試,模擬在軌多用戶同時訪問和存儲系統(tǒng)節(jié)點動態(tài)調(diào)整的使用工況。

    1)多載荷任務(wù)同時訪問性能測試。單個存儲節(jié)點情況下,載荷任務(wù)分別設(shè)置為(1/2/4/8/16/32/64),測試系統(tǒng)的存儲總帶寬。多載荷任務(wù)同時存儲性能測試結(jié)果如圖6所示,可以看到,隨著載荷任務(wù)增多,系統(tǒng)總帶寬逐步增加到3.17 Gbps,此后基本維持穩(wěn)定。對象存儲系統(tǒng)能夠支持多任務(wù)并發(fā)執(zhí)行,并在嵌入式環(huán)境下網(wǎng)絡(luò)帶寬利用率達到91%以上。

    2)多存儲節(jié)點系統(tǒng)性能測試。載荷任務(wù)固定為64的情況下,存儲節(jié)點數(shù)目分別設(shè)置為(1/2/4/8),測試系統(tǒng)的存儲總帶寬。多存儲節(jié)點同時存儲性能測試結(jié)果如圖7所示??梢钥吹剑谠撔∫?guī)模存儲系統(tǒng)下,隨著存儲節(jié)點數(shù)目增多,對象存儲系統(tǒng)的性能隨著分布式節(jié)點近似線性增加,系統(tǒng)具有良好的橫向擴展能力。

    圖6 多載荷任務(wù)工況系統(tǒng)存儲帶寬Fig.6 Storage bandw idth ofmulti-task system

    圖7 多存儲節(jié)點工況系統(tǒng)存儲帶寬Fig.7 Storage bandw idth of multiple storage nodes system

    5 結(jié)論

    本文針對空間站空間應(yīng)用場景,設(shè)計了小規(guī)模對象存儲系統(tǒng),研究了空間數(shù)據(jù)對象格式定義、對象存儲系統(tǒng)架構(gòu)和協(xié)議、系統(tǒng)數(shù)據(jù)備份策略等問題,提出了適應(yīng)場景的設(shè)計方案,并進行了系統(tǒng)驗證。驗證結(jié)果表明:在航天專用的嵌入式環(huán)境下,通過對象存儲系統(tǒng)解決資源共享、高速存儲、高可靠、可擴展等數(shù)據(jù)存儲系統(tǒng)面臨的難題是一種可行的途徑。

    猜你喜歡
    數(shù)據(jù)備份存儲設(shè)備存儲系統(tǒng)
    泉州高速公路收費系統(tǒng)遠程數(shù)據(jù)備份研究
    海洋數(shù)據(jù)備份平臺的設(shè)計和實現(xiàn)
    程控交換機的數(shù)據(jù)備份與恢復技術(shù)分析
    分布式存儲系統(tǒng)在企業(yè)檔案管理中的應(yīng)用
    哈爾濱軸承(2020年2期)2020-11-06 09:22:36
    No.4 IDC:2019年上半年數(shù)據(jù)備份與恢復市場同比增長10.0%
    天河超算存儲系統(tǒng)在美創(chuàng)佳績
    Windows 7下USB存儲設(shè)備接入痕跡的證據(jù)提取
    基于Flash芯片的新型存儲設(shè)備數(shù)據(jù)恢復技術(shù)研究
    華為震撼發(fā)布新一代OceanStor 18000 V3系列高端存儲系統(tǒng)
    一種基于STM32的具有斷電保護機制的采集存儲系統(tǒng)設(shè)計
    亚洲国产精品国产精品| 夫妻性生交免费视频一级片| 亚洲成人一二三区av| 熟女人妻精品中文字幕| 久久久久人妻精品一区果冻| 99热国产这里只有精品6| av在线播放精品| 久久热精品热| 久热久热在线精品观看| 久久韩国三级中文字幕| av在线蜜桃| 尤物成人国产欧美一区二区三区| 啦啦啦中文免费视频观看日本| av网站免费在线观看视频| 又爽又黄a免费视频| 亚洲aⅴ乱码一区二区在线播放| 久久99蜜桃精品久久| 人妻 亚洲 视频| 国产免费一区二区三区四区乱码| 黄片无遮挡物在线观看| 国产成人精品一,二区| 丰满乱子伦码专区| 黑丝袜美女国产一区| av线在线观看网站| 一区二区三区免费毛片| 99热国产这里只有精品6| 亚洲经典国产精华液单| 色综合色国产| 久久久久久久国产电影| a 毛片基地| 免费大片18禁| 久久精品久久久久久噜噜老黄| 高清午夜精品一区二区三区| 久久精品熟女亚洲av麻豆精品| 欧美国产精品一级二级三级 | 免费观看无遮挡的男女| 26uuu在线亚洲综合色| 午夜福利在线在线| 99热这里只有精品一区| 久久久亚洲精品成人影院| 国产精品99久久久久久久久| 18+在线观看网站| 中文资源天堂在线| 不卡视频在线观看欧美| 三级经典国产精品| av.在线天堂| 国产免费一级a男人的天堂| 肉色欧美久久久久久久蜜桃| 欧美日韩一区二区视频在线观看视频在线| tube8黄色片| 精品一区二区三区视频在线| 91精品伊人久久大香线蕉| 欧美日韩视频高清一区二区三区二| 99精国产麻豆久久婷婷| 精品亚洲乱码少妇综合久久| 欧美97在线视频| 婷婷色av中文字幕| 视频中文字幕在线观看| 亚洲精品成人av观看孕妇| 欧美xxxx黑人xx丫x性爽| 日本猛色少妇xxxxx猛交久久| 中文欧美无线码| 欧美老熟妇乱子伦牲交| 婷婷色av中文字幕| 夜夜骑夜夜射夜夜干| 深爱激情五月婷婷| 国产精品国产三级国产av玫瑰| 色综合色国产| 日韩,欧美,国产一区二区三区| 少妇人妻精品综合一区二区| 哪个播放器可以免费观看大片| 91精品一卡2卡3卡4卡| 丝袜脚勾引网站| 久久人人爽人人爽人人片va| 午夜日本视频在线| 久久精品国产亚洲av涩爱| 中文字幕人妻熟人妻熟丝袜美| 美女福利国产在线 | 亚洲欧美一区二区三区黑人 | 六月丁香七月| 我的女老师完整版在线观看| .国产精品久久| 人妻一区二区av| videos熟女内射| 国产免费一区二区三区四区乱码| 国产男人的电影天堂91| 日本vs欧美在线观看视频 | 国产v大片淫在线免费观看| a 毛片基地| 熟女人妻精品中文字幕| 亚洲婷婷狠狠爱综合网| 亚洲欧美日韩卡通动漫| 成人国产麻豆网| 欧美变态另类bdsm刘玥| 秋霞在线观看毛片| 久久97久久精品| 在线观看三级黄色| 男女免费视频国产| 美女视频免费永久观看网站| 一边亲一边摸免费视频| 亚洲成人中文字幕在线播放| 精品国产一区二区三区久久久樱花 | 免费看日本二区| 国产精品99久久99久久久不卡 | 在线 av 中文字幕| 青春草亚洲视频在线观看| 久久久久精品久久久久真实原创| 亚洲第一区二区三区不卡| 99re6热这里在线精品视频| 精品亚洲乱码少妇综合久久| 久久99热6这里只有精品| 国产成人a∨麻豆精品| 亚洲怡红院男人天堂| 久久国产精品大桥未久av | 国产男女内射视频| 亚洲真实伦在线观看| 制服丝袜香蕉在线| 熟女av电影| 久久亚洲国产成人精品v| 亚洲精品日本国产第一区| 日本av手机在线免费观看| 久久久久精品久久久久真实原创| 亚洲欧美一区二区三区黑人 | 国产亚洲精品久久久com| 丰满乱子伦码专区| 久久精品久久久久久噜噜老黄| 成人高潮视频无遮挡免费网站| 国产高清三级在线| 久久久久国产精品人妻一区二区| 国产高清有码在线观看视频| 国产成人精品婷婷| 又大又黄又爽视频免费| 插逼视频在线观看| 国产在线男女| 日韩视频在线欧美| 久久久久久久国产电影| 少妇人妻精品综合一区二区| 色婷婷久久久亚洲欧美| 国产免费一区二区三区四区乱码| 欧美zozozo另类| 能在线免费看毛片的网站| 日韩免费高清中文字幕av| 一本久久精品| 精品久久久久久久末码| 精品少妇久久久久久888优播| 伦理电影免费视频| 亚洲欧美精品专区久久| 欧美区成人在线视频| 尾随美女入室| 男的添女的下面高潮视频| 国产日韩欧美亚洲二区| 久久精品国产亚洲av天美| 特大巨黑吊av在线直播| 久久久久久久亚洲中文字幕| 久久婷婷青草| 岛国毛片在线播放| 中文资源天堂在线| 99国产精品免费福利视频| 国产白丝娇喘喷水9色精品| 在线精品无人区一区二区三 | 欧美亚洲 丝袜 人妻 在线| 亚洲伊人久久精品综合| a级毛片免费高清观看在线播放| 一边亲一边摸免费视频| 日韩大片免费观看网站| 久久精品国产自在天天线| 这个男人来自地球电影免费观看 | 在线观看免费日韩欧美大片 | 免费观看a级毛片全部| 1000部很黄的大片| 国产黄片美女视频| 国产欧美亚洲国产| 国产精品国产av在线观看| 又爽又黄a免费视频| 极品少妇高潮喷水抽搐| 国产精品蜜桃在线观看| 免费黄色在线免费观看| 好男人视频免费观看在线| 国产精品精品国产色婷婷| 国产精品人妻久久久影院| 亚洲av成人精品一二三区| 国产精品成人在线| 1000部很黄的大片| 亚洲国产精品999| 又爽又黄a免费视频| 国产免费视频播放在线视频| 在线观看免费高清a一片| 久久国产亚洲av麻豆专区| 亚洲国产欧美人成| 国产男女内射视频| 亚洲国产欧美人成| 噜噜噜噜噜久久久久久91| 日韩大片免费观看网站| 日韩中字成人| 只有这里有精品99| 中文天堂在线官网| 精品国产一区二区三区久久久樱花 | 免费人妻精品一区二区三区视频| 伊人久久精品亚洲午夜| 欧美变态另类bdsm刘玥| 亚洲色图av天堂| 亚洲成人av在线免费| 又黄又爽又刺激的免费视频.| 国产精品久久久久久精品古装| 黄色视频在线播放观看不卡| 欧美成人a在线观看| 狂野欧美激情性xxxx在线观看| 亚洲内射少妇av| 精品人妻视频免费看| 汤姆久久久久久久影院中文字幕| 男女边摸边吃奶| 免费人妻精品一区二区三区视频| 男的添女的下面高潮视频| 成人免费观看视频高清| 人人妻人人爽人人添夜夜欢视频 | 欧美精品人与动牲交sv欧美| 国产爱豆传媒在线观看| 日韩人妻高清精品专区| 高清黄色对白视频在线免费看 | 91久久精品国产一区二区三区| 我的女老师完整版在线观看| 国产精品秋霞免费鲁丝片| 免费不卡的大黄色大毛片视频在线观看| 欧美日韩视频精品一区| 亚洲欧美精品自产自拍| 亚洲久久久国产精品| 久久婷婷青草| av在线老鸭窝| 老女人水多毛片| 大又大粗又爽又黄少妇毛片口| 最近最新中文字幕大全电影3| 青春草国产在线视频| 秋霞在线观看毛片| 国产欧美另类精品又又久久亚洲欧美| 亚洲欧美日韩东京热| 亚洲第一av免费看| 伊人久久国产一区二区| 纯流量卡能插随身wifi吗| 久久99热6这里只有精品| 精品人妻熟女av久视频| 国产片特级美女逼逼视频| 亚洲综合精品二区| a 毛片基地| 在线观看免费高清a一片| 男男h啪啪无遮挡| videossex国产| 天堂8中文在线网| 少妇猛男粗大的猛烈进出视频| 美女福利国产在线 | 亚洲精品国产成人久久av| 高清av免费在线| 亚洲内射少妇av| 偷拍熟女少妇极品色| 黑人高潮一二区| av播播在线观看一区| 亚洲精品视频女| 欧美日韩一区二区视频在线观看视频在线| 在线看a的网站| 成人国产麻豆网| 免费久久久久久久精品成人欧美视频 | 国产精品99久久99久久久不卡 | 亚洲欧美日韩卡通动漫| 日韩欧美精品免费久久| 黄色视频在线播放观看不卡| 欧美3d第一页| 99久久人妻综合| av专区在线播放| 99国产精品免费福利视频| 大陆偷拍与自拍| 精品人妻偷拍中文字幕| 日本色播在线视频| 黑人高潮一二区| 天堂8中文在线网| av不卡在线播放| 亚洲av综合色区一区| 国产一区有黄有色的免费视频| 人妻 亚洲 视频| 久久女婷五月综合色啪小说| 男女啪啪激烈高潮av片| 男女下面进入的视频免费午夜| 免费看不卡的av| 久久精品国产亚洲av涩爱| 亚洲欧美精品自产自拍| 少妇人妻一区二区三区视频| 18禁裸乳无遮挡动漫免费视频| 欧美日韩国产mv在线观看视频 | 一个人看的www免费观看视频| av在线蜜桃| 亚洲成人中文字幕在线播放| 久久久国产一区二区| 91精品伊人久久大香线蕉| 少妇 在线观看| 又爽又黄a免费视频| 日韩成人伦理影院| 欧美xxⅹ黑人| 少妇被粗大猛烈的视频| 男女边吃奶边做爰视频| 国产精品久久久久久av不卡| 免费在线观看成人毛片| 亚洲精品一区蜜桃| 亚洲欧美成人精品一区二区| 夜夜看夜夜爽夜夜摸| 亚洲精品,欧美精品| 亚洲精品国产成人久久av| 最近手机中文字幕大全| 亚洲成人一二三区av| 大又大粗又爽又黄少妇毛片口| 在线精品无人区一区二区三 | 午夜免费鲁丝| 色视频www国产| 赤兔流量卡办理| 永久免费av网站大全| 亚洲国产av新网站| 久久99热这里只频精品6学生| 韩国高清视频一区二区三区| 久久婷婷青草| 99视频精品全部免费 在线| 亚洲欧美成人综合另类久久久| 青青草视频在线视频观看| 亚洲国产色片| 国产成人精品一,二区| 中国美白少妇内射xxxbb| 精品人妻偷拍中文字幕| 日韩av免费高清视频| 大片免费播放器 马上看| 国产爽快片一区二区三区| 亚洲中文av在线| 欧美日韩精品成人综合77777| 久久人人爽av亚洲精品天堂 | 亚洲国产日韩一区二区| 2022亚洲国产成人精品| 免费人妻精品一区二区三区视频| 2022亚洲国产成人精品| 美女国产视频在线观看| 最近手机中文字幕大全| 在线观看人妻少妇| 大陆偷拍与自拍| 亚洲怡红院男人天堂| 久久青草综合色| 欧美成人精品欧美一级黄| 亚洲性久久影院| 蜜臀久久99精品久久宅男| 噜噜噜噜噜久久久久久91| 狂野欧美激情性bbbbbb| 久热这里只有精品99| av网站免费在线观看视频| 大片电影免费在线观看免费| 热99国产精品久久久久久7| videos熟女内射| 色网站视频免费| 亚洲av男天堂| av国产久精品久网站免费入址| 亚洲欧美日韩另类电影网站 | 亚洲欧美日韩东京热| 国产精品秋霞免费鲁丝片| 国产精品女同一区二区软件| 99热6这里只有精品| 欧美变态另类bdsm刘玥| 边亲边吃奶的免费视频| 一本色道久久久久久精品综合| 国产av国产精品国产| 狂野欧美激情性bbbbbb| 精品人妻一区二区三区麻豆| 网址你懂的国产日韩在线| 亚洲性久久影院| 天天躁夜夜躁狠狠久久av| 国产精品人妻久久久影院| 亚洲综合精品二区| 国产中年淑女户外野战色| 青春草视频在线免费观看| 欧美激情国产日韩精品一区| 天堂中文最新版在线下载| 亚洲精品色激情综合| 久久久色成人| 99久久精品一区二区三区| 亚洲一区二区三区欧美精品| 啦啦啦在线观看免费高清www| 夜夜骑夜夜射夜夜干| 亚洲精品一区蜜桃| 久久国产精品大桥未久av | 国产av精品麻豆| 日本av免费视频播放| 成人18禁高潮啪啪吃奶动态图 | 中文在线观看免费www的网站| 婷婷色麻豆天堂久久| 性色avwww在线观看| 精品视频人人做人人爽| 国产一区二区三区av在线| 亚洲,一卡二卡三卡| 精品一品国产午夜福利视频| 寂寞人妻少妇视频99o| 日韩精品有码人妻一区| 99久久综合免费| 成人综合一区亚洲| 国产黄色免费在线视频| 亚洲精品国产色婷婷电影| 国产成人aa在线观看| 午夜免费观看性视频| 久久久亚洲精品成人影院| av一本久久久久| 啦啦啦啦在线视频资源| 网址你懂的国产日韩在线| 色婷婷av一区二区三区视频| 在线 av 中文字幕| 尤物成人国产欧美一区二区三区| 人妻夜夜爽99麻豆av| 天堂8中文在线网| 国产爽快片一区二区三区| 插逼视频在线观看| 一本色道久久久久久精品综合| 韩国av在线不卡| 高清午夜精品一区二区三区| 欧美一区二区亚洲| 亚洲精品国产av蜜桃| 大陆偷拍与自拍| 美女国产视频在线观看| 午夜老司机福利剧场| 成人综合一区亚洲| 成人毛片a级毛片在线播放| 偷拍熟女少妇极品色| 特大巨黑吊av在线直播| 波野结衣二区三区在线| 亚洲精品色激情综合| 人妻系列 视频| 日本黄色日本黄色录像| 亚洲av男天堂| 精品人妻熟女av久视频| 亚洲性久久影院| 国产伦精品一区二区三区视频9| 精品一区二区三区视频在线| 人妻一区二区av| 美女主播在线视频| 成人无遮挡网站| 联通29元200g的流量卡| 男女免费视频国产| 国产亚洲最大av| 亚洲av综合色区一区| 国产在线免费精品| 一区二区av电影网| 91久久精品国产一区二区成人| 18禁动态无遮挡网站| 老司机影院毛片| 99久久中文字幕三级久久日本| 国产在视频线精品| 男女无遮挡免费网站观看| 日韩av在线免费看完整版不卡| 狂野欧美激情性xxxx在线观看| 国产精品久久久久久久久免| 亚洲四区av| 如何舔出高潮| av天堂中文字幕网| 免费av中文字幕在线| 欧美极品一区二区三区四区| 成人毛片60女人毛片免费| 黄色怎么调成土黄色| 久久精品国产鲁丝片午夜精品| 夫妻性生交免费视频一级片| 亚洲内射少妇av| 超碰97精品在线观看| 女性生殖器流出的白浆| 日本猛色少妇xxxxx猛交久久| 免费看日本二区| 国产在线免费精品| 各种免费的搞黄视频| 我要看黄色一级片免费的| 欧美高清成人免费视频www| 亚洲美女黄色视频免费看| 高清不卡的av网站| 欧美97在线视频| 国产一区二区三区av在线| 王馨瑶露胸无遮挡在线观看| 午夜免费男女啪啪视频观看| 最新中文字幕久久久久| 亚洲va在线va天堂va国产| 久久久欧美国产精品| 在线观看一区二区三区| 日韩亚洲欧美综合| 久久亚洲国产成人精品v| 日韩不卡一区二区三区视频在线| 久久午夜福利片| 国产午夜精品一二区理论片| av.在线天堂| 久久久久久伊人网av| 欧美日韩国产mv在线观看视频 | 精品一品国产午夜福利视频| 欧美日韩在线观看h| 91精品国产国语对白视频| 日韩视频在线欧美| 成人黄色视频免费在线看| 国产片特级美女逼逼视频| 内射极品少妇av片p| 七月丁香在线播放| 热re99久久精品国产66热6| 国产有黄有色有爽视频| 一区二区三区四区激情视频| 久久精品国产a三级三级三级| 日日啪夜夜撸| 王馨瑶露胸无遮挡在线观看| 成人午夜精彩视频在线观看| 成人国产麻豆网| 少妇 在线观看| 亚洲经典国产精华液单| 黑人猛操日本美女一级片| 亚洲美女搞黄在线观看| www.av在线官网国产| 免费久久久久久久精品成人欧美视频 | 亚洲精华国产精华液的使用体验| 草草在线视频免费看| 下体分泌物呈黄色| 亚洲av二区三区四区| 久久影院123| 99热这里只有是精品50| 亚洲av成人精品一二三区| 国产69精品久久久久777片| 久久热精品热| 嫩草影院新地址| 赤兔流量卡办理| 日韩大片免费观看网站| 超碰97精品在线观看| 在线看a的网站| 91久久精品国产一区二区成人| 久热这里只有精品99| 亚洲伊人久久精品综合| 久久99热6这里只有精品| 欧美三级亚洲精品| 啦啦啦中文免费视频观看日本| 亚洲,欧美,日韩| 成人影院久久| 亚洲av中文字字幕乱码综合| 中国三级夫妇交换| 亚洲av综合色区一区| 波野结衣二区三区在线| 自拍偷自拍亚洲精品老妇| 男人和女人高潮做爰伦理| 岛国毛片在线播放| 伦理电影免费视频| 成人美女网站在线观看视频| 视频区图区小说| 国产中年淑女户外野战色| 欧美xxⅹ黑人| 国产成人a∨麻豆精品| 欧美日本视频| 在线观看三级黄色| 久久久久久久久久久丰满| 91aial.com中文字幕在线观看| 中文乱码字字幕精品一区二区三区| 免费看不卡的av| 日韩中文字幕视频在线看片 | 精品亚洲成a人片在线观看 | 久久女婷五月综合色啪小说| 国产精品一及| 亚洲欧美日韩另类电影网站 | 国产亚洲精品久久久com| 中文天堂在线官网| 日本黄色片子视频| 草草在线视频免费看| 青春草视频在线免费观看| av免费观看日本| 高清毛片免费看| 久久人人爽人人爽人人片va| 午夜视频国产福利| av国产精品久久久久影院| 国产精品偷伦视频观看了| 国产欧美日韩一区二区三区在线 | 国产精品成人在线| 纯流量卡能插随身wifi吗| 日韩三级伦理在线观看| 久久久精品免费免费高清| 日本爱情动作片www.在线观看| 夜夜看夜夜爽夜夜摸| 三级国产精品片| 26uuu在线亚洲综合色| 黄色欧美视频在线观看| 嫩草影院新地址| 寂寞人妻少妇视频99o| 国产精品国产三级国产专区5o| 亚洲伊人久久精品综合| 精品一区二区三卡| 啦啦啦视频在线资源免费观看| 亚洲精品aⅴ在线观看| 国产精品蜜桃在线观看| 大片电影免费在线观看免费| 久久鲁丝午夜福利片| 能在线免费看毛片的网站| 久久99精品国语久久久| 乱码一卡2卡4卡精品| 深爱激情五月婷婷| 国产熟女欧美一区二区| 亚洲精品第二区| 日韩制服骚丝袜av| 小蜜桃在线观看免费完整版高清| 毛片一级片免费看久久久久| 午夜福利高清视频| 久久久久久人妻| 亚洲精品国产色婷婷电影| 人体艺术视频欧美日本| 美女高潮的动态| 日韩三级伦理在线观看| 亚洲欧美日韩东京热| 2021少妇久久久久久久久久久| 欧美精品一区二区免费开放| 夜夜爽夜夜爽视频| 啦啦啦中文免费视频观看日本| 大话2 男鬼变身卡| 国产欧美日韩一区二区三区在线 | 国产精品秋霞免费鲁丝片| 在线播放无遮挡| 午夜福利影视在线免费观看| 国产真实伦视频高清在线观看| 国产成人a区在线观看| 久久6这里有精品| 亚洲精品亚洲一区二区| 在线观看人妻少妇| 青青草视频在线视频观看| 永久免费av网站大全|