• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    數(shù)據(jù)密集型計算的遙感圖像預(yù)處理方法①

    2017-05-17 09:59:55劉曉楠臧文乾河南大學(xué)計算機與信息工程學(xué)院開封47500中國科學(xué)院遙感與數(shù)字地球研究所北京000
    計算機系統(tǒng)應(yīng)用 2017年4期
    關(guān)鍵詞:生產(chǎn)模型

    周 兵, 劉曉楠,, 臧文乾, 陳 恒,(河南大學(xué) 計算機與信息工程學(xué)院, 開封 47500)(中國科學(xué)院遙感與數(shù)字地球研究所, 北京 000)

    數(shù)據(jù)密集型計算的遙感圖像預(yù)處理方法①

    周 兵1, 劉曉楠1,2, 臧文乾2, 陳 恒1,21(河南大學(xué) 計算機與信息工程學(xué)院, 開封 475001)2(中國科學(xué)院遙感與數(shù)字地球研究所, 北京 100101)

    針對大數(shù)據(jù)時代, 數(shù)據(jù)密集型計算已經(jīng)成為國內(nèi)外的一個研究熱點. 遙感數(shù)據(jù)具有多源化、海量化特點,是名副其實的大數(shù)據(jù). 研究適用于遙感影像自動化、業(yè)務(wù)化處理的數(shù)據(jù)密集型計算方法, 是目前遙感應(yīng)用技術(shù)面臨的挑戰(zhàn)所面臨的挑戰(zhàn), 本文提出了一種基于數(shù)據(jù)密集型計算的遙感圖像處理方法. 在文中, 首先圍繞遙感數(shù)據(jù)自動化、業(yè)務(wù)化預(yù)處理等問題, 深入調(diào)查和分析了國內(nèi)外研究現(xiàn)狀, 進(jìn)而介紹了系統(tǒng)體系結(jié)構(gòu), 通過工作流靈活組織多種算法模型協(xié)同工作, 設(shè)計以“5并行1加速”的計算體系解決數(shù)據(jù)密集型的遙感圖像預(yù)處理, 并通過產(chǎn)品生產(chǎn)實例對其性能進(jìn)行測試. 結(jié)果表明, 該系統(tǒng)在保證處理精度的前提下, 大大提高了遙感大數(shù)據(jù)預(yù)處理的效率.

    遙感數(shù)據(jù); 遙感預(yù)處理; 數(shù)據(jù)密集型計算; 并行計算; 5并行1加速; 工作流

    隨著航空與遙感技術(shù)的不斷發(fā)展, 遙感數(shù)據(jù)正在以太比特級(TB)速度增長, 數(shù)據(jù)的處理環(huán)節(jié)速度卻普遍緩慢, 現(xiàn)有的人工作業(yè)方式的時效性已經(jīng)不能滿足日??蒲泻蜕a(chǎn)活動的要求[1]. 由于遙感衛(wèi)星上的傳感器種類眾多, 各類型數(shù)據(jù)處理的算法不同, 進(jìn)行大尺度范圍、長時間序列的數(shù)據(jù)密集型計算[2]特性日漸凸顯, 因此通過獨立于數(shù)據(jù)處理的流程來組合算法減少系統(tǒng)復(fù)雜度成為了當(dāng)下研究的熱點問題.

    商用軟件存在操作方法各異、參數(shù)設(shè)置復(fù)雜等問題,而且涉及幾何處理上欠缺自動化批量處理的模式[3]. 針對這些問題遙感數(shù)據(jù)處理需要設(shè)計出一個可靠的半自動生產(chǎn)模型并在保證精確度的同時提高處理的效率.國內(nèi)外一些學(xué)者對于這些問題也做了一定研究, 如文獻(xiàn)[4]提出一種帶幾何約束的大幅面自動快速配準(zhǔn)方法來提升影像處理速度. 針對海量數(shù)據(jù)的遙感圖像處理,除了提高處理效率還需要可靠、魯棒的自動化生產(chǎn).文獻(xiàn)[5]和文獻(xiàn)[6]運用主副版本機制有效的提高了調(diào)度算法的可靠性. 文獻(xiàn)[7]通過工作流實現(xiàn)遙感數(shù)據(jù)和處理算法的統(tǒng)一控制和管理, 以達(dá)到簡化系統(tǒng)復(fù)雜度的目的. 通過工作流和有效的調(diào)度算法可以極大的提高構(gòu)件的可復(fù)用性, 更好的實現(xiàn)數(shù)據(jù)流的自動控制.文獻(xiàn)[8]和文獻(xiàn)[9]通過GPU-CPU協(xié)同模式為算法的性能提高和遙感影像處理系統(tǒng)構(gòu)建提供了高效的解決方案, 充分發(fā)揮單機環(huán)境下不同硬件資源的計算優(yōu)勢.文獻(xiàn)[10]通過最大值似然分類算法驗證基于云計算可以實現(xiàn)遙感圖像的快速處理. 文獻(xiàn)[11]將數(shù)據(jù)、功能、任務(wù)并行融合到遙感生產(chǎn)中, 形成三級并行的設(shè)計方案有效的提高業(yè)務(wù)化處理的效率.

    結(jié)合目前的研究現(xiàn)狀, 本文設(shè)計的遙感預(yù)處理系統(tǒng)根據(jù)定量化應(yīng)用需求, 利用0-2級產(chǎn)品進(jìn)行幾何和光譜精化校正獲得基礎(chǔ)標(biāo)準(zhǔn)信息產(chǎn)品. 針對遙感影像數(shù)據(jù)量大、涵蓋信息多、處理模型復(fù)雜、處理時間長等問題, 采用靈活的工作流模式組織幾何糾正、云檢測、大氣糾正、融合、數(shù)據(jù)標(biāo)準(zhǔn)化等多種算法模型形成全鏈路處理系統(tǒng), 并實現(xiàn)結(jié)構(gòu)簡單具備通用性、可擴展性的處理架構(gòu), 結(jié)合多種并行方式來縮短遙感影像處理的生產(chǎn)時間, 實現(xiàn)遙感數(shù)據(jù)的業(yè)務(wù)化生產(chǎn).

    1 系統(tǒng)的體系結(jié)構(gòu)

    本系統(tǒng)針對遙感產(chǎn)品的生產(chǎn)需求和遙感數(shù)據(jù)量大、數(shù)據(jù)類型復(fù)雜的特點, 結(jié)合多種并行方式縮短遙感數(shù)據(jù)的生產(chǎn)時間, 利用生產(chǎn)節(jié)點、分布式數(shù)據(jù)庫構(gòu)成高速計算環(huán)境, 通過資源的合理配置有效的組織多種模型協(xié)同工作, 系統(tǒng)體系結(jié)構(gòu)如圖1所示.

    (1) 人機交互層的主要作用是由任務(wù)訂單推送得到要處理的原始數(shù)據(jù); 然后針對不同類型的數(shù)據(jù)調(diào)用不同的算法進(jìn)行處理, 按照訂單需求定制合理的工作流進(jìn)行數(shù)據(jù)生產(chǎn); 最后將結(jié)果和分析以可視化的方式呈現(xiàn)并提供質(zhì)量檢測查看數(shù)據(jù)精度.

    (2) 通訊層主要包括各生產(chǎn)節(jié)點之間的數(shù)據(jù)和消息傳輸, 服務(wù)于自動配準(zhǔn)的瓦片獲取和將處理好的產(chǎn)品數(shù)據(jù)入庫.

    (3) 基礎(chǔ)算法層集成了大量的算法模型, 解決不同遙感數(shù)據(jù)在具體問題上的分析計算, 通過工作流實現(xiàn)算法模型的統(tǒng)一管理和調(diào)用觸發(fā).

    圖1 系統(tǒng)總體框圖

    2 系統(tǒng)架構(gòu)設(shè)計

    系統(tǒng)的工作核心是生產(chǎn)多源定量遙感產(chǎn)品, 通過任務(wù)推送和本地文件獲得要處理的數(shù)據(jù)集, 以工作流形式組織管理多種算法模型, 支持協(xié)同處理過程中的順序、異步和并行等多種業(yè)務(wù)流程與批處理等工作模式, 通過XML記錄算法模型、業(yè)務(wù)流程和數(shù)據(jù)等信息并對生產(chǎn)過程進(jìn)行監(jiān)控.

    2.1 算法模型的組織管理

    遙感觀測數(shù)據(jù)通過遙感算法模型與地表目標(biāo)參數(shù)聯(lián)系起來, 遙感數(shù)據(jù)的生產(chǎn)過程是一系列包含大量計算的復(fù)雜過程, 將這個復(fù)雜過程分解為多個環(huán)節(jié)處理, 每個處理環(huán)節(jié)對應(yīng)于具體的遙感算法模型, 將這些算法模型集成起來協(xié)同完成整個處理來解決定量遙感生產(chǎn)問題.

    由于模塊眾多、參數(shù)復(fù)雜等問題, 為了處理不同的任務(wù)往往需要對算法進(jìn)行靈活組合, 進(jìn)而形成自適應(yīng)的工作流程. 將業(yè)務(wù)過程按照預(yù)先設(shè)定的規(guī)則借助應(yīng)用程序和操作人員對相關(guān)數(shù)據(jù)的處理形成的工作流模式, 正適應(yīng)于這種多模塊多種參數(shù)調(diào)節(jié)的批量數(shù)據(jù)業(yè)務(wù)化生產(chǎn). 將算法統(tǒng)一編譯為基于命令行的無GUI信息的控制臺程序, 系統(tǒng)通過插件模式, 動態(tài)組織、加載現(xiàn)有的算法模型, 并將輸入輸出參數(shù)以及運行所依賴的庫文件等信息以XML文件的形式保存起來, 以便進(jìn)行參數(shù)校驗和異常處理. 將算法模型按照一定的邏輯功能順序有機的組合成階段性任務(wù), 根據(jù)需求設(shè)置配置文件定制相應(yīng)的業(yè)務(wù)生產(chǎn)流程, 執(zhí)行時解析模型屬性類實現(xiàn)模型和數(shù)據(jù)交換. 如圖2所示, 以工作流[12]模式來組合算法模型能更好的解決業(yè)務(wù)化中模塊多、算法重復(fù)使用、開發(fā)和維護(hù)成本高等問題, 實現(xiàn)將業(yè)務(wù)邏輯和實際應(yīng)用分離, 更好的適應(yīng)遙感數(shù)據(jù)處理的快速變化.

    圖2 工作流組織管理算法模型

    2.2 工作流程

    由于遙感圖像成圖時受傳感器、地球旋轉(zhuǎn)、大氣等因素影響, 圖像與其對應(yīng)地物的實際信息會產(chǎn)生一定的偏差. 為了糾正這些偏差本系統(tǒng)以模型庫和任務(wù)流方式, 集成了圖像配準(zhǔn)、幾何糾正、大氣糾正、融合、云檢測、信息統(tǒng)計、數(shù)據(jù)標(biāo)準(zhǔn)化和快視圖等多種處理模型應(yīng)用于遙感大數(shù)據(jù)密集型預(yù)處理計算工作流程如圖3所示. 圖像配準(zhǔn)主要根據(jù)底圖與配準(zhǔn)影像的特征地物來保證圖像位置的正確性, 通過原始影像經(jīng)緯度范圍按照圖像分辨率經(jīng)過公式轉(zhuǎn)換成對應(yīng)的層級和行列號范圍, 通過Web Service服務(wù)從數(shù)據(jù)庫中檢索瓦片并下載到本地, 將獲取的瓦片數(shù)據(jù)拼接為區(qū)域一致的基準(zhǔn)影像經(jīng)過HARRIS或SIFT算法自動提取控制點. 訪問數(shù)據(jù)庫獲取基準(zhǔn)圖像動態(tài)提取控制點的方法省去了人工采集的繁瑣; 基準(zhǔn)圖像存儲在分布式的數(shù)據(jù)庫中節(jié)省本地存儲空間提高系統(tǒng)可移植性; 基準(zhǔn)影像的數(shù)據(jù)類型可按照生產(chǎn)需要進(jìn)行調(diào)整進(jìn)一步提高配準(zhǔn)精度.

    經(jīng)緯度轉(zhuǎn)換行列號公式為:

    其中某個點的經(jīng)緯度坐標(biāo)為(Long, Lat), Z為影像層級x瓦片分割間隔度數(shù)的倒數(shù), floor為下取整函數(shù).

    幾何糾正模塊主要通過有理函數(shù)模型或多項式模型來消除影像中的幾何誤差. 有理函數(shù)模型根據(jù)原始影像的RPC參數(shù), 通過最小二階乘法求解RPC參數(shù)結(jié)合嶺估計[13]實現(xiàn)函數(shù)模型糾正. 多項式模型不考慮成像空間幾何過程, 直接對影像變形本身進(jìn)行數(shù)學(xué)模擬,計算中的待定系數(shù)由控制點坐標(biāo)確定. 根據(jù)幾何糾正模型中不同模塊的數(shù)據(jù)依賴關(guān)系, 在模型調(diào)用前根據(jù)生產(chǎn)要求結(jié)合文件檢測自動匹配合適的糾正模型進(jìn)行處理. 融合模塊利用全色的高分辨率和多光譜的波普信息進(jìn)行融合獲得比單一數(shù)據(jù)更豐富的信息. 目前僅對高分一號2m全色和8m多光譜以及高分二號1m全色和4m多光譜進(jìn)行融合, 其它數(shù)據(jù)類型則不做融合處理. 針對這種情況采用條件觸發(fā)方式調(diào)用, 根據(jù)衛(wèi)星和傳感器判斷數(shù)據(jù)類型, 對滿足條件的數(shù)據(jù)檢索模型參數(shù)是否存在即幾何糾正后的多光譜及全色數(shù)據(jù),參數(shù)檢測正常則進(jìn)行融合處理.

    標(biāo)準(zhǔn)化模塊將糾正后的數(shù)據(jù)按照五層十五級標(biāo)準(zhǔn)[14]進(jìn)行切分, 切分后的數(shù)據(jù)可以快速聚合實現(xiàn)了靈活的管理調(diào)度服務(wù)于并行計算. 工作流在執(zhí)行過程中進(jìn)行過程控制, 通過Log類監(jiān)控每個任務(wù)標(biāo)記其屬性并輸出日志文件記錄主任務(wù)時間和算法模型執(zhí)行時間以及錯誤信息, 通過時間和異常信息判斷模型的調(diào)用情況.根據(jù)模型間的邏輯關(guān)系建立的工作流既能滿足算法模型的靈活組織管理, 又能服務(wù)于業(yè)務(wù)化生產(chǎn)減少人工操作更好的應(yīng)用于數(shù)據(jù)密集型計算.

    3 “5并行1加速”計算體系

    遙感數(shù)據(jù)呈現(xiàn)出的多時相、多光譜、多分辨率和多傳感器等現(xiàn)狀形成了數(shù)據(jù)量大且類型各異的特點.遙感數(shù)據(jù)的處理是一個復(fù)雜的過程涉及處理器硬件、磁盤存儲、算法模塊、網(wǎng)絡(luò)通信等一系列因素. 處理環(huán)節(jié)中除了將算法模型進(jìn)行合理的組織管理, 還需要提高數(shù)據(jù)的處理效率. 在業(yè)務(wù)化的處理時根據(jù)數(shù)據(jù)量將數(shù)據(jù)按生產(chǎn)訂單進(jìn)行劃分, 分布到多機環(huán)境下進(jìn)行同步處理縮短生產(chǎn)時間. 在生產(chǎn)節(jié)點按時間和優(yōu)先級結(jié)合的方式處理任務(wù)上結(jié)合算法模型間的邏輯關(guān)系并行處理數(shù)據(jù)提高CPU利用率. 針對一景遙感影像數(shù)據(jù)量很大無法全部讀入計算機內(nèi)存的現(xiàn)象, 通過對數(shù)據(jù)分區(qū)分塊, 利用GPU在圖形圖像上的處理優(yōu)勢在算法中進(jìn)行加速. 待一景遙感數(shù)據(jù)分為較小圖像后可以通過多線程將不同數(shù)據(jù)塊同時處理. 形成結(jié)合多機并行、任務(wù)并行、數(shù)據(jù)并行、算法并行、多線程并行和GPU加速的“5并行1加速”的計算體系, 結(jié)構(gòu)體系如圖3所示.

    圖3 系統(tǒng)工作流程圖

    圖4 “5并行1加速”結(jié)構(gòu)體系圖

    3.1 多機并行

    多機并行是一組計算機通過網(wǎng)絡(luò)連接部署相同的處理環(huán)境使其能協(xié)作完成計算工作. 每臺參與計算的計算機都是一個生產(chǎn)節(jié)點, 負(fù)責(zé)一部分任務(wù)的執(zhí)行處理. 在接收到產(chǎn)品生產(chǎn)訂單后分給調(diào)度服務(wù)器進(jìn)行任務(wù)分配, 多機環(huán)境下要充分考慮節(jié)點的負(fù)載通過任務(wù)分配進(jìn)行調(diào)度, 節(jié)點的生產(chǎn)能力主要取決于當(dāng)前的可用內(nèi)存、CPU利用率、磁盤讀寫速度、網(wǎng)絡(luò)帶寬, 綜合這四方面性能指標(biāo)通過公式分析節(jié)點生產(chǎn)能力值Pi,對Pi值高的節(jié)點優(yōu)先分配任務(wù), 實現(xiàn)滿足節(jié)點負(fù)載均衡的多機計算環(huán)境.

    其中Mi、Ci、Di、Ni表示第i個節(jié)點的可用內(nèi)存、CPU利用率、磁盤讀寫速度及網(wǎng)絡(luò)帶寬, Mmax、Cmax、Dmax、Nmax分別對應(yīng)四個方面上的最大值, W1、W2、W3、W4為四個指標(biāo)的權(quán)重系數(shù), 且W1+W2+ W3+W4=1, 根據(jù)節(jié)點即要滿足數(shù)據(jù)傳輸又要處理密集型計算, 這里設(shè)置w值均為0.25.

    在任務(wù)分配服務(wù)器上存有生產(chǎn)訂單Dready、等待訂單Dwait用于分配任務(wù), 空閑隊列Nspare和忙碌Nbusy隊列用于調(diào)度節(jié)點. 任務(wù)訂單信息D(D1,D2,…,Di)其中Di為訂單編號, 節(jié)點隊列信息N (Node1, Node2,…,Nodei),其中 Nodei(Mi,Ci,Di,Ni,Pi,Numi) 存儲節(jié)點的基本信息信息, 其中Numi為節(jié)點i的當(dāng)前任務(wù)數(shù).

    對節(jié)點進(jìn)行任務(wù)分配方法如下:

    (1) 任務(wù)調(diào)度解析訂單信息, 對任務(wù)編號形成子任務(wù)并放入Dwait.

    (2) 判斷Nspare是否為空, 不為空則根據(jù)節(jié)點Pi值對節(jié)點空閑隊列排序, 對Pi值相等的節(jié)點按Numi值排序, 從Dwait中移出子任務(wù)加入Dready并分配生產(chǎn)節(jié)點,同時把生產(chǎn)節(jié)點從Nspare中移出存入Nbusy; Nspare為空則繼續(xù)等待.

    (3) 收到子任務(wù)生產(chǎn)完成消息時, 將子任務(wù)從Dready中移除, 并將生產(chǎn)節(jié)點從Nbusy中刪除, 加入Nspare.

    (4) 判斷Dwait是否為空, 不為空執(zhí)行(2), 為空則執(zhí)行(5).

    (5) 判斷Dready是否為空, 不為空則任務(wù)沒有執(zhí)行完等待, 等待直到有子任務(wù)生產(chǎn)完成即第3步; 為空則任務(wù)生產(chǎn)結(jié)束執(zhí)行結(jié)束.

    3.2 任務(wù)并行

    在完成任務(wù)分配后任務(wù)訂單被分配到生產(chǎn)節(jié)點上,分解產(chǎn)品訂單生成任務(wù), 由于遙感數(shù)據(jù)處理時間長、耦合高將任務(wù)根據(jù)類別分為普通任務(wù)隊列Tcom(T1,T2,…Ti)和應(yīng)急任務(wù)隊列Temer(T1,T2,…Ti)Ti為任務(wù)編號, 任務(wù)隊列基于FIFO先來先服務(wù)策略按任務(wù)到達(dá)時間順序執(zhí)行, 在每個任務(wù)執(zhí)行前會先判斷Temer是否為空, 是則繼續(xù)Tcom隊列按順序生產(chǎn), 否則結(jié)合基于優(yōu)先級的調(diào)度算法, 暫停Tcom隊列出隊生產(chǎn)Temer中數(shù)據(jù)直到結(jié)束后繼續(xù)Tcom. 將任務(wù)按照優(yōu)先級和時間戳屬性進(jìn)行劃分通過任務(wù)隊列的協(xié)同處理模式提高生產(chǎn)效率.

    3.3 數(shù)據(jù)并行

    數(shù)據(jù)并行分為數(shù)據(jù)傳輸上的并行和數(shù)據(jù)計算上的并行. 數(shù)據(jù)傳輸上的并行主要通過將數(shù)據(jù)分發(fā)到多個生產(chǎn)節(jié)點進(jìn)行同時生產(chǎn), 數(shù)據(jù)計算上的并行主要在單機環(huán)境下對工作流引擎執(zhí)行過程中產(chǎn)生的中間數(shù)據(jù)集進(jìn)行并行計算, 這些數(shù)據(jù)一般會繼續(xù)被后續(xù)子任務(wù)使用, 數(shù)據(jù)放置在相關(guān)度[15]最大的數(shù)據(jù)中心減少不必要的傳輸開銷. 相對像素級的并行處理來說, 其數(shù)據(jù)之間相關(guān)性較小, 不同的數(shù)據(jù)塊可能需要執(zhí)行相同的操作. 通過線程各自讀取分配的影像, 每個數(shù)據(jù)獨立完成其計算任務(wù). 例如在一景影像分波段后得到紅綠藍(lán)波段和紅外波段, 通過數(shù)據(jù)標(biāo)準(zhǔn)化算法分別開設(shè)線程對四個波段的圖像同時執(zhí)行切片操作得到瓦片數(shù)據(jù).融合后的切片數(shù)據(jù)量多達(dá)上百個, 在大量瓦片數(shù)據(jù)生成快視圖時按順序操作處理時間長, 需要對不同行列號下的數(shù)據(jù)同時生產(chǎn)提高效率.

    3.4 算法并行

    算法并行在工作流中結(jié)合算法參數(shù)信息, 調(diào)用多個算法模型同時處理. 下一級算法之間共享數(shù)據(jù)的讀取, 不同算法輸出不同的結(jié)果防止寫入沖突, 處理完成后的結(jié)果由上級算法使用. 遙感產(chǎn)品生產(chǎn)的依賴關(guān)系不容易形成回路依賴, 通過有向無環(huán)圖的算法描述結(jié)構(gòu)分析算法之間的依賴關(guān)系進(jìn)一步并行提高效率.如圖5所示云檢測、天頂角方位角(AZ)、和融合主要依賴于幾何糾正后的數(shù)據(jù), 在幾何糾正完成后通過共享數(shù)據(jù)讀取的方式并行啟動上一級算法. 由于遙感數(shù)據(jù)存在部分需要做融合處理, 所以將分波段算法放入更高級等待當(dāng)前算法均完成處理后啟動. 生成快視圖需要Alpha通道和分波段后的影像數(shù)據(jù)做波段組合,位于同一并行級別的生成Alpha通道算法和分波段算法則可并行生產(chǎn)獲得快視圖產(chǎn)品.

    圖5 算法依賴關(guān)系描述圖

    3.5 多線程并行

    大數(shù)據(jù)量的遙感數(shù)據(jù)由于一次只能讀取一部分?jǐn)?shù)據(jù)造成磁盤訪問頻繁, 等待過程未充分利用CPU資源.系統(tǒng)對整景影像在單個計算節(jié)點上通過OpenMP進(jìn)行多線程加速, 在切片處理后形成數(shù)據(jù)個數(shù)多而數(shù)據(jù)量小的瓦片數(shù)據(jù), 通過Parallel類中的方法生成并行工作計劃處理數(shù)據(jù)集中數(shù)據(jù). 根據(jù)IOCP原理線程開設(shè)應(yīng)為CPU數(shù)量的2倍, 然而處理中有大量讀寫硬盤文件的操作造成線程等待, 這里使用動態(tài)創(chuàng)建線程法, 保留一個等待線程數(shù)量的屬性作為線程喚醒時的判斷,并設(shè)置其值為最大線程數(shù)量, 以此提高CPU的利用率進(jìn)而提高生產(chǎn)效率. 主要流程為: 讀取圖像寬高或個數(shù)等圖像信息; 動態(tài)創(chuàng)建線程完成數(shù)據(jù)處理修改等待線程數(shù)量的值防止創(chuàng)建過多; 查詢線程狀態(tài)標(biāo)識已處理完則釋放結(jié)束操作, 否則繼續(xù)等待.

    3.6 GPU加速

    GPU的全稱是圖形處理器, 適用于具有相似處理過程的大數(shù)據(jù)的并行計算. 在遙感影像數(shù)據(jù)的計算上, GPU的性能是基于CPU的并行計算方式的數(shù)十倍甚至上百倍. 這主要是由于CPU所要處理的任務(wù)種類類型繁多, 其不僅要負(fù)責(zé)內(nèi)存管理還要負(fù)責(zé)任務(wù)調(diào)度等一系列非計算類任務(wù), 通過OpenMP等多線程機制實現(xiàn)的是一種軟件粗粒度的多線程, 有線程上下文的切換的時間開銷. 而GPU則是專門為數(shù)據(jù)的并行計算而設(shè)計的, 其內(nèi)部沒有CPU那樣復(fù)雜的控制單元和寄存器, 取而代之的是大量的計算核心, 并且基于硬件管理的輕量級線程在計算密度較高可以隱藏其延遲從而實現(xiàn)零開銷的線程切換. 這些差異使GPU在執(zhí)行數(shù)據(jù)密集型計算時性能遠(yuǎn)超過同期CPU. 系統(tǒng)中用于控制點提取的SIFT算法, 用于圖像融合的atrous小波、HIS等多種算法都是通過CUDA的GPU計算框架實現(xiàn)的.

    由于遙感影像的數(shù)據(jù)量較大, GPU的可用顯存有可能不足以加載整景的遙感數(shù)據(jù), 所以需要對遙感數(shù)據(jù)進(jìn)行分片. 但是顯存的讀取操作是經(jīng)過PCI Express接口傳輸?shù)? 顯存與內(nèi)存之間的傳輸效率很低, 因此分片不能過小, 過小的話會導(dǎo)致頻繁的數(shù)據(jù)交互從而嚴(yán)重的降低運算效率. 分片的過程主要是根據(jù)GPU當(dāng)前的可用顯存結(jié)合遙感影像的寬度將原始影像劃分為n個條帶狀的影像塊, 該步驟的計算量小并且需要持久化分塊信息因此需要在CPU上運行.當(dāng)計算出影像塊的行列號范圍后, 在CPU的調(diào)度下影像塊被依次傳輸至GPU中進(jìn)行計算. 傳輸完成后CPU會通知GPU調(diào)用相應(yīng)的內(nèi)核函數(shù)對顯存中的數(shù)據(jù)進(jìn)行并行計算. 內(nèi)核函數(shù)會調(diào)用GPU中的多個處理單元, 每個處理單元可以看作一個計算線程. 每個線程負(fù)責(zé)一部分?jǐn)?shù)據(jù)的計算, 由于各個數(shù)據(jù)之間沒有依賴關(guān)系因此各個線程可以在不受其他線程影響的情況下對數(shù)據(jù)進(jìn)行計算. 在線程的運算完成時, 運算結(jié)果會被暫存在顯存中, 當(dāng)所有的線程都完成計算的時候喚醒CPU, 然后在CPU的調(diào)度下將計算結(jié)果從顯存重新傳輸?shù)絻?nèi)存中.

    4 系統(tǒng)性能分析

    為了驗證預(yù)處理系統(tǒng)在保證處理精度的同時能有效的縮短生產(chǎn)時間, 本文通過對不同類型的高分?jǐn)?shù)據(jù)進(jìn)行實驗, 從并行后的算法執(zhí)行時間、多景影像處理時間和模型精度三個方面說明. 實驗中用到的CPU型號為Intel Core i7 4核處理器, 顯卡型號為NVIDIA Tesla C2050.

    表1為算法模型的執(zhí)行時間表, 表中的數(shù)據(jù)是通過對GF數(shù)據(jù)不同類型的5景數(shù)據(jù)多次測試取平均值得到的. 實驗中用到的全色數(shù)據(jù)均指融合后的圖像,通過表中數(shù)據(jù)可以看出數(shù)據(jù)標(biāo)準(zhǔn)化和快視圖生成這兩個算法模塊通過多線程加速能夠有效的縮短生產(chǎn)時間,大幅提升處理效率.

    表1 各算法執(zhí)行時間比較

    PCI GXL是用于衛(wèi)星影像數(shù)據(jù)自動化生產(chǎn)的地理影像集成軟件系統(tǒng), 具有強大的海量數(shù)據(jù)批量生產(chǎn)能力, 采用靈活的模塊組合實現(xiàn)自動化生產(chǎn), 相較于其他遙感影像處理系統(tǒng)有其獨特的優(yōu)勢. 本文選取北京地區(qū)的50景高分?jǐn)?shù)據(jù)進(jìn)行數(shù)據(jù)處理實驗, 通過對比在本系統(tǒng)上和PCI GXL系統(tǒng)上的數(shù)據(jù)處理耗時來驗證系統(tǒng)能在一定程度上縮短影像生產(chǎn)時間. 表2是每景影像在各個模塊上的平均處理時間. 從表中可以看出,本系統(tǒng)在幾何糾正和圖像融合上花費的時間遠(yuǎn)小于PCI GXL系統(tǒng), 配準(zhǔn)時間稍長的原因在于需要從數(shù)據(jù)庫中檢索瓦片下載到本地然后再拼接為基準(zhǔn)影像, 這一步驟要花費一定時間. 經(jīng)過與商業(yè)軟件的對比得出:利用“5并行1加速”的計算體系對高分?jǐn)?shù)據(jù)的生產(chǎn)效率有了很大的提高.

    表2 影像處理時間表

    圖6 GF1數(shù)據(jù)瓦片卷簾對比圖

    圖7 GF2數(shù)據(jù)瓦片卷簾對比圖

    通過不同時間拍攝的影像數(shù)據(jù)在同一層級行列號下瓦片數(shù)據(jù)地理位置基本一致驗證模型精度. 如圖6為高分一號8米瓦片數(shù)據(jù), 標(biāo)注為1的是20151012日數(shù)據(jù), 標(biāo)注為2的是20160324日數(shù)據(jù); 圖7為高分二號4米瓦片數(shù)據(jù), 標(biāo)注為1的是20150217日數(shù)據(jù), 標(biāo)注為2的是20150912日數(shù)據(jù). 由圖中可以看出系統(tǒng)能在一定范圍內(nèi)保證模型精度.

    5 結(jié)語

    在遙感數(shù)據(jù)處理中, 如何快速準(zhǔn)確的解決影像處理任務(wù)、找到適應(yīng)于影像業(yè)務(wù)化處理的數(shù)據(jù)密集型計算方法是現(xiàn)階段的研究方向. 本文設(shè)計的預(yù)處理系統(tǒng)通過組織多種遙感算法模型形成工作流來完成遙感數(shù)據(jù)的業(yè)務(wù)化處理, 借助不同的并行方式提升計算能力、縮短生產(chǎn)時間形成“5并行1加速”的計算體系. 通過實際驗證在高分?jǐn)?shù)據(jù)的生產(chǎn)上能夠保證處理精度的同時大幅度提升生產(chǎn)效率.

    1 何國金,王力哲,馬艷,等.對地觀測大數(shù)據(jù)處理:挑戰(zhàn)與思考.科學(xué)通報,2015,60(5-6):470–478.

    2 Ma Y, Wang L, Liu P, et al. Towards building a data-intensive index for big data computing–A case study of remote sensing data processing. Information Science, 2014, 319: 171–188.

    3 Tang P, Zhang HW, Zhao YC, et al. Practice and thoughts of the automatic processing of multispectral images with 30 m spatial resolution on the global scale. Journal of Remote Sensing, 2014, 18(2): 1007–4619.

    4 張謙,賈永紅,吳曉良,等.一種帶幾何約束的大幅面遙感影像自動快速配準(zhǔn)方法.武漢大學(xué)學(xué)報:信息科學(xué)版,2014. 39(1):17–21.

    5 Zhang J, Sha HM, Zhuge Q, et al. Efficient fault-tolerant scheduling on multiprocessor systems via replication and deallocation. International Journal of Embedded Systems, 2014, 6(2/3): 216–224.

    6 景維程.海量遙感數(shù)據(jù)的高可靠并行處理方法.測繪工程, 2015,(6):14–17.

    7 Peter F, Matthew B, Mark B, et al. Web-based processing of remote sensing data in a workflows environment. ISRSE2011: The GEOSS Era: Towards Operational Environmental Monitoring, Sydney Convention&Exhibition Centre. 2011.

    8 Tang M, Zhao JY, Tong RF, et al. GPU accelerated convex hull computation. Computers & Graphics, 2012, 36(5): 498–506.

    9 盧敏,王金茵,盧剛,等.CPU/GPU異構(gòu)混合并行的柵格數(shù)據(jù)空間分析研究--以地形因子計算為例.計算機工程與應(yīng)用, 2015.

    10 Wang P, Wang J, Chen Y, et al. Rapid processing of remote sensing images based on cloud computing. Future Generation Computer Systems, 2013, 29(8): 1963–1968.

    11 張樹凡,余濤,李家國,等.基于三級并行的遙感業(yè)務(wù)化處理系統(tǒng)研究.計算機工程與設(shè)計,2012,10(33):3828–3832.

    12 孫小涓,雷斌,程兆運,等.遙感數(shù)據(jù)處理運行控制中的工作流應(yīng)用.計算機工程,2012,38(4):28–30.

    13 張過.缺少控制點的高分辨率衛(wèi)星遙感影像的幾何糾正[博士學(xué)位論文].武漢:武漢大學(xué),2005.

    14 王棟,鄭逢斌,賴積保,等.基于五層十五級遙感數(shù)據(jù)結(jié)構(gòu)的并行算法研究.微計算機信息,2012,28(1):116–167.

    15 劉少偉,孔令梅,任開軍,等.云環(huán)境下優(yōu)化科學(xué)工作流執(zhí)行性能的兩階段數(shù)據(jù)放置與任務(wù)調(diào)度策略.計算機學(xué)報, 2011,34(11):2121–2130.

    Remote Sensing Image Preprocessing Method Based on the Data Intensive Computing

    ZHOU Bing1, LIU Xiao-Nan1,2, ZANG Wen-Qian2, CHEN Heng1,21(School of Computer and Information Engineering, Henan University, Kaifeng 475001, China)2(Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences, Beijing 100101, China)

    In the era of big data, the research on data-intensive computing is becoming more and more popular both at home and abroad. As a typical branch of big data, remote sensing data is characterized both by the variety of the data sources and the huge data quantity. One of the biggest challenges facing the remote sensing application is how to find out a data-intensive computing method which aims at the automation of the business processions of remote sensing images. In this paper, a new data-intensive computing method for the procession of remote sensing images is proposed. After a deeply study focusing on the automation of the business processions of remote sensing data, a new systematic architecture using workflow is introduced which can coordinate the work among different algorithm models. In addition, in the pre-processing of the remote sensing images, a new computing architecture with five different types of parallelism and a stage of acceleration is also adopted. The computing method proposed in this paper has been tested in many products in real production environment in order to testify its effectiveness. The results show a significant improvement on the efficiency of the pre-processing of remote sensing data in the condition of ensuring the processing precision.

    remote sensing data; remote sensing data preprocessing; data intensive computing; parallel computing; five parallelism and one acceleration; workflow

    高分重大專項(Y4D00100GF);高分重大專項(Y4D0100038);中科院戰(zhàn)略先導(dǎo)專項課題(Y1Y02230XD)

    2016-07-21;收到修改稿時間:2016-09-02

    10.15888/j.cnki.csa.005699

    猜你喜歡
    生產(chǎn)模型
    一半模型
    重要模型『一線三等角』
    用舊的生產(chǎn)新的!
    重尾非線性自回歸模型自加權(quán)M-估計的漸近分布
    “三夏”生產(chǎn) 如火如荼
    S-76D在華首架機實現(xiàn)生產(chǎn)交付
    3D打印中的模型分割與打包
    FLUKA幾何模型到CAD幾何模型轉(zhuǎn)換方法初步研究
    安全生產(chǎn)重于泰山
    Сварочное Проμзвоσсmво(《焊接生產(chǎn)》)2012年第5期要目
    国产单亲对白刺激| 国产精品香港三级国产av潘金莲| 久久香蕉国产精品| tocl精华| 黄色a级毛片大全视频| 国产精品一区二区精品视频观看| avwww免费| 国产亚洲精品久久久久5区| 一进一出抽搐动态| 99精品在免费线老司机午夜| 一区二区三区高清视频在线| 国产欧美日韩精品亚洲av| 久久天躁狠狠躁夜夜2o2o| 久久久久国产一级毛片高清牌| 成人精品一区二区免费| 日本五十路高清| 女生性感内裤真人,穿戴方法视频| 大香蕉久久成人网| 久久人妻av系列| 变态另类成人亚洲欧美熟女 | 亚洲欧洲精品一区二区精品久久久| 免费在线观看视频国产中文字幕亚洲| 村上凉子中文字幕在线| 51午夜福利影视在线观看| 18禁黄网站禁片午夜丰满| 97人妻天天添夜夜摸| 乱人伦中国视频| 国产午夜精品久久久久久| 青草久久国产| 国产精品电影一区二区三区| 久久人人97超碰香蕉20202| 午夜福利,免费看| 桃红色精品国产亚洲av| 精品国产乱子伦一区二区三区| 黄色成人免费大全| 国产高清激情床上av| 69av精品久久久久久| 久久久久国产一级毛片高清牌| 欧美乱色亚洲激情| 午夜影院日韩av| 亚洲av电影在线进入| 可以在线观看的亚洲视频| 制服人妻中文乱码| 国语自产精品视频在线第100页| 欧美在线黄色| 欧美在线一区亚洲| 亚洲男人的天堂狠狠| 在线十欧美十亚洲十日本专区| 男女午夜视频在线观看| 日韩av在线大香蕉| 午夜福利成人在线免费观看| 变态另类成人亚洲欧美熟女 | 窝窝影院91人妻| 99久久久亚洲精品蜜臀av| 十八禁网站免费在线| 亚洲色图 男人天堂 中文字幕| 制服人妻中文乱码| 18禁观看日本| 免费看美女性在线毛片视频| 精品日产1卡2卡| 天天一区二区日本电影三级 | 精品久久久久久久久久免费视频| 一区二区三区高清视频在线| 99国产综合亚洲精品| 亚洲成a人片在线一区二区| 午夜日韩欧美国产| 国产真人三级小视频在线观看| 满18在线观看网站| 91大片在线观看| 国产视频一区二区在线看| 1024香蕉在线观看| 69精品国产乱码久久久| 波多野结衣巨乳人妻| 好男人电影高清在线观看| 女生性感内裤真人,穿戴方法视频| 国产极品粉嫩免费观看在线| 亚洲 欧美 日韩 在线 免费| 国产亚洲欧美在线一区二区| 久久久国产成人精品二区| 99久久99久久久精品蜜桃| 法律面前人人平等表现在哪些方面| 女人高潮潮喷娇喘18禁视频| 免费一级毛片在线播放高清视频 | 久久久久久人人人人人| www.自偷自拍.com| 激情视频va一区二区三区| 村上凉子中文字幕在线| 少妇被粗大的猛进出69影院| 黄色女人牲交| 国产精品一区二区三区四区久久 | 制服丝袜大香蕉在线| 亚洲av第一区精品v没综合| 十八禁网站免费在线| 久久狼人影院| 丁香欧美五月| 亚洲国产精品999在线| 久久久国产欧美日韩av| 村上凉子中文字幕在线| www.自偷自拍.com| 亚洲国产精品sss在线观看| av中文乱码字幕在线| 午夜视频精品福利| 婷婷精品国产亚洲av在线| 亚洲专区中文字幕在线| 亚洲中文字幕一区二区三区有码在线看 | 国产成人精品在线电影| 俄罗斯特黄特色一大片| 亚洲av第一区精品v没综合| 性色av乱码一区二区三区2| 一夜夜www| 天天添夜夜摸| 免费女性裸体啪啪无遮挡网站| 国产精品久久视频播放| av福利片在线| 一卡2卡三卡四卡精品乱码亚洲| 岛国在线观看网站| 人人妻人人爽人人添夜夜欢视频| 非洲黑人性xxxx精品又粗又长| 欧美乱码精品一区二区三区| 欧美黑人精品巨大| 男人操女人黄网站| 一本大道久久a久久精品| 巨乳人妻的诱惑在线观看| 最近最新中文字幕大全免费视频| 久久国产精品人妻蜜桃| 人人妻,人人澡人人爽秒播| 国产精品精品国产色婷婷| 国产精品亚洲av一区麻豆| 美国免费a级毛片| 波多野结衣av一区二区av| 男女之事视频高清在线观看| 级片在线观看| 人人妻,人人澡人人爽秒播| 日本免费a在线| 精品日产1卡2卡| 久久国产精品影院| 午夜福利免费观看在线| 熟女少妇亚洲综合色aaa.| 黑人巨大精品欧美一区二区mp4| 免费在线观看完整版高清| 亚洲色图 男人天堂 中文字幕| 99国产精品99久久久久| 在线观看一区二区三区| 男人操女人黄网站| 少妇熟女aⅴ在线视频| 久久亚洲精品不卡| 中文字幕人妻熟女乱码| 不卡av一区二区三区| 日韩欧美一区视频在线观看| 麻豆国产av国片精品| 一级毛片高清免费大全| 午夜a级毛片| 亚洲精品久久国产高清桃花| 波多野结衣巨乳人妻| 亚洲成人精品中文字幕电影| 十八禁人妻一区二区| 亚洲欧美日韩高清在线视频| 久久人人精品亚洲av| 大型av网站在线播放| av天堂久久9| 免费在线观看影片大全网站| 高清黄色对白视频在线免费看| 久久久久精品国产欧美久久久| 妹子高潮喷水视频| 久久人妻福利社区极品人妻图片| 91大片在线观看| 亚洲全国av大片| 午夜亚洲福利在线播放| 久久热在线av| 丁香欧美五月| 一级作爱视频免费观看| 757午夜福利合集在线观看| 久久天堂一区二区三区四区| 日本撒尿小便嘘嘘汇集6| 757午夜福利合集在线观看| 亚洲成人国产一区在线观看| 日本撒尿小便嘘嘘汇集6| 手机成人av网站| 精品乱码久久久久久99久播| 国产亚洲欧美98| 老熟妇乱子伦视频在线观看| 国产三级黄色录像| 欧美中文综合在线视频| 久久欧美精品欧美久久欧美| 午夜福利在线观看吧| 日韩欧美国产在线观看| 日韩精品青青久久久久久| 51午夜福利影视在线观看| 国内久久婷婷六月综合欲色啪| 欧美亚洲日本最大视频资源| av视频在线观看入口| xxx96com| 国产又爽黄色视频| 一级作爱视频免费观看| 黄色成人免费大全| 国产三级黄色录像| 天堂影院成人在线观看| 亚洲精品一区av在线观看| 国产精品 国内视频| 我的亚洲天堂| 精品国产一区二区三区四区第35| 在线观看日韩欧美| 精品福利观看| 国产一区二区三区在线臀色熟女| 最近最新中文字幕大全电影3 | 色在线成人网| 香蕉国产在线看| 午夜福利影视在线免费观看| 国产精品一区二区三区四区久久 | 国产人伦9x9x在线观看| 亚洲成人精品中文字幕电影| 中文字幕人妻熟女乱码| 一边摸一边做爽爽视频免费| 日本免费a在线| 黑人欧美特级aaaaaa片| 久久国产精品男人的天堂亚洲| 桃红色精品国产亚洲av| 少妇熟女aⅴ在线视频| 天堂动漫精品| 法律面前人人平等表现在哪些方面| 老熟妇仑乱视频hdxx| av天堂久久9| 18禁观看日本| 亚洲精品久久国产高清桃花| 久久精品亚洲熟妇少妇任你| 色综合站精品国产| 九色国产91popny在线| av中文乱码字幕在线| 日韩大码丰满熟妇| 真人做人爱边吃奶动态| 久久天堂一区二区三区四区| 精品午夜福利视频在线观看一区| 男人舔女人的私密视频| 一区二区三区精品91| 国产伦一二天堂av在线观看| 国产三级黄色录像| 黄片播放在线免费| 一区二区日韩欧美中文字幕| 女人精品久久久久毛片| 日本免费一区二区三区高清不卡 | 身体一侧抽搐| 久久久久久久久久久久大奶| 中文字幕高清在线视频| 午夜福利,免费看| 国产区一区二久久| 国产精品综合久久久久久久免费 | 成人永久免费在线观看视频| 人人妻人人爽人人添夜夜欢视频| 日本在线视频免费播放| 搡老岳熟女国产| 别揉我奶头~嗯~啊~动态视频| 手机成人av网站| 成人免费观看视频高清| 9色porny在线观看| 国产高清激情床上av| 老司机午夜十八禁免费视频| 亚洲一区二区三区色噜噜| 久久人妻熟女aⅴ| 国产成人av激情在线播放| 美女午夜性视频免费| 在线观看日韩欧美| 国产99白浆流出| 亚洲aⅴ乱码一区二区在线播放 | 麻豆一二三区av精品| 午夜福利一区二区在线看| aaaaa片日本免费| 欧美成人午夜精品| 99国产精品一区二区蜜桃av| 美国免费a级毛片| 99国产精品免费福利视频| 欧美成人免费av一区二区三区| 日本免费一区二区三区高清不卡 | 国产精品影院久久| 一级作爱视频免费观看| 久久久久久免费高清国产稀缺| 搡老妇女老女人老熟妇| 午夜日韩欧美国产| 19禁男女啪啪无遮挡网站| 亚洲精品国产色婷婷电影| 欧美av亚洲av综合av国产av| 操美女的视频在线观看| 好男人电影高清在线观看| 久久精品成人免费网站| 美女国产高潮福利片在线看| 免费看美女性在线毛片视频| 在线国产一区二区在线| 亚洲精品国产精品久久久不卡| 日韩欧美在线二视频| 涩涩av久久男人的天堂| 非洲黑人性xxxx精品又粗又长| 亚洲精品在线美女| 久久久久国内视频| 亚洲av五月六月丁香网| 国产av精品麻豆| 久久青草综合色| 久久精品国产亚洲av香蕉五月| av片东京热男人的天堂| 97碰自拍视频| 在线观看日韩欧美| 成人av一区二区三区在线看| 男人操女人黄网站| 欧美日韩黄片免| 老鸭窝网址在线观看| 老司机深夜福利视频在线观看| 亚洲精品粉嫩美女一区| 一级毛片女人18水好多| 精品乱码久久久久久99久播| 久久午夜综合久久蜜桃| 日韩欧美一区二区三区在线观看| 成熟少妇高潮喷水视频| 国产xxxxx性猛交| 久久久精品国产亚洲av高清涩受| 一区二区三区高清视频在线| 如日韩欧美国产精品一区二区三区| 免费无遮挡裸体视频| 制服丝袜大香蕉在线| 色综合婷婷激情| 老汉色av国产亚洲站长工具| 夜夜躁狠狠躁天天躁| 久久天堂一区二区三区四区| 国产片内射在线| 日本欧美视频一区| 少妇的丰满在线观看| www.自偷自拍.com| 很黄的视频免费| 午夜视频精品福利| 欧美日韩福利视频一区二区| 丝袜在线中文字幕| 真人一进一出gif抽搐免费| 侵犯人妻中文字幕一二三四区| 亚洲av第一区精品v没综合| netflix在线观看网站| 亚洲精品美女久久av网站| av天堂久久9| 久久精品aⅴ一区二区三区四区| www国产在线视频色| 嫩草影视91久久| 亚洲一卡2卡3卡4卡5卡精品中文| 欧美日韩黄片免| 一区二区三区精品91| 麻豆成人av在线观看| 亚洲精品中文字幕一二三四区| 精品久久久精品久久久| 变态另类丝袜制服| 成熟少妇高潮喷水视频| 色在线成人网| 欧美黄色淫秽网站| 亚洲 欧美 日韩 在线 免费| 黄频高清免费视频| 亚洲国产精品合色在线| 一夜夜www| 亚洲自偷自拍图片 自拍| 久久中文字幕人妻熟女| 亚洲自偷自拍图片 自拍| 欧美日韩亚洲综合一区二区三区_| 午夜日韩欧美国产| 叶爱在线成人免费视频播放| 不卡av一区二区三区| 久久人妻熟女aⅴ| 亚洲专区字幕在线| 亚洲七黄色美女视频| 精品久久久精品久久久| 亚洲av第一区精品v没综合| 熟妇人妻久久中文字幕3abv| 国产成人精品久久二区二区91| 天天一区二区日本电影三级 | 中文亚洲av片在线观看爽| 又大又爽又粗| 亚洲 欧美 日韩 在线 免费| 国产熟女午夜一区二区三区| 欧美一区二区精品小视频在线| 国产熟女午夜一区二区三区| 欧美+亚洲+日韩+国产| 国产成人一区二区三区免费视频网站| 女人高潮潮喷娇喘18禁视频| 狂野欧美激情性xxxx| 久久久国产欧美日韩av| 成熟少妇高潮喷水视频| 国产av一区二区精品久久| 亚洲国产精品久久男人天堂| 在线永久观看黄色视频| 国产精品一区二区在线不卡| 亚洲精品美女久久久久99蜜臀| 亚洲情色 制服丝袜| 亚洲第一青青草原| 高潮久久久久久久久久久不卡| 亚洲av成人av| 国产成人免费无遮挡视频| 亚洲精品粉嫩美女一区| 国产亚洲精品av在线| 叶爱在线成人免费视频播放| 女性被躁到高潮视频| а√天堂www在线а√下载| 日韩国内少妇激情av| 性色av乱码一区二区三区2| 少妇熟女aⅴ在线视频| 色播亚洲综合网| 久热爱精品视频在线9| 一边摸一边抽搐一进一小说| 久久精品91蜜桃| 真人一进一出gif抽搐免费| 国产高清视频在线播放一区| 最新在线观看一区二区三区| 精品久久久久久,| 中出人妻视频一区二区| 久热这里只有精品99| 日韩欧美国产在线观看| 久久久水蜜桃国产精品网| 精品久久久久久久人妻蜜臀av | 怎么达到女性高潮| 一个人免费在线观看的高清视频| 日韩国内少妇激情av| 69av精品久久久久久| 一二三四在线观看免费中文在| 国产成人精品无人区| 国产精品一区二区精品视频观看| www.www免费av| 一区二区三区激情视频| 久久久国产成人免费| 久久人人97超碰香蕉20202| 午夜老司机福利片| 美女大奶头视频| www.精华液| 在线永久观看黄色视频| 免费在线观看日本一区| 淫秽高清视频在线观看| 欧美 亚洲 国产 日韩一| 日韩av在线大香蕉| 成人特级黄色片久久久久久久| 久久九九热精品免费| 午夜两性在线视频| 国产欧美日韩综合在线一区二区| 无遮挡黄片免费观看| 老司机福利观看| 欧美午夜高清在线| 久久青草综合色| or卡值多少钱| 熟妇人妻久久中文字幕3abv| 1024视频免费在线观看| 亚洲一区二区三区色噜噜| 成年人黄色毛片网站| 亚洲精品一卡2卡三卡4卡5卡| 高清黄色对白视频在线免费看| 法律面前人人平等表现在哪些方面| 精品人妻在线不人妻| 在线播放国产精品三级| 一二三四社区在线视频社区8| 丝袜美足系列| 欧美成人性av电影在线观看| 侵犯人妻中文字幕一二三四区| 久久午夜亚洲精品久久| 人人妻,人人澡人人爽秒播| 欧美一级毛片孕妇| 国产91精品成人一区二区三区| 脱女人内裤的视频| 欧美激情高清一区二区三区| 国语自产精品视频在线第100页| 99riav亚洲国产免费| 欧美一区二区精品小视频在线| 免费不卡黄色视频| 国产高清激情床上av| 淫妇啪啪啪对白视频| 国产三级黄色录像| 色婷婷久久久亚洲欧美| 青草久久国产| 最好的美女福利视频网| 丰满人妻熟妇乱又伦精品不卡| 深夜精品福利| 国产亚洲精品av在线| 亚洲国产精品成人综合色| 欧美成人午夜精品| 美女 人体艺术 gogo| 国产一区在线观看成人免费| 中文字幕最新亚洲高清| 美女高潮到喷水免费观看| 精品卡一卡二卡四卡免费| 搡老妇女老女人老熟妇| 黄网站色视频无遮挡免费观看| 国产麻豆成人av免费视频| 美女免费视频网站| 黄片播放在线免费| 丝袜美腿诱惑在线| 国产视频一区二区在线看| 欧美日韩福利视频一区二区| 久久国产精品男人的天堂亚洲| 最新美女视频免费是黄的| 欧美日韩中文字幕国产精品一区二区三区 | 午夜视频精品福利| 大码成人一级视频| 午夜福利,免费看| 9191精品国产免费久久| 中亚洲国语对白在线视频| 久久久久久免费高清国产稀缺| 欧美色欧美亚洲另类二区 | 欧美一级a爱片免费观看看 | 久久精品人人爽人人爽视色| 欧美日韩瑟瑟在线播放| 91国产中文字幕| 亚洲专区中文字幕在线| 校园春色视频在线观看| 在线天堂中文资源库| 亚洲专区字幕在线| 91国产中文字幕| 人人妻人人澡欧美一区二区 | 亚洲av日韩精品久久久久久密| 欧美日韩瑟瑟在线播放| 国产欧美日韩一区二区精品| 日本欧美视频一区| 日韩大尺度精品在线看网址 | 夜夜看夜夜爽夜夜摸| 国产成人av教育| 一区福利在线观看| 可以在线观看毛片的网站| 极品教师在线免费播放| 国产亚洲精品久久久久久毛片| 精品无人区乱码1区二区| 日本 av在线| 我的亚洲天堂| а√天堂www在线а√下载| 妹子高潮喷水视频| 老司机午夜福利在线观看视频| 黄片小视频在线播放| 丝袜美足系列| 中国美女看黄片| 天天躁夜夜躁狠狠躁躁| 日本三级黄在线观看| 欧美日韩中文字幕国产精品一区二区三区 | 久久国产精品男人的天堂亚洲| 国产在线精品亚洲第一网站| 日本免费a在线| 国产午夜福利久久久久久| 性欧美人与动物交配| 欧美黄色片欧美黄色片| 美国免费a级毛片| 一区二区三区精品91| 午夜福利18| 亚洲在线自拍视频| 男女之事视频高清在线观看| 黄色 视频免费看| 亚洲第一欧美日韩一区二区三区| 一二三四社区在线视频社区8| 欧美国产精品va在线观看不卡| 亚洲色图 男人天堂 中文字幕| 免费少妇av软件| 一级毛片女人18水好多| 69av精品久久久久久| 国产欧美日韩一区二区三区在线| 亚洲精品国产一区二区精华液| 国产一区二区激情短视频| 免费无遮挡裸体视频| 国产麻豆成人av免费视频| 黄色女人牲交| 咕卡用的链子| 桃红色精品国产亚洲av| 亚洲国产毛片av蜜桃av| 精品国内亚洲2022精品成人| 亚洲一码二码三码区别大吗| ponron亚洲| 法律面前人人平等表现在哪些方面| videosex国产| 久热爱精品视频在线9| 免费在线观看亚洲国产| 黄片小视频在线播放| 亚洲自偷自拍图片 自拍| 欧美色视频一区免费| 午夜福利欧美成人| 国产精品野战在线观看| 1024视频免费在线观看| 村上凉子中文字幕在线| 免费观看精品视频网站| 老鸭窝网址在线观看| 亚洲伊人色综图| 黑人欧美特级aaaaaa片| 国产成人精品久久二区二区91| 亚洲专区中文字幕在线| 国产人伦9x9x在线观看| 国产伦人伦偷精品视频| 久久婷婷成人综合色麻豆| 亚洲男人的天堂狠狠| 亚洲无线在线观看| 黄网站色视频无遮挡免费观看| 可以免费在线观看a视频的电影网站| 老汉色av国产亚洲站长工具| 国语自产精品视频在线第100页| 亚洲欧美激情综合另类| 男女床上黄色一级片免费看| 亚洲午夜精品一区,二区,三区| 国产精品秋霞免费鲁丝片| 欧美激情 高清一区二区三区| 欧美国产精品va在线观看不卡| 精品熟女少妇八av免费久了| 国产主播在线观看一区二区| 国产成人精品久久二区二区免费| 亚洲五月婷婷丁香| 久久狼人影院| netflix在线观看网站| 久久午夜亚洲精品久久| 日本 av在线| 精品久久久精品久久久| 麻豆国产av国片精品| 国产av一区二区精品久久| 国产伦一二天堂av在线观看| 一级作爱视频免费观看| 免费av毛片视频| 亚洲va日本ⅴa欧美va伊人久久| 国产欧美日韩综合在线一区二区| 1024香蕉在线观看| 欧美精品啪啪一区二区三区| 精品国产一区二区久久| 日本精品一区二区三区蜜桃| 午夜激情av网站| 日本撒尿小便嘘嘘汇集6| 亚洲av成人av| 亚洲欧美日韩另类电影网站| 中出人妻视频一区二区|