• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于資源感知的分布式爬蟲任務調(diào)度方法

    2024-09-14 00:00:00張軍魏繼楨李鈺彬
    現(xiàn)代電子技術 2024年9期
    關鍵詞:任務調(diào)度數(shù)據(jù)采集

    摘" 要: 文中致力于開發(fā)一種基于資源感知的分布式爬蟲任務調(diào)度方法,以優(yōu)化分布式環(huán)境中各節(jié)點的系統(tǒng)資源利用,提升爬蟲任務的執(zhí)行效率。該方法通過引入資源感知調(diào)度算法和節(jié)點優(yōu)先級管理,實現(xiàn)對節(jié)點中CPU、內(nèi)存、網(wǎng)絡等資源的監(jiān)測,以便均衡調(diào)度爬蟲任務,即確保爬蟲任務在資源利用率較低的節(jié)點上執(zhí)行,從而有效減輕各個節(jié)點之間資源過度占用和不均衡問題。另外,該方法引入的Flask提高了可擴展性,實現(xiàn)了可視化爬蟲監(jiān)控平臺。實驗結果表明,文中提出的方法在提高爬蟲任務執(zhí)行效率和適應性方面取得了顯著效果,為分布式爬蟲系統(tǒng)的進一步優(yōu)化提供了有益指導。

    關鍵詞: 分布式爬蟲; 任務調(diào)度; 資源感知; Flask; 數(shù)據(jù)采集; 資源利用率

    中圖分類號: TN919?34; TP303; TP333""""""""""""" 文獻標識碼: A"""""""""""""""" 文章編號: 1004?373X(2024)09?0086?05

    0" 引" 言

    隨著互聯(lián)網(wǎng)的迅猛發(fā)展,數(shù)據(jù)量呈爆炸性增長。巨大的數(shù)據(jù)量是數(shù)字時代的寶貴信息資源,各行各業(yè)通過整理和分析自身數(shù)據(jù)倉庫以及外部數(shù)據(jù),以洞察行業(yè)趨勢,分析消費者行為,并利用數(shù)據(jù)解決問題[1]。為了有效獲取特定信息和精準數(shù)據(jù),“網(wǎng)絡爬蟲”(Web Crawler)[2]技術應運而生,它是一種數(shù)據(jù)采集技術,其目標是自動遍歷并提取互聯(lián)網(wǎng)上公開、合法的數(shù)據(jù)。

    然而,隨著網(wǎng)頁數(shù)量和數(shù)據(jù)規(guī)模的指數(shù)級增長,傳統(tǒng)的單機爬蟲效率已經(jīng)無法滿足需求,因此需要將其擴展為分布式爬蟲以提高數(shù)據(jù)采集效率[3?4]。目前的分布式爬蟲框架主要采用主從模式設計,由一個主節(jié)點和多個子節(jié)點組成,主節(jié)點負責控制子節(jié)點并向其分發(fā)爬蟲任務。常見的分布式爬蟲框架包括PySpider、Scrapy?Redis[5]、Apache Nutch等,它們通常具備豐富的數(shù)據(jù)采集功能、完善的軟件生態(tài)和高度的可擴展性等優(yōu)勢。

    在當前分布式爬蟲技術研究中,一些優(yōu)化方法已經(jīng)涌現(xiàn),如網(wǎng)絡負載均衡、分布式隊列優(yōu)化等。然而,節(jié)點的CPU、運行內(nèi)存等系統(tǒng)資源利用率也是影響爬蟲任務執(zhí)行效率的關鍵因素。因此,本文從節(jié)點的系統(tǒng)資源利用率出發(fā),提出了一種基于資源感知的分布式爬蟲任務調(diào)度方法。在該方法中,主節(jié)點會實時監(jiān)測子節(jié)點的CPU、運行內(nèi)存、網(wǎng)絡等資源利用率,并根據(jù)資源利用率對節(jié)點進行優(yōu)先級動態(tài)排序,資源利用率低的節(jié)點將優(yōu)先調(diào)度爬蟲任務。通過該方法實現(xiàn)各個節(jié)點的資源負載均衡。實驗證明,這種任務調(diào)度方法能夠提高分布式爬蟲任務的執(zhí)行效率。此外,本文還采用Flask[6]框架作為節(jié)點間的通信工具,并利用其RESTful API特性進一步將該任務調(diào)度方法擴展為一個可視化的分布式爬蟲控制平臺。

    1" 相關工作

    隨著互聯(lián)網(wǎng)的發(fā)展和數(shù)據(jù)量的增長,傳統(tǒng)分布式爬蟲執(zhí)行效率將面臨嚴峻的挑戰(zhàn),為了克服這些挑戰(zhàn),研究者們提出了各種創(chuàng)新性的方法和框架。

    文獻[7]提出了使用AWS的混合P2P網(wǎng)絡分布式網(wǎng)絡爬蟲(Hybrid P2P Networking Distributed Web Crawler Using AWS, HP2PNC?AWS)。HP2PNC?AWS利用亞馬遜網(wǎng)絡服務(AWS)的云服務平臺,以應對傳統(tǒng)網(wǎng)絡爬蟲在面對高流量的挑戰(zhàn)。在收集新聞數(shù)據(jù)方面,HP2PNC?AWS表現(xiàn)出極佳的性能,比常規(guī)的Web爬蟲程序快,但是比服務器/客戶端分布式Web爬蟲程序略慢,特別是在爬蟲程序被服務端阻止的情況下。然而,HP2PNC?AWS有利于增強網(wǎng)絡爬蟲執(zhí)行效率。

    文獻[8]提出了一種基于分布式的網(wǎng)絡爬蟲技術,以實現(xiàn)對大量數(shù)據(jù)在網(wǎng)頁上的自動收集、解析和格式化存儲。該技術采用了Nutch爬蟲框架、Zookeeper分布式協(xié)調(diào)服務和高性能的Key?Value數(shù)據(jù)庫Redis用于數(shù)據(jù)存儲,同時利用Solr引擎對抓取的信息進行索引和展示。通過優(yōu)化提取頁面信息算法和關鍵詞匹配算法,實現(xiàn)了對抓取的數(shù)據(jù)進行指標相關數(shù)據(jù)的提取。

    文獻[9]提出了一種基于Django的分布式爬蟲框架設計方法,以優(yōu)化分布式爬蟲框架的性能并擴展其功能。該框架引入了爬蟲任務隊列技術,實現(xiàn)了在爬蟲運行過程中隨時更新爬蟲代碼時可自動重新載入的功能,同時能夠接著從中斷點繼續(xù)執(zhí)行任務,解決了重新載入程序過程中丟失之前數(shù)據(jù)的問題。

    文獻[10]采用對等式架構的爬行器,使任務既是消費者又是生產(chǎn)者,提出了本地執(zhí)行任務的優(yōu)化方向。該方法借助雙緩沖技術實現(xiàn)動態(tài)負載均衡策略和基于高速緩存原理的URL(Uniform Resource Locator)判重方案,成功降低了通信頻次并提升了URL判重性能,使分布式系統(tǒng)的性能優(yōu)勢得到更充分的發(fā)揮。

    文獻[11]探討了使用主題爬蟲的Web信息數(shù)據(jù)挖掘,介紹了Web信息搜索和數(shù)據(jù)挖掘的體系結構以及關鍵技術和操作原理。他們強調(diào)了爬蟲獨有的特性和應用,介紹了爬蟲的工作原理和實現(xiàn)方法,并對其性能進行了分析。實驗結果表明,該爬蟲能夠在萬維網(wǎng)上收集各種信息資源,有助于網(wǎng)絡文化內(nèi)容的監(jiān)控和管理。此外,他們利用爬蟲技術將整個網(wǎng)絡集成到數(shù)據(jù)倉庫,實現(xiàn)了全面的網(wǎng)絡內(nèi)容采樣、審計和監(jiān)控,以增強網(wǎng)絡文化中的安全性。

    文獻[12]分析了在網(wǎng)絡上組織用戶搜索信息面臨的挑戰(zhàn),并深入探討了深度網(wǎng)絡層次的動態(tài)特性,提出了一種新的兩階段深度學習數(shù)據(jù)爬蟲框架(Novel and Efficient Two?phase Deep Learning Data Crawler Framewor,NTPDCF)。NTPDCF通過搜索引擎收集準確的鏈接,并使用自適應網(wǎng)站排名來探索相關網(wǎng)站鏈接,考慮了用戶偏好、動態(tài)特征和自適應權重,能夠進行有效的數(shù)據(jù)探索。

    2" 研究框架

    2.1" Scrapy?Redis

    作為一種開源數(shù)據(jù)庫,Redis[13]支持多種豐富的數(shù)據(jù)結構存儲,包括字符串、哈希表、列表、集合、有序集合等。而Scrapy引擎(Scrapy Engine)負責管理整個爬蟲系統(tǒng)的數(shù)據(jù)流,根據(jù)不同的處理目標將任務分發(fā)給不同的組件。如圖1所示,Scrapy?Redis架構將Scrapy與Redis進行整合,并采用了類似主從模式的設計,實現(xiàn)了多個爬蟲節(jié)點之間的任務調(diào)度和協(xié)同工作。

    圖1中,Redis被視為主節(jié)點,其他子節(jié)點從Redis中讀取爬蟲任務。調(diào)度器(Scheduler)負責接收來自Scrapy引擎的請求,并對這些請求進行隊列化。下載器(Downloader)負責從互聯(lián)網(wǎng)上獲取任務目標Web,并將其返回給Scrapy引擎進行處理。蜘蛛(Spiders)根據(jù)Scrapy引擎分發(fā)的Web執(zhí)行不同的數(shù)據(jù)采集功能,而項目管道(Item Pipeline)則負責處理蜘蛛采集的數(shù)據(jù),包括解析數(shù)據(jù)、清洗數(shù)據(jù)和存儲數(shù)據(jù)等操作。在Scrapy?Redis架構中,每個爬蟲節(jié)點都能獨立運行,從而提高了整個架構的伸縮性、可擴展性,以及數(shù)據(jù)采集效率。

    2.2" Flask

    Flask是一款輕量而靈活的Python Web框架,包括多個組件,比如路由、視圖函數(shù)以及Web服務器網(wǎng)關接口(Web Server Gateway Interface, WSGI)等,可以降低Web應用設計的成本,其框架如圖2所示。在該框架中,客戶端首先發(fā)起網(wǎng)絡請求,并由Werkzeug提供的WSGI進行處理;接著,F(xiàn)lask應用程序(由Python構建)處理請求;最后,通過WSGI將結果返回給客戶端。作為微框架,F(xiàn)lask并未引入過多的開發(fā)限制,而是提供了基本的Web構建工具,實現(xiàn)了Web應用的快速構建,同時保持了極大的自由度和靈活性。

    3" 資源感知的任務調(diào)度設計

    3.1" 設計動機

    在每臺節(jié)點機器中,爬蟲任務通常是重復、多次、持久的應用程序。長時間運行的任務會導致系統(tǒng)的CPU、運行內(nèi)存、網(wǎng)絡等資源處于高負荷使用狀態(tài)。盡管網(wǎng)絡資源對于爬蟲任務的執(zhí)行效率至關重要,但其他系統(tǒng)資源也會顯著影響任務的執(zhí)行效率。例如,CPU和運行內(nèi)存限制了可并發(fā)執(zhí)行的線程數(shù)量,以及臨時數(shù)據(jù)存取或數(shù)據(jù)交換。與Scrapy?Redis這類分布式爬蟲框架類似,每個節(jié)點中的爬蟲系統(tǒng)負責執(zhí)行從Redis返回的任務。然而,在實際的分布式爬蟲任務執(zhí)行中,每個節(jié)點將承擔不同的資源負載[14?15],隨著時間推移,每個節(jié)點的資源負載可能存在較大差異,例如,某些節(jié)點可能長時間高負荷運行,而其他節(jié)點可能有相當一部分系統(tǒng)資源處于空閑狀態(tài)。

    圖3展示了Scrapy?Redis運行時每個節(jié)點可能的系統(tǒng)資源使用情況。假設當前的主節(jié)點為Redis,并在4個子節(jié)點Node 1、Node 2、Node 3和Node 4上運行爬蟲任務。在[T1]時刻,Node 1和Node 4的平均資源利用率分別高達80%和91.7%,而Node 2和Node 3的平均資源利用率則保持在73.4%和76.7%。此時,Node 1和Node 4不應該再繼續(xù)執(zhí)行爬蟲任務,而應該等待這兩個節(jié)點正在執(zhí)行中的爬蟲任務結束后再進行爬蟲任務調(diào)度。在[T2]時刻,如果在Node 1和Node 4上保持爬蟲任務調(diào)度,它們的資源利用率會達到峰值,相反,Node 2和Node 3則保持較低的資源利用率,這會導致節(jié)點的資源負載嚴重不均衡。

    本文模擬了類似的實驗環(huán)境,將Node 1和Node 2的平均資源利用率控制在99.8%和12.9%,然后讓這兩個節(jié)點執(zhí)行相同的100個爬蟲任務,并統(tǒng)計這些爬蟲任務的響應時間(單位:ms),如圖4所示。

    實驗結果表明,與Node 1相比,Node 2任務響應效率平均提高了22.6%。Node 1的資源使用接近峰值,導致了響應爬蟲任務的時間波動非常明顯,相反,Node 2的響應時間相對平穩(wěn)。

    3.2" 任務調(diào)度架構

    資源感知的爬蟲任務調(diào)度設計集中在充分利用分布式環(huán)境中的節(jié)點資源,以提高爬蟲任務執(zhí)行效率和系統(tǒng)可用性。圖5展示了基于資源感知的分布式爬蟲任務調(diào)度系統(tǒng)架構。該架構實時監(jiān)測各節(jié)點的CPU利用率、內(nèi)存占用和網(wǎng)絡帶寬等資源狀態(tài),根據(jù)資源利用率為每個節(jié)點確定執(zhí)行優(yōu)先級,并優(yōu)先選擇低優(yōu)先級的節(jié)點來執(zhí)行任務。節(jié)點的優(yōu)先級定義依賴于每個節(jié)點的資源利用率反饋,因此引入了Flask作為通信工具,以構建高效的節(jié)點間通信機制,實現(xiàn)即時獲取各節(jié)點資源利用率信息的目的。這一信息將用于動態(tài)調(diào)整節(jié)點優(yōu)先級,系統(tǒng)將優(yōu)先選擇資源利用率較低的節(jié)點執(zhí)行爬蟲任務,以最大化資源利用效益,具體操作如算法1所示。

    算法1:優(yōu)先級排序

    // NodePriority用于排序優(yōu)先級,同時用于后續(xù)的功能擴展

    class NodePriority:

    def_init_(self, nodeName, nodePriority):

    self. nodeName = nodeName

    self. nodePriority = nodePriority

    def_lt_(self, other):

    return self. nodePriority lt; other. nodePriority

    //使用公式(1)計算每個節(jié)點的平均資源利用率

    np = [NodePriority (\"node1\", 80), NodePriority (\"node2\", 70), NodePriority (\"node3\", 95)]

    //利用sorted的從小到大排序功能,隊列化一個優(yōu)先級隊列

    sorted_tasks = sorted(np)

    此外,本文為所有的節(jié)點引入了一個資源利用率閾值,該閾值是靜態(tài)的,根據(jù)實驗經(jīng)驗,當節(jié)點的資源利用率達到90%后,節(jié)點不應繼續(xù)調(diào)度新的爬蟲任務。相反,應等待執(zhí)行中的爬蟲任務結束,并且節(jié)點的資源利用率下降至90%以下,然后再調(diào)度新的爬蟲任務。

    同時,引入具有高度靈活性的Flask也使系統(tǒng)更具可擴展性,可以進一步將其擴展為一個可視化的分布式爬蟲監(jiān)控平臺。這一平臺不僅能夠展示各節(jié)點的資源利用率,還能實現(xiàn)對爬蟲任務的實時管理。通過該平臺,用戶可以方便地啟動、暫停、終止爬蟲任務,甚至動態(tài)增加節(jié)點以適應數(shù)據(jù)采集的需求。此外,本文還設計了Flask與數(shù)據(jù)庫的連接,能夠檢索采集的數(shù)據(jù)進行臨時審查,以及進行其他的數(shù)據(jù)操作。這種可視化監(jiān)控平臺將提供全面的任務管理和實時監(jiān)控功能,使得整個分布式爬蟲系統(tǒng)智能化程度更高且更具可操作性。

    4" 資源感知的任務調(diào)度實驗

    4.1" 實驗環(huán)境設置

    本文搭建了一個爬蟲環(huán)境,以實現(xiàn)基于資源感知的分布式爬蟲任務調(diào)度系統(tǒng),其中涉及的算法和爬蟲均采用Python開發(fā)。為了更貼近實際的爬蟲任務運行環(huán)境,并與常規(guī)的分布式爬蟲架構進行區(qū)分,本文實驗將每個節(jié)點的初始平均資源利用率控制在一定范圍內(nèi),具體如表1所示。

    4.2" 實驗結果與分析

    本文對比了未優(yōu)化和采用資源感知任務調(diào)度的Scrapy?Redis,實驗對象的數(shù)據(jù)采集目標一致,執(zhí)行了多組爬蟲任務,每組包含多個子爬蟲任務,結果如圖6、圖7所示。

    由圖6可知,對于目標網(wǎng)絡延遲較低、網(wǎng)頁解析較快、對CPU和內(nèi)存的依賴程度不高的情況,優(yōu)化后的效果并不明顯,大約提高了5%。

    由圖7可知,對于目標網(wǎng)絡延遲較高、網(wǎng)頁解析較慢,對CPU、內(nèi)存資源的依賴程度更高的情況,基于資源感知的爬蟲任務調(diào)度顯著降低了爬蟲任務的執(zhí)行時間,大約提高了37%。

    4.3" 可視化監(jiān)控平臺

    Flask框架在基于資源感知的分布式爬蟲任務調(diào)度方法中有著不可或缺的作用。在本文方法中,F(xiàn)lask不僅是各個節(jié)點通信的重要工具,還為分布式爬蟲管理者提供了一個直觀、實時、全面了解各個節(jié)點的資源利用和數(shù)據(jù)采集情況的強大工具。該平臺的可視化界面如圖8所示??梢暬O(jiān)控平臺不僅僅是一個簡單的監(jiān)控系統(tǒng),更是一個智能化的分布式爬蟲工具,能夠展示各節(jié)點的CPU使用率、內(nèi)存占用率和網(wǎng)絡帶寬利用率等多維度性能指標。

    可視化監(jiān)控平臺還提供了全部暫停、全部啟動、數(shù)據(jù)庫查詢、增加節(jié)點等功能。特別是節(jié)點增加功能,提高了本文提出的分布式爬蟲系統(tǒng)的可擴展性。在擴展時,本文采用了Docker容器技術[16],利用Docker實現(xiàn)了遠程啟動和一鍵部署爬蟲環(huán)境等功能。同時,可視化監(jiān)控平臺的所有請求也經(jīng)過修改后的AES加密[17],實現(xiàn)了密文傳輸。

    5" 結" 論

    本文提出了基于資源感知的分布式爬蟲任務調(diào)度方法,旨在有效利用分布式環(huán)境中各個節(jié)點的系統(tǒng)資源,提高爬蟲系統(tǒng)的性能和效率。通過采用資源感知的爬蟲任務調(diào)度算法和節(jié)點的優(yōu)先級管理,本文實現(xiàn)了各個節(jié)點的CPU、內(nèi)存、網(wǎng)絡等資源的合理負載,以確保爬蟲任務在資源利用率較低的節(jié)點上執(zhí)行,一定程度上緩解了節(jié)點資源過度占用和不均衡的情況。同時,本文還結合了Flask,確保了各個節(jié)點之間的連接通信,并且實現(xiàn)了可視化操作平臺,提高了該方法的可擴展性。實驗結果證明,該方法可以顯著提高分布式爬蟲任務執(zhí)行的效率。此外,該方法還可以與多線程和多進程等異步并發(fā)方案結合,進一步提高爬蟲任務調(diào)度的效率。

    注:本文通訊作者為魏繼楨。

    參考文獻

    [1] 馬捷,郝志遠,李麗華,等.數(shù)字化轉型視域下的數(shù)據(jù)價值研究綜述:內(nèi)涵闡述、作用機制、場景應用與數(shù)據(jù)創(chuàng)新[J].圖書情報工作,2023,67(15):4?13.

    [2] 李培.基于Python的網(wǎng)絡爬蟲與反爬蟲技術研究[J].計算機與數(shù)字工程,2019,47(6):1415?1420.

    [3] 潘曉英,陳柳,余慧敏,等.主題爬蟲技術研究綜述[J].計算機應用研究,2020,37(4):961?965.

    [4] 曾健榮,張仰森,鄭佳,等.面向多數(shù)據(jù)源的網(wǎng)絡爬蟲實現(xiàn)技術及應用[J].計算機科學,2019,46(5):304?309.

    [5] 韓貝,馬明棟,王得玉.基于Scrapy框架的爬蟲和反爬蟲研究[J].計算機技術與發(fā)展,2019,29(2):139?142.

    [6] 牛作東,李捍東.基于Python與flask工具搭建可高效開發(fā)的實用型MVC框架[J].計算機應用與軟件,2019,36(7):21?25.

    [7] KIM Y Y, KIM Y K, KIM D S, et al. Implementation of hybrid P2P networking distributed web crawler using AWS for smart work news big data [J]. Peer?to?peer networking and application, 2020, 13(1): 659?670.

    [8] 馬蕾,馮錫煒,竇予梓,等.分布式爬蟲的研究與實現(xiàn)[J].計算機技術與發(fā)展,2020,30(2):192?196.

    [9] 趙宸,劉建華.基于Django的分布式爬蟲框架設計與實現(xiàn)[J].計算機與數(shù)字工程,2020,48(10):2495?2498.

    [10] 盧照,師軍,張耀午,等.基于雙緩沖的分布式爬蟲調(diào)度策略的設計與研究[J].計算機與數(shù)字工程,2022,50(8):1686?1690.

    [11] GUO H J. Research on Web data mining based on topic crawler [J]. Journal of Web engineering, 2021, 20(4): 1193?1205.

    [12] MURUGUDU M R, REDDY L S S. Efficiently harvesting deep web interfaces based on adaptive learning using two?phase data crawler framework [J]. Soft computing, 2023, 27(1): 505?515.

    [13] 張杰,劉凱,周立軍.采用Redis高并發(fā)應用系統(tǒng)設計與實現(xiàn)方法[J].計算機與數(shù)字工程,2020,48(5):1222?1226.

    [14] 曾磊,白金明,劉琦.多群落粒子群優(yōu)化供應鏈數(shù)據(jù)中心任務調(diào)度[J].應用科學學報,2023,41(3):419?430.

    [15] 吳傳峰,朱偉.一種面向完成時間與負載均衡的任務調(diào)度算法[J].指揮控制與仿真,2023,45(2):82?87.

    [16] 吳逸文,張洋,王濤,等.從Docker容器看容器技術的發(fā)展:一種系統(tǒng)文獻綜述的視角[J].軟件學報,2023,34(12):5527?5551.

    [17] 李昭容.數(shù)據(jù)加密技術在計算機網(wǎng)絡安全中的應用研究[J].信息與電腦(理論版),2023,35(15):13?16.

    Method of distributed crawler task scheduling based on resource awareness

    ZHANG Jun, WEI Jizhen, LI Yubin

    (School of Information Engineering, East China University of Technology, Nanchang 330013, China)

    Abstract: This paper aims to develop a distributed crawler task scheduling method based on resource awareness, so as to optimize the system resource utilization of each node in a distributed environment and improve the execution efficiency of crawler task. By introducing resource awareness scheduling algorithm and node priority management, the monitoring of resources of CPU, memory and network in nodes is achieved to balance the scheduling of crawler task, that is, to ensure that crawler tasks are executed on nodes with low resource utilization, so as to effectively relieve the excessive resource occupation and imbalance among nodes. In addition, the introduction of Flask has improved the scalability of the method and achieved a visual crawler monitoring platform. Experimental results show that the proposed method can achieve significant results in improving the efficiency and adaptability of crawler task execution, which provides useful guidance for the further optimization of distributed crawler systems.

    Keywords: distributed crawler; task scheduling; resource awareness; Flask; data collection; resource utilization rate

    DOI:10.16652/j.issn.1004?373x.2024.09.016

    引用格式:張軍,魏繼楨,李鈺彬.基于資源感知的分布式爬蟲任務調(diào)度方法[J].現(xiàn)代電子技術,2024,47(9):86?90.

    收稿日期:2024?01?17"""""""""" 修回日期:2024?02?05

    基金項目:國家自然科學基金資助項目(62162002);國家自然科學基金資助項目(61662002);江西省自然科學基金資助項目(20212BAB202002)

    張" 軍,等:基于資源感知的分布式爬蟲任務調(diào)度方法

    張" 軍,等:基于資源感知的分布式爬蟲任務調(diào)度方法

    作者簡介:張" 軍(1978—),男,湖南常德人,博士,教授,主要研究方向為處理器/存儲器性能功耗優(yōu)化、大數(shù)據(jù)技術原理與應用、自然語言處理。

    魏繼楨(1998—),男,江西吉安人,碩士研究生,研究方向為GPGPU微體系結構、并行計算。

    李鈺彬(1998—),女,廣東韶關人,碩士研究生,研究方向為學圖像處理、自然語言處理。

    猜你喜歡
    任務調(diào)度數(shù)據(jù)采集
    基于PEPA的云計算任務調(diào)度性能分析
    基于改進NSGA-Ⅱ算法的協(xié)同制造任務調(diào)度研究
    基于時間負載均衡蟻群算法的云任務調(diào)度優(yōu)化
    測控技術(2018年7期)2018-12-09 08:58:00
    CS5463在植栽用電子鎮(zhèn)流器老化監(jiān)控系統(tǒng)中的應用
    大數(shù)據(jù)時代高校數(shù)據(jù)管理的思考
    科技視界(2016年18期)2016-11-03 22:51:40
    鐵路客流時空分布研究綜述
    基于廣播模式的數(shù)據(jù)實時采集與處理系統(tǒng)
    軟件工程(2016年8期)2016-10-25 15:54:18
    通用Web表單數(shù)據(jù)采集系統(tǒng)的設計與實現(xiàn)
    軟件工程(2016年8期)2016-10-25 15:52:53
    基于開源系統(tǒng)的綜合業(yè)務數(shù)據(jù)采集系統(tǒng)的開發(fā)研究
    基于小生境遺傳算法的相控陣雷達任務調(diào)度
    五月伊人婷婷丁香| 两个人免费观看高清视频| 黄色 视频免费看| 国产精品久久久久久精品古装| 大香蕉久久成人网| 街头女战士在线观看网站| 国产精品无大码| 日韩av不卡免费在线播放| 天天操日日干夜夜撸| 午夜福利网站1000一区二区三区| 伊人亚洲综合成人网| 日本与韩国留学比较| 日本与韩国留学比较| 国产女主播在线喷水免费视频网站| 中文天堂在线官网| 99热网站在线观看| 一区二区三区四区激情视频| 亚洲国产精品成人久久小说| 久久久久精品性色| av女优亚洲男人天堂| 女人被躁到高潮嗷嗷叫费观| 另类精品久久| 少妇 在线观看| 丁香六月天网| 免费看不卡的av| 国产精品一区二区在线观看99| 纵有疾风起免费观看全集完整版| 色5月婷婷丁香| 国产成人免费无遮挡视频| 亚洲 欧美一区二区三区| 在现免费观看毛片| 51国产日韩欧美| 亚洲国产成人一精品久久久| 成年动漫av网址| 女人久久www免费人成看片| 精品人妻偷拍中文字幕| 女人精品久久久久毛片| 大片电影免费在线观看免费| 午夜影院在线不卡| 亚洲av综合色区一区| 在线观看人妻少妇| 久久精品国产亚洲av涩爱| 十八禁网站网址无遮挡| 亚洲精华国产精华液的使用体验| 伦精品一区二区三区| 交换朋友夫妻互换小说| 在线天堂中文资源库| 免费大片黄手机在线观看| 99精国产麻豆久久婷婷| 99国产综合亚洲精品| 免费大片黄手机在线观看| 一级毛片黄色毛片免费观看视频| 欧美日韩成人在线一区二区| 少妇人妻久久综合中文| 日日撸夜夜添| 2018国产大陆天天弄谢| 国产精品欧美亚洲77777| 色视频在线一区二区三区| 人妻少妇偷人精品九色| 婷婷成人精品国产| 新久久久久国产一级毛片| 亚洲国产精品999| 在线看a的网站| 久久精品久久久久久噜噜老黄| 欧美日韩视频精品一区| 91aial.com中文字幕在线观看| 少妇人妻久久综合中文| 黑人欧美特级aaaaaa片| 在线观看国产h片| 两个人看的免费小视频| 夜夜骑夜夜射夜夜干| 狂野欧美激情性bbbbbb| 久久国产精品男人的天堂亚洲 | 色94色欧美一区二区| 国产熟女欧美一区二区| 99视频精品全部免费 在线| 蜜桃在线观看..| 日韩欧美精品免费久久| 亚洲综合精品二区| 国产成人欧美| 亚洲人成网站在线观看播放| 国产av码专区亚洲av| 中文天堂在线官网| 国产黄频视频在线观看| 最黄视频免费看| 又粗又硬又长又爽又黄的视频| 在线观看三级黄色| 免费av中文字幕在线| 精品第一国产精品| 性色avwww在线观看| 9191精品国产免费久久| 亚洲欧美中文字幕日韩二区| 侵犯人妻中文字幕一二三四区| 香蕉精品网在线| 精品国产一区二区三区四区第35| 亚洲在久久综合| 永久网站在线| 一区二区三区精品91| 日韩大片免费观看网站| 男女高潮啪啪啪动态图| 好男人视频免费观看在线| 侵犯人妻中文字幕一二三四区| 涩涩av久久男人的天堂| 久久av网站| 久久久久久久久久久久大奶| 午夜久久久在线观看| 国产成人aa在线观看| 久久久欧美国产精品| 大香蕉久久成人网| 国语对白做爰xxxⅹ性视频网站| 国产精品久久久av美女十八| 亚洲精品,欧美精品| 观看美女的网站| 在线亚洲精品国产二区图片欧美| 狠狠婷婷综合久久久久久88av| 精品午夜福利在线看| av女优亚洲男人天堂| 久久毛片免费看一区二区三区| 久久99精品国语久久久| 久久精品国产综合久久久 | 欧美日韩精品成人综合77777| 91精品国产国语对白视频| 亚洲精品一区蜜桃| freevideosex欧美| 久久青草综合色| 亚洲伊人色综图| 狠狠婷婷综合久久久久久88av| 国产男女内射视频| 女人被躁到高潮嗷嗷叫费观| 成人亚洲欧美一区二区av| 爱豆传媒免费全集在线观看| 人妻系列 视频| 国产探花极品一区二区| 免费在线观看黄色视频的| 午夜91福利影院| 成人综合一区亚洲| 最新的欧美精品一区二区| 啦啦啦中文免费视频观看日本| 免费黄网站久久成人精品| 九九在线视频观看精品| 国产高清国产精品国产三级| 亚洲精品国产av蜜桃| 亚洲成人av在线免费| 少妇的逼好多水| 国产日韩欧美视频二区| 日本免费在线观看一区| 青青草视频在线视频观看| 日韩制服丝袜自拍偷拍| 男女边摸边吃奶| 在线观看美女被高潮喷水网站| 男人舔女人的私密视频| 伊人亚洲综合成人网| 视频中文字幕在线观看| 亚洲欧美色中文字幕在线| 天天操日日干夜夜撸| 免费大片18禁| 纯流量卡能插随身wifi吗| 免费女性裸体啪啪无遮挡网站| 夫妻午夜视频| 欧美成人午夜免费资源| 国产精品 国内视频| 人人澡人人妻人| 国产在线一区二区三区精| 大话2 男鬼变身卡| 国产成人av激情在线播放| 高清毛片免费看| 亚洲av日韩在线播放| 中文字幕最新亚洲高清| 伊人久久国产一区二区| 尾随美女入室| av免费在线看不卡| 另类精品久久| 高清黄色对白视频在线免费看| 成人18禁高潮啪啪吃奶动态图| 晚上一个人看的免费电影| 一级毛片黄色毛片免费观看视频| 黑人欧美特级aaaaaa片| 成人综合一区亚洲| 成人国产麻豆网| 国产老妇伦熟女老妇高清| 免费在线观看完整版高清| www.色视频.com| 欧美xxxx性猛交bbbb| 看免费成人av毛片| 一级毛片电影观看| av黄色大香蕉| 黄片无遮挡物在线观看| 亚洲精品国产av成人精品| 另类亚洲欧美激情| 女人精品久久久久毛片| 晚上一个人看的免费电影| 中文字幕人妻丝袜制服| 色视频在线一区二区三区| 丝袜喷水一区| 69精品国产乱码久久久| 久久精品夜色国产| 久久久久久久久久人人人人人人| 欧美性感艳星| 精品一区二区三卡| av播播在线观看一区| 国产日韩一区二区三区精品不卡| 狂野欧美激情性bbbbbb| 在线观看www视频免费| 男女无遮挡免费网站观看| 欧美最新免费一区二区三区| 美女主播在线视频| 9色porny在线观看| 51国产日韩欧美| 成人综合一区亚洲| 久久久国产精品麻豆| 看非洲黑人一级黄片| 男女高潮啪啪啪动态图| www日本在线高清视频| 久久精品国产亚洲av天美| 亚洲成av片中文字幕在线观看 | 中国美白少妇内射xxxbb| 亚洲激情五月婷婷啪啪| 午夜激情久久久久久久| 大香蕉97超碰在线| 亚洲精品国产av蜜桃| 亚洲四区av| 涩涩av久久男人的天堂| 插逼视频在线观看| 免费观看在线日韩| 亚洲国产精品专区欧美| 亚洲国产最新在线播放| 天天躁夜夜躁狠狠躁躁| 久久人妻熟女aⅴ| 一级a做视频免费观看| 少妇熟女欧美另类| 97超碰精品成人国产| 色94色欧美一区二区| 亚洲美女视频黄频| 校园人妻丝袜中文字幕| 日韩一区二区三区影片| 18禁观看日本| 少妇高潮的动态图| av.在线天堂| 免费不卡的大黄色大毛片视频在线观看| 啦啦啦视频在线资源免费观看| 国产日韩欧美视频二区| 蜜桃在线观看..| av在线观看视频网站免费| 国产精品女同一区二区软件| 插逼视频在线观看| 成人国产麻豆网| 亚洲精品第二区| 成人亚洲欧美一区二区av| 久久综合国产亚洲精品| 成年动漫av网址| 久久这里只有精品19| 黄色视频在线播放观看不卡| 日本-黄色视频高清免费观看| 校园人妻丝袜中文字幕| 国产精品人妻久久久久久| 美女国产视频在线观看| 在线亚洲精品国产二区图片欧美| 国产黄色免费在线视频| 在现免费观看毛片| 久久久国产精品麻豆| 青春草亚洲视频在线观看| av黄色大香蕉| 观看av在线不卡| 五月天丁香电影| 日韩熟女老妇一区二区性免费视频| 国产男女内射视频| 日本欧美视频一区| 美女国产视频在线观看| 在线亚洲精品国产二区图片欧美| 欧美日韩视频精品一区| 99热全是精品| 男女免费视频国产| 亚洲综合精品二区| 国产av精品麻豆| 丰满迷人的少妇在线观看| 午夜福利视频在线观看免费| www.色视频.com| 蜜桃国产av成人99| 亚洲av国产av综合av卡| 老司机影院成人| 国产白丝娇喘喷水9色精品| 亚洲欧洲日产国产| 亚洲国产毛片av蜜桃av| 国产极品粉嫩免费观看在线| 国产69精品久久久久777片| 纵有疾风起免费观看全集完整版| 91精品伊人久久大香线蕉| 人人妻人人爽人人添夜夜欢视频| 丰满乱子伦码专区| 久久精品熟女亚洲av麻豆精品| 国产麻豆69| 热re99久久精品国产66热6| 天天操日日干夜夜撸| 久久午夜福利片| 捣出白浆h1v1| av一本久久久久| 亚洲欧美色中文字幕在线| 日韩精品有码人妻一区| 国产欧美日韩一区二区三区在线| 久久99精品国语久久久| 最近的中文字幕免费完整| 国产熟女欧美一区二区| 人妻人人澡人人爽人人| 久久久久久久久久人人人人人人| 久久韩国三级中文字幕| 九草在线视频观看| 亚洲 欧美一区二区三区| kizo精华| 亚洲欧洲精品一区二区精品久久久 | 另类精品久久| 在线观看免费日韩欧美大片| 99热全是精品| 成人免费观看视频高清| 久久99热这里只频精品6学生| 亚洲人成网站在线观看播放| 国产片内射在线| 精品99又大又爽又粗少妇毛片| 中文天堂在线官网| 国产精品人妻久久久影院| 亚洲精品成人av观看孕妇| av视频免费观看在线观看| 精品国产乱码久久久久久小说| 国产日韩欧美视频二区| 久久99精品国语久久久| 欧美成人午夜精品| 久久99精品国语久久久| 久久久精品区二区三区| 日产精品乱码卡一卡2卡三| 国内精品宾馆在线| 免费女性裸体啪啪无遮挡网站| 好男人视频免费观看在线| 看免费成人av毛片| 久久97久久精品| 精品少妇黑人巨大在线播放| 男女国产视频网站| 一区二区日韩欧美中文字幕 | 亚洲图色成人| 26uuu在线亚洲综合色| 秋霞在线观看毛片| 视频在线观看一区二区三区| 日韩一区二区三区影片| 男的添女的下面高潮视频| xxxhd国产人妻xxx| 人人妻人人爽人人添夜夜欢视频| 国产亚洲最大av| 97精品久久久久久久久久精品| 宅男免费午夜| 久久毛片免费看一区二区三区| 成年人免费黄色播放视频| 最新中文字幕久久久久| 国产在视频线精品| 日韩一区二区视频免费看| 国产极品天堂在线| 久久97久久精品| 久久久a久久爽久久v久久| 国产黄色免费在线视频| 最近中文字幕高清免费大全6| 黑人巨大精品欧美一区二区蜜桃 | 中文字幕最新亚洲高清| 国产无遮挡羞羞视频在线观看| 女性生殖器流出的白浆| 又粗又硬又长又爽又黄的视频| 欧美精品亚洲一区二区| av有码第一页| 午夜激情久久久久久久| 久久精品夜色国产| videosex国产| 午夜激情久久久久久久| 久久人人爽人人片av| 在线精品无人区一区二区三| xxx大片免费视频| 亚洲成人一二三区av| 欧美精品人与动牲交sv欧美| 黄色毛片三级朝国网站| 另类精品久久| 久久久久久人妻| 黄色一级大片看看| 国产男女内射视频| 美女视频免费永久观看网站| 大话2 男鬼变身卡| 黑人欧美特级aaaaaa片| 亚洲av在线观看美女高潮| av.在线天堂| 天堂8中文在线网| 午夜福利视频在线观看免费| 中文欧美无线码| 一级毛片我不卡| 自线自在国产av| 男女啪啪激烈高潮av片| 国产精品女同一区二区软件| 国产在线一区二区三区精| 1024视频免费在线观看| 精品少妇久久久久久888优播| 天天影视国产精品| 亚洲精品日韩在线中文字幕| 美女福利国产在线| 秋霞伦理黄片| 亚洲色图 男人天堂 中文字幕 | 香蕉精品网在线| 成人黄色视频免费在线看| 999精品在线视频| 街头女战士在线观看网站| 久久精品久久久久久久性| 国产 一区精品| 飞空精品影院首页| 亚洲美女视频黄频| 国产精品一二三区在线看| 国产精品.久久久| 亚洲人成网站在线观看播放| 男女啪啪激烈高潮av片| 色视频在线一区二区三区| 午夜福利视频在线观看免费| 香蕉国产在线看| 9191精品国产免费久久| 97超碰精品成人国产| 国产高清不卡午夜福利| 国产精品国产三级专区第一集| 老司机影院成人| 最近中文字幕2019免费版| 一级片'在线观看视频| 国产日韩欧美亚洲二区| 观看av在线不卡| 欧美国产精品va在线观看不卡| 在线精品无人区一区二区三| 成人国产av品久久久| 亚洲av在线观看美女高潮| 一级,二级,三级黄色视频| 五月天丁香电影| 久久精品国产亚洲av天美| 视频在线观看一区二区三区| 亚洲av免费高清在线观看| 伦理电影大哥的女人| 9色porny在线观看| 欧美日韩亚洲高清精品| 最新的欧美精品一区二区| 国产片特级美女逼逼视频| 亚洲精华国产精华液的使用体验| 国产成人精品婷婷| 中文字幕亚洲精品专区| 久久人妻熟女aⅴ| 国语对白做爰xxxⅹ性视频网站| 亚洲国产毛片av蜜桃av| 桃花免费在线播放| 激情视频va一区二区三区| 男女下面插进去视频免费观看 | 中文字幕另类日韩欧美亚洲嫩草| 美女福利国产在线| 女人久久www免费人成看片| 91精品国产国语对白视频| 久久鲁丝午夜福利片| www.熟女人妻精品国产 | 午夜日本视频在线| 国产精品嫩草影院av在线观看| 久久亚洲国产成人精品v| 七月丁香在线播放| 在线免费观看不下载黄p国产| 国产福利在线免费观看视频| 大片免费播放器 马上看| 欧美激情极品国产一区二区三区 | 久久久久久久久久成人| 国产一区二区在线观看av| 999精品在线视频| 91国产中文字幕| 久久久久久久久久久久大奶| 久久影院123| 97超碰精品成人国产| 日韩三级伦理在线观看| 亚洲图色成人| 久久精品国产自在天天线| av电影中文网址| 女性生殖器流出的白浆| 丰满乱子伦码专区| 1024视频免费在线观看| 日韩中字成人| 免费日韩欧美在线观看| 久久久国产精品麻豆| 久久青草综合色| 国产探花极品一区二区| 黑人欧美特级aaaaaa片| 韩国精品一区二区三区 | 亚洲高清免费不卡视频| 国产深夜福利视频在线观看| 午夜福利在线观看免费完整高清在| 久久精品久久精品一区二区三区| 日韩欧美一区视频在线观看| 1024视频免费在线观看| 美国免费a级毛片| 深夜精品福利| 亚洲欧美成人综合另类久久久| 欧美 亚洲 国产 日韩一| 九九在线视频观看精品| 男男h啪啪无遮挡| 精品酒店卫生间| 亚洲精品av麻豆狂野| 黄色一级大片看看| 日本wwww免费看| 熟妇人妻不卡中文字幕| 日韩精品有码人妻一区| 国产欧美日韩一区二区三区在线| 欧美人与性动交α欧美精品济南到 | 黄色毛片三级朝国网站| 91成人精品电影| www.色视频.com| 51国产日韩欧美| 男女免费视频国产| 亚洲欧美清纯卡通| 最近中文字幕2019免费版| 日韩免费高清中文字幕av| 成人亚洲精品一区在线观看| 午夜免费鲁丝| 91精品三级在线观看| av国产精品久久久久影院| 亚洲精品国产av成人精品| 久久毛片免费看一区二区三区| 亚洲国产精品专区欧美| 亚洲美女搞黄在线观看| 午夜福利网站1000一区二区三区| 欧美bdsm另类| 美女视频免费永久观看网站| 天天躁夜夜躁狠狠久久av| 男人爽女人下面视频在线观看| a 毛片基地| 成人免费观看视频高清| 狂野欧美激情性xxxx在线观看| 精品一品国产午夜福利视频| 亚洲综合色网址| 久久久久久久亚洲中文字幕| 黑人高潮一二区| 午夜福利视频在线观看免费| 各种免费的搞黄视频| 男女无遮挡免费网站观看| 国产亚洲午夜精品一区二区久久| 秋霞伦理黄片| 狂野欧美激情性xxxx在线观看| 亚洲国产精品999| 午夜免费鲁丝| 成年人免费黄色播放视频| 国产成人a∨麻豆精品| 五月开心婷婷网| 亚洲成人手机| 三上悠亚av全集在线观看| 18禁观看日本| 国产av码专区亚洲av| 大香蕉97超碰在线| 一级片免费观看大全| 侵犯人妻中文字幕一二三四区| 18在线观看网站| 国产亚洲一区二区精品| 观看av在线不卡| 九九爱精品视频在线观看| av片东京热男人的天堂| 成人18禁高潮啪啪吃奶动态图| 欧美日韩亚洲高清精品| 一区二区av电影网| 免费黄频网站在线观看国产| 2018国产大陆天天弄谢| av在线老鸭窝| 国产毛片在线视频| 亚洲精品av麻豆狂野| 你懂的网址亚洲精品在线观看| 免费大片18禁| 国产精品一区二区在线观看99| 国产亚洲精品久久久com| 午夜福利网站1000一区二区三区| 丝袜脚勾引网站| 国产极品天堂在线| 黑人巨大精品欧美一区二区蜜桃 | 男人添女人高潮全过程视频| 男的添女的下面高潮视频| 久久免费观看电影| 丝袜人妻中文字幕| 国产成人a∨麻豆精品| 久久久欧美国产精品| 国产精品一国产av| xxxhd国产人妻xxx| 高清毛片免费看| 成人免费观看视频高清| 天美传媒精品一区二区| 国产无遮挡羞羞视频在线观看| 永久免费av网站大全| 十分钟在线观看高清视频www| 高清在线视频一区二区三区| 一级片免费观看大全| 免费日韩欧美在线观看| 国产白丝娇喘喷水9色精品| 在线观看美女被高潮喷水网站| 精品亚洲成国产av| 亚洲色图 男人天堂 中文字幕 | 天堂俺去俺来也www色官网| 美女大奶头黄色视频| 精品久久久精品久久久| 欧美变态另类bdsm刘玥| 国产成人免费观看mmmm| 亚洲国产欧美日韩在线播放| 日韩一本色道免费dvd| 日韩 亚洲 欧美在线| 欧美xxⅹ黑人| 日本欧美国产在线视频| 国产免费现黄频在线看| 亚洲欧洲精品一区二区精品久久久 | 国产永久视频网站| av女优亚洲男人天堂| 免费观看在线日韩| 国内精品宾馆在线| 欧美精品人与动牲交sv欧美| 欧美国产精品va在线观看不卡| 日韩熟女老妇一区二区性免费视频| 日日爽夜夜爽网站| 国产成人精品福利久久| 午夜福利视频精品| 美女脱内裤让男人舔精品视频| 最后的刺客免费高清国语| 天堂中文最新版在线下载| 亚洲精品日本国产第一区| 人成视频在线观看免费观看|