• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    FPGA 架構(gòu)上面向稀疏矩陣求解的靜態(tài)調(diào)度算法

    2022-07-14 13:11:34王晞陽陳繼林李猛劉首文
    計算機(jī)工程 2022年7期
    關(guān)鍵詞:處理單元對角乘法

    王晞陽,陳繼林,李猛,劉首文

    (1.國家超級計算無錫中心,江蘇 無錫 214072;2.中國電力科學(xué)研究院有限公司,北京 100192;3.國網(wǎng)湖北省電力有限公司,武漢 430070)

    0 概述

    在電力系統(tǒng)仿真中,電磁暫態(tài)仿真是主要的系統(tǒng)應(yīng)用之一,也是電力系統(tǒng)安全分析和運行的關(guān)鍵組件[1],該應(yīng)用的核心算法是對大規(guī)模線性方程組Ax=b進(jìn)行求解。通過對實際數(shù)據(jù)的分析可知,線性方程組中的系數(shù)矩陣A通常為稀疏矩陣,具體到電力系統(tǒng),其稠密度通常小于1%[2-3],如果不能有效利用矩陣的稀疏性,在使用計算機(jī)處理大型稀疏矩陣時,大量的存儲和計算資源將會浪費在無效的零元上,導(dǎo)致存儲空間不足和處理效率低下[4]。因此,在實現(xiàn)大型稀疏矩陣存儲和計算時,需要利用專用的算法和數(shù)據(jù)結(jié)構(gòu),基于特殊設(shè)計的硬件架構(gòu),最大化地利用計算系統(tǒng)的算力和效能[5-6]。綜上,電力系統(tǒng)的電磁暫態(tài)加速求解問題最終聚焦于稀疏線性方程組的加速求解問題。

    稀疏線性方程組的求解方法包括直接法和迭代法兩大類。由于迭代法存在迭代次數(shù)不可控、結(jié)果精度較低等問題,因此一般使用直接法進(jìn)行求解。直接法是指在不考慮計算舍入誤差的情況下,通過矩陣分解和三角方程[7-8]進(jìn)行求解。下三角稀疏矩陣求解是求解稀疏線性方程組的核心算法的組成部分[9],而層次集合法[10-11]是最重要的并行性分析方法之一。近年來,越來越多的算法開始使用眾核加速硬件來實現(xiàn)并行加速。NAUMOV[12]提出基于層次集合的方法,其將多個小的層次集合進(jìn)行合并,以減少同步運算。PARK等[13]通過對同步進(jìn)行剪枝來提升效率。LIU等[14-15]提出利用圖形處理器(Graphics Processing Unit,GPU)的原子操作來實現(xiàn)無同步的算法。SU等[16]介紹大規(guī)模的線程級無同步算法。LU等[17]介紹基于循環(huán)塊優(yōu)化的算法。上述算法主要在GPU 上進(jìn)行優(yōu)化,WANG等[18]則提出了在國產(chǎn)神威眾核上實現(xiàn)的加速算法。

    相比眾核架構(gòu)(GPU 或神威眾核),現(xiàn)場可編程門陣列(Field Programmable Gate Array,F(xiàn)PGA)具有片上緩沖大、傳輸帶寬可定制、調(diào)度靈活等優(yōu)勢,可以最大化地利用計算系統(tǒng)的算力[19]。吳志勇等[20]設(shè)計了一種面向FPGA 求解稀疏矩陣的硬件架構(gòu),本文基于這一硬件結(jié)構(gòu),提出軟件映射和調(diào)度求解算法。該算法給出數(shù)據(jù)分布和指令排布的過程,通過將下三角稀疏矩陣的求解過程靜態(tài)映射到多個FPGA 片上的處理單元(Process Elements,PEs),以軟硬件協(xié)同的方法實現(xiàn)下三角稀疏矩陣在定制化FPGA 架構(gòu)上的高速求解。

    1 FPGA 稀疏矩陣求解器硬件設(shè)計

    FPGA 稀疏矩陣求解器的硬件設(shè)計在文獻(xiàn)[20]中已經(jīng)詳細(xì)說明,本文只簡述該求解器的基本原理和結(jié)構(gòu),以便進(jìn)一步介紹本文所提軟件調(diào)度算法。直接法需要遵循下三角稀疏矩陣內(nèi)部的對角元依賴關(guān)系,其求解路徑構(gòu)成一個有向無環(huán)圖(Directed Acyclic Graph,DAG)[21],如圖1 所示。由于DAG 的條件路徑依賴關(guān)系無法直接映射為并行化算法,因此無法直接在算法層進(jìn)行并行優(yōu)化。下三角稀疏矩陣具有稀疏性,構(gòu)成的DAG 存在隱式的數(shù)據(jù)并行,意味著多個對角元和非對角元之間存在并行處理的可能。整個系統(tǒng)的基本思想是設(shè)計多個硬件處理單元,每個處理單元都能夠有效地處理對角元和非對角元。通過軟件對該稀疏矩陣進(jìn)行預(yù)處理,找到稀疏下三角的并行性,并且將劃分完成的下三角稀疏矩陣映射到這些硬件處理單元上,從而實現(xiàn)軟硬件協(xié)同的并行求解。

    圖1 有向無環(huán)圖Fig.1 Directed acyclic graph

    由于軟件預(yù)處理及劃分完成后的稀疏下三角各個部分(對角元及非對角元之間)存在相互依賴,因此需要為多個處理單元間提供硬件連接通路。在實際的FPGA 實現(xiàn)過程中,使用二維單向環(huán)網(wǎng)來實現(xiàn)多個處理單元間的通信連接,從而完成各單元間的數(shù)據(jù)傳輸[22]。FPGA 稀疏矩陣求解器的硬件結(jié)構(gòu)如圖2 所示。

    圖2 求解器的硬件結(jié)構(gòu)Fig.2 Hardware structure of solver

    從圖2 可以看出,系統(tǒng)中存在多個處理單元,每個處理單元都有一個指令控制部件M,用來存儲PE內(nèi)部控制部件的指令碼。另外,每個處理單元內(nèi)還有3 類操作部件,分別是Mul 部件、Add 部件和T/R部件,其中:Mul 部件用來處理稀疏矩陣對角元和非對角元的雙精度浮點復(fù)數(shù)乘法(包括除法)操作;Add部件用來處理非對角元對同行對角元的更新;T/R部件用來實現(xiàn)相鄰PE 間的數(shù)據(jù)傳輸。

    每個PE 內(nèi)部包括5 個專用緩沖,分別是A、A'、B、B'和B",其中:緩沖A用來存儲稀疏矩陣對角元系數(shù);緩沖A'用來存儲稀疏矩陣非對角元系數(shù);緩沖B用來存儲稀疏矩陣右端項和求得的未知數(shù);緩沖B'用來存儲非對角元和同列未知數(shù)的乘積;緩沖B"用來存儲其他PE 傳輸過來的已求解的未知數(shù)x。由于每個PE對B"緩沖的寫操作一定都指向不同的地址,因此B"緩沖可以在2 個相鄰單元間共享,以減少對FPGA 資源的占用,有利于FPGA 綜合實現(xiàn)。處理單元間則通過二維單向環(huán)網(wǎng)相連來進(jìn)行通信?;谠撚布軜?gòu),原本串行的稀疏矩陣求解過程被分解為以下操作步驟:

    1)使用Mul 部件,從緩沖A中讀取對角元系數(shù),從緩沖B中讀取右端項,求解獲得未知數(shù)x,再存放到緩沖B中。這個x不被其他PE 上的非對角元需求,無需傳輸。

    2)使用Mul 部件,從緩沖A中讀取對角元系數(shù),從緩沖B中讀取右端項,求解獲得未知數(shù)x,存放到緩沖B中。如果這個x被其他PE 的非對角元需求,則同時將其發(fā)送到R部件。

    3)使用Mul 部件,從緩沖A'中讀取非對角元系數(shù),從緩沖B中讀取求得的x,計算獲得非對角元乘積,將其存放在緩沖B'中。

    4)使用Mul 部件,從緩沖A'中讀取非對角元系數(shù),從緩沖B"中讀取求得的x,計算獲得非對角元乘積,將其存放在緩沖B'中。本次讀取到的x對應(yīng)第2步操作中傳輸?shù)絉部件中的x。

    5)使用Add 部件,從緩沖B'中讀取非對角元乘積,從緩沖B中讀取對角元,計算更新對角元,并將結(jié)果存放到緩沖B中。

    6)使用T部件,將左方或者下方傳輸來的x通過網(wǎng)絡(luò)傳輸?shù)较乱粋€PE,并保存到R部件和緩沖B"中。

    根據(jù)上述稀疏矩陣求解過程,雙精度浮點復(fù)數(shù)乘法單元和加法單元的數(shù)據(jù)調(diào)度過程分別如圖3和圖4所示。

    圖3 乘法單元的數(shù)據(jù)調(diào)度Fig.3 Data scheduling of the multiplication unit

    圖4 加法單元的數(shù)據(jù)調(diào)度Fig.4 Data scheduling of the addition unit

    2 軟件靜態(tài)調(diào)度算法

    基于上文FPGA 稀疏矩陣求解器的硬件架構(gòu),本文實現(xiàn)了稀疏矩陣求解算法和求解過程的映射,充分挖掘了稀疏矩陣求解過程中的并行性,這一映射過程通過軟件靜態(tài)調(diào)度算法來實現(xiàn)。中央處理器(Central Processing Unit,CPU)一般通過順序求解所有解向量來實現(xiàn),而GPU 則會對解向量進(jìn)行分塊,在分塊后的解向量之間通過引用計數(shù)構(gòu)建依賴關(guān)系,然后逐塊觸發(fā)從而完成求解。無論是CPU 還是GPU,都可以通過動態(tài)尋址來定位解向量,但是,F(xiàn)PGA 不具備動態(tài)尋址的能力,因此,必須構(gòu)建靜態(tài)指令流,指示每個操作部件在特定步時的訪存地址和處理操作。

    2.1 稀疏矩陣預(yù)處理

    在正式求解之前,需要對矩陣進(jìn)行預(yù)處理。稀疏矩陣存儲通常使用壓縮稀疏列矩陣(Compressed Sparse Column matrix,CSC)或壓縮稀疏行矩陣(Compressed Sparse Row matrix,CSR)[23]。首先,將矩陣進(jìn)行重排序,以減少LU 分解增加的額外非零元,本文使用metis[24]工具進(jìn)行重排序,其能提供一組可以獨立運行的命令行程序,同時也提供應(yīng)用程序接口(Application Programming Interface,API),方便集成到C/C++或Fortran 程序中,該程序可以得到上述算法目標(biāo)的一個近似解;其次,對完成重排序的稀疏矩陣進(jìn)行LU 分解,獲得右下局部稠密的下三角稀疏矩陣,如果沒有特殊說明,下文以L代指這里的下三角稀疏矩陣。

    2.2 矩陣劃分

    針對上述硬件架構(gòu),軟件調(diào)度算法需要為其每個PE 進(jìn)行任務(wù)分派和調(diào)度,將求解下三角稀疏矩陣L需要用到的數(shù)據(jù)分布到多個計算單元上。

    數(shù)據(jù)分布的設(shè)計目標(biāo)是使得盡可能多的計算單元盡可能飽和地運行。第一個目標(biāo)是使得分布到多個PE 上的數(shù)據(jù)盡可能均勻,以保證每個PE 需要求解的數(shù)據(jù)量接近。由于稀疏矩陣的非零元計算過程實際上是一個有向無環(huán)圖,因此將一個稀疏矩陣映射到多個PE 上的問題可以認(rèn)為是一個圖劃分(Graph Partition)問題。第二個目標(biāo)是使得分割后的各個PE 間通信盡可能少,從而減小通信開銷,使計算單元盡可能飽和地運行。

    圖的均勻劃分是一個NP 困難(NP-hard)問題,同樣使用metis 提供的接口,對L矩陣的對角元進(jìn)行劃分。劃分完成的對角元分布在不同的分塊中,這些分塊一一映射到多個不同的PE 上。原有的各個對角元之間的依賴關(guān)系被分成了PE 內(nèi)部的對角元依賴關(guān)系和跨PE 的對角元依賴關(guān)系,分別保存在pe_inside_diag_dep 和pe_outside_diag_dep 數(shù)組中。

    非對角元被分布到其所在行的對角元所在的PE 上,這樣操作的好處是使得非對角元就緒后,可以直接更新其所在行的對角元,傳輸部件只需要傳輸對角元,能夠大幅簡化與傳輸部件相關(guān)的算法設(shè)計。

    2.3 傳輸算法

    在實際的硬件實現(xiàn)中,當(dāng)PE 數(shù)較多時,PE 間直接相連會帶來巨大的網(wǎng)絡(luò)資源消耗,因此,硬件設(shè)計通常使用二維mesh 網(wǎng)絡(luò)來替代PE 間的直接連接。但是,二維mesh 網(wǎng)絡(luò)帶來的問題是每個PE 只和周圍2 個維度上的4 個PE 直接相連,當(dāng)要和遠(yuǎn)端的PE通信時,需要經(jīng)過中間的PE 進(jìn)行連接,此時需要多個時鐘周期來完成傳輸。

    當(dāng)前某個PE 計算獲得的x有可能會被最遠(yuǎn)端的PE 訪問,因此,在軟件調(diào)度算法上,一開始選擇廣播算法進(jìn)行數(shù)據(jù)共享。廣播算法可以保證當(dāng)前PE 計算求得的未知數(shù)x最終一定能夠被所有的PE 訪問到,并且對于二維單向環(huán)網(wǎng)而言,廣播算法非常容易設(shè)計和實現(xiàn),如圖5 所示。二維單向環(huán)網(wǎng)中所有的PE 對于網(wǎng)絡(luò)是完全對稱的,從非0 號PE 發(fā)起的廣播傳輸過程也是類似的。在使用廣播算法時,同一時刻多個PE 發(fā)起的消息只要滿足PE 的行號與列號之和不同于PE 數(shù)量(mod PE),就可以在系統(tǒng)中并行傳輸。

    圖5 從0 號PE 開始的16PE 廣播算法Fig.5 16PE broadcast algorithm starting from PE 0

    實際上,并非所有的PE 都需要獲得當(dāng)前正在傳輸?shù)膞,廣播算法會占用不需要x的PE 的傳輸部件T/R。為了解決這一問題,可以將廣播算法改為點對點傳輸算法,點對點算法的路由與廣播算法一致,但只占用發(fā)送PE 和接收PE 之間的通路,空出的通路可以同時傳輸其他x,這使得系統(tǒng)中能夠同時傳輸更多的x,進(jìn)一步提升了傳輸效率。

    2.4 指令排布和生成

    在數(shù)據(jù)分布完成后,就可以對指令進(jìn)行排布,需要完整地規(guī)劃每個PE 上的部件操作,從而充分利用每個PE 的操作能力。在指令排布時需要確定以下信息:

    1)需要明確硬件時鐘的頻率和延遲。

    上述硬件設(shè)計中的操作部件并不是立刻得出結(jié)果的,當(dāng)頻率不同時,各個操作部件可能會產(chǎn)生一定的延遲。在一般情況下,頻率越高,延遲越大。當(dāng)頻率控制在300~400 MHz 時,Mul 部件的延遲是5 拍,而Add 部件的延遲是3 拍。在指令排布時,設(shè)定Mul_lat 和Add_lat 分別表示Mul 部件和Add 部件的延遲。

    2)需要明確系統(tǒng)中各個部件間的依賴關(guān)系。

    如上文所述,系統(tǒng)中主要存在2 種依賴關(guān)系,即PE 內(nèi)部對角元之間的依賴和跨PE 的對角元之間的依賴,分別被保存在pe_inside_diag_dep和pe_outside_diag_dep 數(shù)組中,這里直接使用這2 個數(shù)組即可。

    3)需要明確系統(tǒng)中各個部件間的沖突關(guān)系。

    通過分析可以發(fā)現(xiàn),當(dāng)前硬件系統(tǒng)中沒有訪存沖突,所有的內(nèi)存模塊至多只有2 個寫入端口和2 個讀出端口,可以通過分頻實現(xiàn)復(fù)用。然而,從上述求解過程可以看出,系統(tǒng)中存在不同操作對部件的爭用沖突,主要包括以下3 種:

    (1)對Mul 部件的爭用。當(dāng)Mul 部件用于對角元求解時,就無法用于非對角元的乘法,反之亦然。

    (2)對R部件的沖突。如果T部件在某一時刻被占用,那么相應(yīng)的R部件也被占用,無法再進(jìn)行傳輸。

    (3)對Add 部件的爭用。當(dāng)Add 部件正在處理某一行的右端項更新時,同行的非對角元不能同時更新右端項,否則會造成讀寫沖突。

    為了解決沖突問題,需要為上述可能發(fā)生沖突的部件設(shè)置部件占用標(biāo)記。某一時刻,當(dāng)部件占用標(biāo)記被置位時,意味著某個部件已經(jīng)被占用,無法再用其排布指令。本文將上述3 個部件占用標(biāo)記分別設(shè)置為Mul_occupy、R_occupy 和Add_occupy,其中,Add_occupy 是一個長度為Add_lat 的列表,用來標(biāo)記當(dāng)前加法部件正在處理的行。

    圖6 所示為指令排布的算法流程,算法的偽代碼如算法1 所示。在排布時,乘法單元會優(yōu)先處理非對角元,只有當(dāng)非對角元全部處理完成后才會處理對角元,這樣做是為了盡可能多地在PE 上生成可供處理的對角元,以便保持PE 的滿載,提高整個系統(tǒng)的并行度。

    圖6 指令排布算法流程Fig.6 The procedure of instruction layout algorithm

    算法1指令排布算法

    指令排布完成后就可以生成指令。系統(tǒng)中主要有6 種不同的操作,其中,Mul 部件占據(jù)了4 種操作,Add 部件和T部件各占據(jù)1 種操作,每個時刻都有可能出現(xiàn)所有操作部件同時工作的情況。由于各操作的取數(shù)空間基址和偏移都不同,需要將多種不同的操作整合起來生成指令。生成的指令放在緩沖M中,每個存儲單元的位寬為128 位,指令格式中的每個字段的位、名稱和含義如表1 所示。

    表1 指令及其含義Table 1 Instructions and their meanings

    2.5 硬件空間限制

    在硬件實現(xiàn)的過程中,通常都存在一定的空間限制。由于緩沖區(qū)A、A'、B、B'、B"都使用片上內(nèi)存實現(xiàn),導(dǎo)致其空間相對受限,也意味著求解的矩陣大小是受限的。

    緩沖區(qū)A和B分別存儲分布在某個PE 上的對角元系數(shù)和右端項(包括求解得到的x)。假設(shè)對圖的分割相對均勻,則A和B的大小約為(N/PE_num),其中,N表示矩陣階數(shù),PE_num 表示PE 的個數(shù)。

    A'存儲非對角元系數(shù),B'暫存乘以同列未知數(shù)x后的非對角元。非對角元不作劃分,而是直接分配到所在行對角元的PE 上。假設(shè)分布均勻,則A'和B'的大小約為(nnz/PE_num),其中,nnz 表示非零元的個數(shù)。

    B"存儲所有PE 間求解得到并且需要傳輸?shù)膞。B''的大小受矩陣稀疏度和PE_num 影響,矩陣越稠密,PE 的個數(shù)越多(劃分越多),B''則越大。B"最大不會超過N,實際大小依賴于具體矩陣,一般來說會比N小得多。

    硬件總的空間占用約為(N+nnz+N×PE_num)個實數(shù)或復(fù)數(shù),在使用算法前,需要評估FPGA 上提供的空間是否能滿足實際的空間需求。

    3 性能測試分析

    算法求解的過程可以分為3 個階段:

    1)第一階段是矩陣求解初期的稀疏部分,此時絕大部分PE(大于80%)能夠找到就緒的對角元或非對角元,用于運行乘法部件,即使有依賴元暫未求解或硬件資源存在沖突,通常也只需等待1~2 拍就能夠繼續(xù)運行。

    2)第二階段是矩陣求解中期的相對稀疏部分,此時只有部分PE(大于10%而小于80%)能夠運行乘法部件,剩余的PE 由于對角元未就緒(需要等待同行非對角元處理完成)或找不到非對角元(需要等待求解出的未知數(shù)x)進(jìn)行處理,因此只能等待。

    3)第三階段是矩陣求解后期的稠密部分,此時只有極少部分PE(小于10%)能夠運行乘法部件,多個未知數(shù)x求解時存在強(qiáng)相關(guān)性,求解過程串行化明顯增加。

    圖7 所示為FPGA 加速器的邏輯結(jié)構(gòu)。本文對應(yīng)的項目在Xilinx XCVU37P(8 GB HBM、4 200 萬等效邏輯門)FPGA 上實現(xiàn)硬件加速器,其與主機(jī)間采用PCIE4.0 X16 接口(帶寬為64 GB/s)連接。主機(jī)采用20 核Intel Xeon Gold 5320H(4.3 GHz)處理器,128 GB 3 200 Mb/s DDR4配置,運 行Linux 操作系統(tǒng),移植和適配了電力系統(tǒng)仿真所需的庫環(huán)境。FPGA 加速器實物如圖8 所示。本文硬件結(jié)構(gòu)設(shè)計開銷情況如表2 所示。

    圖7 FPGA 加速器邏輯結(jié)構(gòu)Fig.7 Logic structure of FPGA accelerator

    圖8 FPGA 加速器實物示意圖Fig.8 Physical diagram of FPGA accelerator

    表2 硬件資源利用情況Table 2 Utilization of hardware resource

    本文對2 個典型算例進(jìn)行測試,2 個算例均來源于實際的電網(wǎng)模型。算例1 的矩陣大小為10 188×10 188,非零元為25 720 個;算例2 的矩陣大小為21 464×21 464,非零元為121 890 個。算例測試結(jié)果如表3 所示。

    表3 2 個典型算例測試結(jié)果Table 3 Test results of two typical examples

    從表3 可以看出,在64 個PE 配置的FPGA 加速器中,算例1 約耗時1 251 拍,則每拍能夠處理約20 個非零元,算例2 約耗時4 672 拍,每拍能夠處理約25 個非零元。

    將當(dāng)前國網(wǎng)電力系統(tǒng)電磁暫態(tài)仿真程序中計算最為密集的稀疏矩陣消元求解核心段作為實際測試對象,對基于FPGA 和基于傳統(tǒng)CPU/GPU 的2 種環(huán)境進(jìn)行對比測試和分析。當(dāng)FPGA 加速器系統(tǒng)在300 MHz 頻率、256 個PE 配置下時,針對上述核心段的處理效率能達(dá)到30.84 GFLOPs。與此同時,將該電磁暫態(tài)仿真程序移植到20 核Intel Xeon Gold 5320H(4.3 GHz)處理器平臺上,進(jìn)行多核上的多線程并行優(yōu)化,同時降低大數(shù)據(jù)量離散訪問導(dǎo)致的CACHE 緩存顛簸,減少訪存延遲。處理器中4 核用于操作系統(tǒng)和驅(qū)動運行,其余16 核用于優(yōu)化后的稀疏矩陣并行運算,其處理效率僅為5.22 GFLOPs。基于FPGA 算法的實測性能是傳統(tǒng)CPU/GPU 求解算法的5.9 倍,加速效果顯著。

    雖然本文所提算法相較傳統(tǒng)CPU/GPU 算法有明顯的加速效果,但仍然存在優(yōu)化的空間。從上述3 個求解階段來看,第一階段已經(jīng)充分利用了所有的硬件計算資源,幾乎沒有可以優(yōu)化的余地;第二階段的節(jié)拍占比最大,隨著矩陣規(guī)模的增大,其增長速度也最快,存在優(yōu)化算法調(diào)度的可能,主要優(yōu)化思路是更好地進(jìn)行矩陣的劃分和映射,進(jìn)一步減小通信代價,提升算法并行度;第三階段主要是矩陣的稠密部分,可以使用逆矩陣乘法進(jìn)行優(yōu)化。在LU 分解時,通過行列調(diào)整可以使得矩陣L右下角局部稠密,對于稠密的部分,可以求其逆矩陣,通過逆矩陣乘法進(jìn)行求解。由于矩陣乘法可以在多個PE 上完全并行,因此當(dāng)矩陣有一定的稠密度時,用逆矩陣乘法進(jìn)行求解相比直接法更具性能優(yōu)勢。

    4 結(jié)束語

    本文提出一種基于FPGA 硬件的靜態(tài)調(diào)度優(yōu)化算法,利用該算法實現(xiàn)了下三角稀疏矩陣的求解。通過對稀疏矩陣直接法求解步驟的分解和對稀疏矩陣的解析排布,設(shè)計一種節(jié)拍級的靜態(tài)調(diào)度流程,以充分利用FPGA 的硬件資源獲取較高的求解效率和硬件利用率。性能測試結(jié)果驗證了該算法的高效性,對于在FPGA 上實現(xiàn)類似的基于圖劃分的隱式數(shù)據(jù)并行算法具有一定的參考意義。下一步擬對LU 分解中的右下角局部稠密矩陣進(jìn)行優(yōu)化,無需修改現(xiàn)有的硬件拓?fù)?,僅增加稠密懲罰操作指令,在軟件方面,對稠密部分進(jìn)行求逆并均勻劃分求得的逆矩陣,然后通過乘法來求解該矩陣。

    猜你喜歡
    處理單元對角乘法
    算乘法
    不同生物鏈組合對黃河下游地區(qū)引黃水庫富營養(yǎng)化及藻類控制
    我們一起來學(xué)習(xí)“乘法的初步認(rèn)識”
    城市污水處理廠設(shè)備能耗及影響因素分析研究
    科技資訊(2021年10期)2021-07-28 04:04:53
    長填齡滲濾液MBR+NF組合工藝各處理單元的DOM化學(xué)多樣性
    《整式的乘法與因式分解》鞏固練習(xí)
    一種高可用負(fù)載均衡網(wǎng)絡(luò)數(shù)據(jù)采集處理的方法及系統(tǒng)
    把加法變成乘法
    擬對角擴(kuò)張Cuntz半群的某些性質(zhì)
    非奇異塊α1對角占優(yōu)矩陣新的實用簡捷判據(jù)
    国产一级毛片在线| av免费观看日本| 看非洲黑人一级黄片| 一级a做视频免费观看| 久久 成人 亚洲| 麻豆乱淫一区二区| 国产精品人妻久久久久久| 三级国产精品欧美在线观看| 亚洲精品乱久久久久久| 国语对白做爰xxxⅹ性视频网站| 成人二区视频| 精品少妇黑人巨大在线播放| 纵有疾风起免费观看全集完整版| av免费在线看不卡| 亚洲欧美清纯卡通| 国产精品麻豆人妻色哟哟久久| 久久久国产精品麻豆| 国产精品福利在线免费观看| 日韩成人av中文字幕在线观看| 99热全是精品| 性色av一级| 18禁动态无遮挡网站| videos熟女内射| 观看免费一级毛片| av视频免费观看在线观看| 欧美人与善性xxx| av视频免费观看在线观看| 人妻一区二区av| 国产精品99久久久久久久久| av在线app专区| 午夜影院在线不卡| 国产精品国产av在线观看| 成人亚洲精品一区在线观看| 国产女主播在线喷水免费视频网站| 只有这里有精品99| 99久久精品热视频| 中文精品一卡2卡3卡4更新| 亚洲av福利一区| 国产亚洲最大av| 国产高清有码在线观看视频| 国产在视频线精品| 亚洲欧美日韩另类电影网站| 亚洲av不卡在线观看| 久久国产精品男人的天堂亚洲 | 九色成人免费人妻av| 最近中文字幕高清免费大全6| 男人和女人高潮做爰伦理| 久久久a久久爽久久v久久| 最近中文字幕2019免费版| 美女国产视频在线观看| 最后的刺客免费高清国语| 国产黄色视频一区二区在线观看| 亚洲成人一二三区av| 老女人水多毛片| 两个人免费观看高清视频 | av又黄又爽大尺度在线免费看| 亚洲怡红院男人天堂| 亚州av有码| av天堂久久9| 青春草亚洲视频在线观看| 精品卡一卡二卡四卡免费| 中文字幕精品免费在线观看视频 | 国产精品99久久久久久久久| 韩国高清视频一区二区三区| 国产91av在线免费观看| 午夜影院在线不卡| 亚洲,欧美,日韩| 国产精品久久久久久久电影| 91午夜精品亚洲一区二区三区| av福利片在线| 亚洲精品色激情综合| 午夜免费鲁丝| 国内精品宾馆在线| 在线亚洲精品国产二区图片欧美 | 久久女婷五月综合色啪小说| 中文字幕人妻丝袜制服| 国产黄色免费在线视频| 最新中文字幕久久久久| 日韩大片免费观看网站| 最黄视频免费看| 亚洲伊人久久精品综合| 免费久久久久久久精品成人欧美视频 | 少妇的逼水好多| 黄色配什么色好看| 天堂中文最新版在线下载| 男人舔奶头视频| 亚洲一区二区三区欧美精品| 黑人巨大精品欧美一区二区蜜桃 | 男女啪啪激烈高潮av片| 五月伊人婷婷丁香| 青春草视频在线免费观看| 国产欧美日韩精品一区二区| 少妇被粗大的猛进出69影院 | 80岁老熟妇乱子伦牲交| 成年女人在线观看亚洲视频| 午夜福利,免费看| 女性生殖器流出的白浆| 亚洲第一区二区三区不卡| 国产一区二区三区av在线| 人人妻人人澡人人看| 女人精品久久久久毛片| 狂野欧美激情性xxxx在线观看| 精品卡一卡二卡四卡免费| 国产日韩欧美视频二区| 97在线人人人人妻| 在线精品无人区一区二区三| 欧美日韩综合久久久久久| 国产午夜精品久久久久久一区二区三区| 久久久久久伊人网av| 人人澡人人妻人| 亚洲精品日本国产第一区| 成年av动漫网址| 国产精品不卡视频一区二区| 美女大奶头黄色视频| 国产亚洲最大av| 另类精品久久| 国产有黄有色有爽视频| 国产视频首页在线观看| 亚洲精品国产av蜜桃| 99视频精品全部免费 在线| 大码成人一级视频| 国产无遮挡羞羞视频在线观看| 亚洲国产日韩一区二区| av免费在线看不卡| 人妻系列 视频| 国产探花极品一区二区| 爱豆传媒免费全集在线观看| 在线免费观看不下载黄p国产| 亚洲国产精品999| av免费观看日本| 国模一区二区三区四区视频| 午夜免费观看性视频| 只有这里有精品99| 国产免费一区二区三区四区乱码| 午夜视频国产福利| 少妇人妻 视频| 日本欧美国产在线视频| 内射极品少妇av片p| 日韩制服骚丝袜av| 国产中年淑女户外野战色| 久久av网站| 69精品国产乱码久久久| 成人无遮挡网站| 男人添女人高潮全过程视频| 久久精品国产自在天天线| 精品国产国语对白av| 夜夜爽夜夜爽视频| 国产 一区精品| 亚洲成人手机| 少妇的逼水好多| 观看av在线不卡| 人妻人人澡人人爽人人| 午夜视频国产福利| 亚洲国产精品专区欧美| 亚洲精品成人av观看孕妇| 欧美日本中文国产一区发布| 国产男人的电影天堂91| 美女视频免费永久观看网站| 久久99一区二区三区| 99九九线精品视频在线观看视频| 老女人水多毛片| 亚洲精品自拍成人| 嫩草影院入口| 日韩在线高清观看一区二区三区| 成人国产av品久久久| 天堂中文最新版在线下载| 街头女战士在线观看网站| 女人精品久久久久毛片| av在线播放精品| 国产 精品1| 九九爱精品视频在线观看| 精品视频人人做人人爽| 午夜福利在线观看免费完整高清在| 日韩精品有码人妻一区| 视频中文字幕在线观看| 高清欧美精品videossex| 在线看a的网站| 黑人高潮一二区| 色婷婷久久久亚洲欧美| 亚洲三级黄色毛片| www.av在线官网国产| 久久精品国产a三级三级三级| 日韩视频在线欧美| 欧美+日韩+精品| 超碰97精品在线观看| 两个人免费观看高清视频 | 美女国产视频在线观看| 一本久久精品| 日韩电影二区| 国产女主播在线喷水免费视频网站| 久久久久视频综合| 只有这里有精品99| 亚洲电影在线观看av| 欧美亚洲 丝袜 人妻 在线| 美女主播在线视频| 国产黄片视频在线免费观看| 久久99热6这里只有精品| 国产淫语在线视频| 在线看a的网站| 精品久久久久久久久av| 下体分泌物呈黄色| 日韩精品免费视频一区二区三区 | 麻豆乱淫一区二区| av线在线观看网站| 亚洲中文av在线| 国产 一区精品| 国产精品一区二区在线不卡| 亚洲成人一二三区av| 亚洲图色成人| 97超碰精品成人国产| 人妻一区二区av| 草草在线视频免费看| 视频中文字幕在线观看| 高清欧美精品videossex| 又爽又黄a免费视频| 亚洲国产日韩一区二区| 亚洲av国产av综合av卡| 国产成人91sexporn| 午夜福利视频精品| 久热久热在线精品观看| 国产探花极品一区二区| 日本午夜av视频| 久久久久久久精品精品| 国产乱来视频区| 97超碰精品成人国产| 日韩av不卡免费在线播放| 大码成人一级视频| 丝袜脚勾引网站| 久久久精品免费免费高清| 日韩av在线免费看完整版不卡| 国产精品一区二区在线不卡| 亚洲精品成人av观看孕妇| av福利片在线观看| 国产黄片视频在线免费观看| av专区在线播放| 精品久久久久久电影网| 欧美丝袜亚洲另类| 男人舔奶头视频| 日韩免费高清中文字幕av| 亚洲,欧美,日韩| 一级片'在线观看视频| 纯流量卡能插随身wifi吗| 国产永久视频网站| 美女cb高潮喷水在线观看| 久久久久久久久久成人| 激情五月婷婷亚洲| 黄色欧美视频在线观看| 十分钟在线观看高清视频www | 一个人看视频在线观看www免费| 国产亚洲91精品色在线| 丝袜喷水一区| 精品一区二区免费观看| 熟女人妻精品中文字幕| 精品熟女少妇av免费看| av卡一久久| 日韩在线高清观看一区二区三区| 免费久久久久久久精品成人欧美视频 | 亚洲av成人精品一二三区| 少妇熟女欧美另类| 久久久亚洲精品成人影院| 六月丁香七月| 国产在线视频一区二区| 91久久精品国产一区二区三区| videos熟女内射| 日本色播在线视频| 欧美丝袜亚洲另类| 蜜臀久久99精品久久宅男| 在现免费观看毛片| 免费av不卡在线播放| 美女xxoo啪啪120秒动态图| 国产日韩欧美在线精品| 色吧在线观看| 香蕉精品网在线| 亚洲精品乱码久久久久久按摩| 亚洲国产最新在线播放| 黄色配什么色好看| 啦啦啦中文免费视频观看日本| 两个人免费观看高清视频 | 亚洲精品一二三| av又黄又爽大尺度在线免费看| 亚洲国产成人一精品久久久| 日产精品乱码卡一卡2卡三| 国产亚洲精品久久久com| www.av在线官网国产| 中国国产av一级| 久久国产精品男人的天堂亚洲 | 一区在线观看完整版| 最近2019中文字幕mv第一页| 制服丝袜香蕉在线| 久久久久人妻精品一区果冻| √禁漫天堂资源中文www| 啦啦啦在线观看免费高清www| 水蜜桃什么品种好| 国产精品不卡视频一区二区| 最新中文字幕久久久久| 日韩欧美精品免费久久| 男人狂女人下面高潮的视频| 久久久久久久久久成人| 精品久久久久久久久亚洲| 久久精品久久精品一区二区三区| 国产 精品1| 少妇人妻 视频| 免费观看a级毛片全部| 成人无遮挡网站| 欧美97在线视频| 日韩av在线免费看完整版不卡| 欧美另类一区| 男人狂女人下面高潮的视频| 亚洲中文av在线| 亚洲自偷自拍三级| a级毛色黄片| h日本视频在线播放| 免费不卡的大黄色大毛片视频在线观看| 国产 精品1| 国产在线免费精品| 大码成人一级视频| 丰满饥渴人妻一区二区三| 人人妻人人澡人人爽人人夜夜| 国产男人的电影天堂91| 人妻系列 视频| h日本视频在线播放| 免费久久久久久久精品成人欧美视频 | 欧美日韩国产mv在线观看视频| 午夜视频国产福利| 国产成人精品婷婷| 男人添女人高潮全过程视频| 少妇的逼好多水| 久久久a久久爽久久v久久| 亚洲欧洲国产日韩| 亚洲精品一区蜜桃| 国产一区二区在线观看日韩| 欧美成人精品欧美一级黄| 自拍偷自拍亚洲精品老妇| 欧美xxxx性猛交bbbb| 边亲边吃奶的免费视频| 久久久久网色| 美女大奶头黄色视频| 在线 av 中文字幕| 国产成人精品无人区| 亚洲四区av| 国产有黄有色有爽视频| 大香蕉97超碰在线| 午夜福利网站1000一区二区三区| 亚洲国产色片| 国产永久视频网站| a 毛片基地| 日本免费在线观看一区| av不卡在线播放| 老司机影院毛片| 成人影院久久| 91精品国产九色| 亚洲av二区三区四区| 久久人人爽人人爽人人片va| 国产视频内射| 久久久国产精品麻豆| 久久久久视频综合| av女优亚洲男人天堂| a级一级毛片免费在线观看| 日韩中字成人| 精品国产国语对白av| 在线观看人妻少妇| 国产精品国产三级专区第一集| 91精品伊人久久大香线蕉| 日韩电影二区| 街头女战士在线观看网站| 热re99久久国产66热| 国产欧美日韩精品一区二区| 成人黄色视频免费在线看| 亚洲四区av| 成年人免费黄色播放视频 | 午夜老司机福利剧场| 国产精品人妻久久久久久| www.色视频.com| 天堂俺去俺来也www色官网| 夜夜看夜夜爽夜夜摸| 最近中文字幕高清免费大全6| 亚洲av成人精品一区久久| 美女主播在线视频| 水蜜桃什么品种好| 三级经典国产精品| 91久久精品国产一区二区三区| 丁香六月天网| 如日韩欧美国产精品一区二区三区 | 精品一区二区免费观看| 久久久久久久久久久丰满| 国产伦精品一区二区三区视频9| 特大巨黑吊av在线直播| 亚洲欧洲国产日韩| 日本91视频免费播放| 亚州av有码| 青春草视频在线免费观看| 色哟哟·www| 国产午夜精品一二区理论片| 视频中文字幕在线观看| 三级经典国产精品| 国产亚洲精品久久久com| 永久网站在线| 水蜜桃什么品种好| 中文欧美无线码| 丝袜在线中文字幕| 草草在线视频免费看| 伊人久久国产一区二区| 777米奇影视久久| 亚洲丝袜综合中文字幕| 成人漫画全彩无遮挡| 一个人看视频在线观看www免费| 久久97久久精品| 亚洲中文av在线| 亚洲成人手机| 寂寞人妻少妇视频99o| a 毛片基地| 汤姆久久久久久久影院中文字幕| 欧美 日韩 精品 国产| 亚洲美女视频黄频| 久久久久久久亚洲中文字幕| 国产男女内射视频| 欧美变态另类bdsm刘玥| 嫩草影院新地址| 久久久久久久久久久免费av| 国产精品久久久久成人av| 午夜福利网站1000一区二区三区| 国产成人aa在线观看| 国产亚洲5aaaaa淫片| 免费看日本二区| 亚洲欧美成人综合另类久久久| 伊人久久国产一区二区| 亚洲国产欧美在线一区| kizo精华| 免费观看无遮挡的男女| av.在线天堂| 麻豆成人午夜福利视频| 这个男人来自地球电影免费观看 | 久久精品熟女亚洲av麻豆精品| 国国产精品蜜臀av免费| 亚洲国产精品999| 日本爱情动作片www.在线观看| 三级经典国产精品| 免费观看的影片在线观看| 午夜福利网站1000一区二区三区| 日韩 亚洲 欧美在线| 只有这里有精品99| 黑人巨大精品欧美一区二区蜜桃 | 自拍偷自拍亚洲精品老妇| 麻豆精品久久久久久蜜桃| 3wmmmm亚洲av在线观看| 涩涩av久久男人的天堂| 97在线视频观看| 国产伦理片在线播放av一区| 啦啦啦视频在线资源免费观看| 国产av精品麻豆| 久久国内精品自在自线图片| 91午夜精品亚洲一区二区三区| 久久精品久久久久久久性| 视频区图区小说| 观看免费一级毛片| 激情五月婷婷亚洲| 国产成人精品福利久久| 2021少妇久久久久久久久久久| 男女啪啪激烈高潮av片| 中文字幕制服av| 97超视频在线观看视频| 国产午夜精品一二区理论片| 日日摸夜夜添夜夜爱| 夜夜看夜夜爽夜夜摸| 国产成人aa在线观看| 深夜a级毛片| 日日啪夜夜爽| 欧美少妇被猛烈插入视频| 亚洲,欧美,日韩| 大片免费播放器 马上看| 亚洲第一区二区三区不卡| 久久精品夜色国产| 国产精品麻豆人妻色哟哟久久| 纵有疾风起免费观看全集完整版| 性色av一级| 草草在线视频免费看| 大又大粗又爽又黄少妇毛片口| 欧美性感艳星| 精品国产一区二区三区久久久樱花| 精品一区二区三区视频在线| 欧美日韩视频精品一区| 国产色爽女视频免费观看| 夫妻午夜视频| 国产欧美亚洲国产| 老司机亚洲免费影院| 日本与韩国留学比较| 久久久久久久久久久丰满| 国产精品免费大片| 国产探花极品一区二区| 国产精品久久久久成人av| 国产精品国产三级专区第一集| 熟妇人妻不卡中文字幕| 免费久久久久久久精品成人欧美视频 | 精品亚洲乱码少妇综合久久| 精品久久久久久久久亚洲| 麻豆精品久久久久久蜜桃| 亚洲av国产av综合av卡| 亚洲va在线va天堂va国产| 人体艺术视频欧美日本| 成人无遮挡网站| 99视频精品全部免费 在线| 性色avwww在线观看| 女人久久www免费人成看片| √禁漫天堂资源中文www| 精品久久久噜噜| 大码成人一级视频| 男女无遮挡免费网站观看| 久久精品久久久久久噜噜老黄| 精品99又大又爽又粗少妇毛片| 蜜臀久久99精品久久宅男| 51国产日韩欧美| 只有这里有精品99| 三级国产精品片| 2022亚洲国产成人精品| 色视频www国产| 日产精品乱码卡一卡2卡三| 亚洲精品第二区| 欧美三级亚洲精品| 成年人午夜在线观看视频| 日本黄大片高清| 午夜91福利影院| 亚洲av二区三区四区| 啦啦啦视频在线资源免费观看| 精品少妇黑人巨大在线播放| 亚洲av电影在线观看一区二区三区| 国产精品人妻久久久久久| 国产日韩一区二区三区精品不卡 | 香蕉精品网在线| 久久久久精品久久久久真实原创| 国产精品久久久久久精品古装| 日本av免费视频播放| 国产黄色视频一区二区在线观看| 午夜福利网站1000一区二区三区| 老司机影院成人| 制服丝袜香蕉在线| 亚洲av免费高清在线观看| 天堂中文最新版在线下载| 一本大道久久a久久精品| 人体艺术视频欧美日本| 久久久久久久精品精品| 久久精品国产亚洲av涩爱| 最近中文字幕高清免费大全6| 少妇高潮的动态图| 一二三四中文在线观看免费高清| 亚洲欧美成人精品一区二区| 国产精品女同一区二区软件| 国产毛片在线视频| 视频中文字幕在线观看| 久久亚洲国产成人精品v| 有码 亚洲区| 少妇被粗大的猛进出69影院 | 欧美成人午夜免费资源| 少妇人妻 视频| 97在线人人人人妻| 一本色道久久久久久精品综合| 一个人免费看片子| 亚洲av福利一区| av专区在线播放| 久久久精品94久久精品| 另类亚洲欧美激情| 精品一区在线观看国产| 蜜桃在线观看..| 偷拍熟女少妇极品色| 国产精品99久久久久久久久| 亚洲欧美日韩卡通动漫| 夫妻性生交免费视频一级片| 最近手机中文字幕大全| 人妻夜夜爽99麻豆av| 水蜜桃什么品种好| 久久99蜜桃精品久久| 九九爱精品视频在线观看| 十分钟在线观看高清视频www | 伊人亚洲综合成人网| 妹子高潮喷水视频| 搡女人真爽免费视频火全软件| 精品亚洲乱码少妇综合久久| 日韩中文字幕视频在线看片| 观看免费一级毛片| 国产精品三级大全| 国产伦在线观看视频一区| 午夜福利视频精品| 天堂中文最新版在线下载| 最近的中文字幕免费完整| 亚洲熟女精品中文字幕| 国产在线一区二区三区精| 大片电影免费在线观看免费| 97超碰精品成人国产| 啦啦啦视频在线资源免费观看| 在线天堂最新版资源| 亚洲欧美一区二区三区国产| 亚洲熟女精品中文字幕| 国产乱人偷精品视频| 2018国产大陆天天弄谢| 在线播放无遮挡| 国产成人免费无遮挡视频| 精品国产一区二区三区久久久樱花| 国产片特级美女逼逼视频| 日日啪夜夜撸| 久久久久久久大尺度免费视频| www.色视频.com| 在线观看免费视频网站a站| 免费大片18禁| 久久女婷五月综合色啪小说| 三级国产精品片| 午夜激情久久久久久久| www.av在线官网国产| 色婷婷久久久亚洲欧美| 国产精品成人在线| 久久精品国产鲁丝片午夜精品| 日本黄色日本黄色录像| 天堂8中文在线网| av福利片在线观看| 亚洲精品成人av观看孕妇| 日本wwww免费看| 成人午夜精彩视频在线观看|