存儲大集中環(huán)境下高端FC HBA卡的研究

李曉坤 邵娜

摘 要：虛擬化、云計算技術(shù)使存儲大集中技術(shù)得到了空前的發(fā)展，存儲大集中在工業(yè)界成功商用，本論文提出了在存儲大集中環(huán)境下高端FC HBA卡。重點剖析了存儲大集中、SAN、Gen 5 Fibre Channel、FC HBA卡及應(yīng)用高端FC HBA卡需要注意的問題。最后闡述了為什么存儲大集中環(huán)境下應(yīng)用高端FC HBA卡是發(fā)展的趨勢。

關(guān)鍵詞：存儲大集中；SAN；Gen 5 Fibre Channel；FC HBA卡

中圖分類號：TP319 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-2163（2015）02-

Research on Storage of Large Centralized High-end FC HBA Card

LI Xiaokun 1 ， SHAO Na2

（1 Heilongjiang Hengxun Technology Co. Ltd， Harbin 150090 ，China；2 Graduate School， Heilongjiang University， Harbin 150001， China ）

Abstract： Virtualization， cloud computing technology enables the storage of high concentration technology get an unprecedented development， and industrial application of storage of the large concentrated is a great success. This paper puts forward high-end FC HBA card technology in the storage of the large centralized environment， then focuses on the analysis of the storage of the large concentration， SAN， Gen 5 Fibre Channel， FC HBA card. After that， the paper presents the problems to be envisaged during the application of high-end FC HBA card. Finally， the paper explains and concludes that under store large centralized environment the application of high-end FC HBA card is the current development trend.

Key words： Storage of Large Concentration； SAN； Gen 5 Fibre Channel； FC HBA Card

0 引 言

云計算概念的兩種核心技術(shù)就是虛擬化和大數(shù)據(jù)。主機(jī)虛擬化、網(wǎng)絡(luò)虛擬化、存儲虛擬化技術(shù)在工業(yè)界的成功商用，使得如何解決主機(jī)和高端SAN Switch之間高帶寬，高IOPS，高可用的傳輸問題即成為迫切熱點問題。而經(jīng)研究分析可知，其有效解決方案就是在存儲大集中環(huán)境下應(yīng)用高端FC HBA卡。本文則對此展開研究，具體過程如下。

1 基本概念

1.1 存儲大集中

云平臺存儲的數(shù)據(jù)通常是大規(guī)模數(shù)據(jù)，為其設(shè)計的數(shù)據(jù)完整性驗證機(jī)制都是基于抽樣的策略[1]。存儲大集中就是將分布在各個終端、主機(jī)、低端存儲的業(yè)務(wù)數(shù)據(jù)及其他一些相關(guān)的數(shù)據(jù)實現(xiàn)在高端平臺上的集中存儲。具體來說，該策略依托科技手段，實現(xiàn)數(shù)據(jù)的集中和數(shù)據(jù)的整合，并通過對數(shù)據(jù)深層次的挖掘，對金融、電信等高端客戶數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)進(jìn)行系統(tǒng)分析和評價，由此推動向決策科學(xué)化方向邁進(jìn)，而且又提高了管理水平和工作效率。大數(shù)據(jù)的處理通常具有時效性，必須把握好對數(shù)據(jù)流的掌控應(yīng)用，如此才能最大化地挖掘利用大數(shù)據(jù)所潛藏的價值[2]。存儲大集重點區(qū)別于分布式存儲的地方就在于，數(shù)據(jù)集中可以使用高端存儲大集中技術(shù)，實施數(shù)據(jù)的集中存儲及管理；或通過一定的共享軟件機(jī)制，實施數(shù)據(jù)的集中共享。真正可以做到與業(yè)務(wù)集中相匹配的應(yīng)用集中，及客戶關(guān)鍵業(yè)務(wù)信息的數(shù)據(jù)集中，不同程度的集中，會產(chǎn)生不同的效果，投入及工程的復(fù)雜程度也不盡相同。在存儲大集中項目中要考慮許多技術(shù)因素，但至關(guān)重要的則是高層領(lǐng)導(dǎo)的重視及支持，及業(yè)務(wù)部門的介入。存儲大集中架構(gòu)部署在高端SAN Switch的存儲區(qū)域網(wǎng)絡(luò)環(huán)境下，不同的應(yīng)用集群建立在不同的Zone中，每一臺物理或虛擬主機(jī)通過多端口高端FC HBA卡和高端SAN Switch物理交叉冗余連接。在高端存儲上實現(xiàn)高可靠的冗余機(jī)制（如8個引擎、16個換制器、20個電源、RAID0+1、SSD），物理或虛擬主機(jī)可以通過SAN Boot 啟動，包括底層的操作系統(tǒng)均配備在高端存儲中，高端存儲通過劃分不同的LAN指向不向的物理或虛擬主機(jī)，高端HBA卡通過WWN號和Zone及高端存儲綁定，實現(xiàn)存儲大集中。

1.2 SAN

存儲區(qū)域網(wǎng)絡(luò)（Storage Area Network，簡稱SAN）采用光纖通道（Fibre Channel ，簡稱FC）技術(shù)，通過SAN Switch連接存儲和主機(jī)，建立專用于數(shù)據(jù)存儲的區(qū)域網(wǎng)絡(luò)。而且SAN歷經(jīng)多年的發(fā)展，已經(jīng)相當(dāng)成熟，現(xiàn)已成為工業(yè)界的事實標(biāo)準(zhǔn)（但各個廠商的光纖交換技術(shù)不完全相同，其主機(jī)和SAN存儲有兼容性的要求）。獨特的體系結(jié)構(gòu)和構(gòu)建技術(shù)使SAN具有很多優(yōu)點：如高性能、高可用性、高可擴(kuò)展性；便于集中存儲和管理；實現(xiàn)LAN-free Backup、Server-free Backup數(shù)據(jù)備份，不占用LAN帶寬；容災(zāi)、雙活等技術(shù)支持更遠(yuǎn)的距離等[3]。

SAN專注于企業(yè)級存儲的特有問題。當(dāng)前企業(yè)存儲方案所遇到問題的兩個根源是：數(shù)據(jù)與應(yīng)用系統(tǒng)緊密結(jié)合所產(chǎn)生的結(jié)構(gòu)性限制，以及大型、中型、小型計算機(jī)系統(tǒng)接口標(biāo)準(zhǔn)的限制。大多數(shù)分析都認(rèn)為SAN是未來企業(yè)級的存儲方案，這是因為SAN便于集成，能改善數(shù)據(jù)可用性及網(wǎng)絡(luò)性能，而且還可以減輕管理作業(yè)。

SAN實際是一種專門為存儲建立的獨立于TCP/IP網(wǎng)絡(luò)之外的專用網(wǎng)絡(luò)。目前常見的SAN提供8Gb/S到16Gb/S的傳輸數(shù)率，同時SAN網(wǎng)絡(luò)獨立于數(shù)據(jù)網(wǎng)絡(luò)存在，因此存取速度很快，另外，SAN一般多采用高端的RAID陣列，使SAN的性能在幾種專業(yè)存儲方案中傲視群雄。

在此，仍需指出的是，由于SAN的基礎(chǔ)是一個專用網(wǎng)絡(luò)，因此擴(kuò)展性很強(qiáng)，不管是在一個SAN系統(tǒng)中增加一定的存儲空間還是增加幾臺使用存儲空間的主機(jī)都非常方便。通過SAN接口的磁帶庫或虛擬帶庫，SAN系統(tǒng)即可方便高效地實現(xiàn)數(shù)據(jù)的集中備份及雙活。目前多見的SAN有FC SAN和IP SAN，其中FC SAN為通過光纖通道協(xié)議轉(zhuǎn)發(fā)，IP SAN則通過TCP協(xié)議轉(zhuǎn)發(fā)。SAN主要用于數(shù)據(jù)大集中的環(huán)境，如電信、金融等，但其成本高、標(biāo)準(zhǔn)尚未確定等問題也影響了SAN的市場，不過，隨著這些用戶業(yè)務(wù)量的增大，SAN依然有著廣泛可觀的應(yīng)用前景。

1.3 Gen 5 Fibre Channel

第五代光纖通道技術(shù)是存儲區(qū)域網(wǎng)絡(luò)（SAN）的最新演進(jìn)成果。第五代光纖通道技術(shù)主要基于T11技術(shù)委員會曾負(fù)責(zé)制定的光纖通道接口標(biāo)準(zhǔn)開發(fā)的技術(shù)，可將8 Gbps鏈路的數(shù)據(jù)吞吐量增加一倍，也就是從每秒800兆（MB/sec）提高到1 600 MB/sec。數(shù)據(jù)傳輸速率更快，完成相同任務(wù)需要的鏈路和需要管理的設(shè)備更少，而且使用Gen 5 Fibre Channel時功耗也更低。最近的幾大服務(wù)器和存儲技術(shù)進(jìn)步成果更隨之增加了對優(yōu)等SAN帶寬的需求，包括應(yīng)用和存儲容量增加、高密度服務(wù)器虛擬化、全新Gen 5 Fibre Channel存儲和固態(tài)硬盤（SSD）存儲。第五代光纖通道技術(shù)使企業(yè)數(shù)據(jù)中心可以充分發(fā)掘這些進(jìn)步成果及其它先進(jìn)技術(shù)的全部潛力。然而，Gen 5 Fibre Channel的優(yōu)勢并不僅僅局限于性能改善和更高的吞吐量。Gen 5 Fibre Channel還可以提供幾種重要功能，使SAN可靠性、可用性和管理簡便性上升到一個新高度，同時又大幅降低了運營成本。正是這些優(yōu)勢使得Gen 5 Fibre Channel正以前所未有的速度實現(xiàn)了其廣泛普及和推廣應(yīng)用。

光纖通道（FC）被部署在數(shù)據(jù)中心內(nèi)，是數(shù)據(jù)中心內(nèi)存儲網(wǎng)絡(luò)連接領(lǐng)域的工業(yè)標(biāo)準(zhǔn)。Gen 5 Fibre Channel是一種經(jīng)過廣泛實踐驗證的專用網(wǎng)絡(luò)基礎(chǔ)架構(gòu)，用于滿足數(shù)據(jù)中心存儲需求，并可提供無與倫比的可靠性、可擴(kuò)展性和16 Gbps的出色性能。Gen 5 Fibre Channel提升到了一個新高度，可利用獨特的技術(shù)創(chuàng)新成果提供全面的SAN支持，而且Gen 5 Fibre Channel提供關(guān)鍵應(yīng)用和虛擬化應(yīng)用所需的出色性能，硬件和軟件可靠性，連續(xù)提供99.999 9%的可用性，同時又通過機(jī)箱連接，提供64 Gbps并行Gen 5 Fibre Channel，幫助實現(xiàn)大規(guī)模基礎(chǔ)架構(gòu)整合和簡化；另外，也創(chuàng)建了一種先進(jìn)的硬件和軟件架構(gòu)，可通過創(chuàng)新的診斷、監(jiān)控和管理技術(shù)最大限度地延長運行時間，優(yōu)化應(yīng)用性能，簡化SAN管理。而FC SAN是出現(xiàn)最早，應(yīng)用最廣的一種，其網(wǎng)絡(luò)基于光纖通道技術(shù)，高效、穩(wěn)定、安全即是其主要優(yōu)勢[4]。

Fibre Channel（光纖通道）甫一提出時，一臺服務(wù)器還只是專用于某一種應(yīng)用，導(dǎo)致服務(wù)器資源利用率很低。服務(wù)器虛擬化技術(shù)的出現(xiàn)則改變了這一局面，允許多種應(yīng)用共享同一臺物理服務(wù)器，進(jìn)而提高了效率和服務(wù)器資源利用率。基于主機(jī)的虛擬化可以使系統(tǒng)在存儲空間調(diào)整過程中仍然保持在線狀態(tài)[5]。不斷演進(jìn)的關(guān)鍵工作負(fù)載和Tier 1應(yīng)用正被托管到虛擬機(jī)（VM）上。除了服務(wù)器虛擬化的更廣泛普及外，虛擬機(jī)密度（每臺物理服務(wù)器上托管的虛擬機(jī)數(shù)量）也穩(wěn)步增長，達(dá)到了每物理服務(wù)器100、200甚至更多虛擬機(jī)，而且都是從SAN Boot啟動、再接入SAN資源。VM的使用范圍和重要性不斷增加，密度逐漸提高，日益要求存儲計算基礎(chǔ)架構(gòu)提供更高的性能（帶寬和I/O）、可靠性和可用性。在高度虛擬化環(huán)境中，存儲網(wǎng)絡(luò)中的任何擁塞、低劣的I/O性能或故障都會影響到大量應(yīng)用。而Gen 5 Fibre Channel卻可有效解決帶寬和IOPS問題。

1.4 FC HBA卡

存儲系統(tǒng)中也有類似的用于連接計算機(jī)內(nèi)部總線和存儲網(wǎng)絡(luò)的設(shè)備。這種位于服務(wù)器上與存儲網(wǎng)絡(luò)連接的設(shè)備一般稱為主機(jī)總線適配卡（Host Bus Adaptor）HBA。FC HBA卡是服務(wù)器內(nèi)部的I/O通道與存儲系統(tǒng)的I/O通道之間的物理連接。最常用的服務(wù)器內(nèi)部I/O通道是PCIe或Sbus。這也是連接服務(wù)器CPU和外圍設(shè)備的通訊協(xié)議。FC HBA卡的FPGA 實現(xiàn)采用XILINX ML555開發(fā)板，綜合布局布線和下載BIT文件用ISE10.1的開發(fā)套件完成[6]。存儲系統(tǒng)的I/O通道實際上則是光纖通道。而FC HBA的作用就是實現(xiàn)內(nèi)部通道協(xié)議PCIe或Sbus和光纖通道協(xié)議之間的轉(zhuǎn)換。對數(shù)據(jù)塊進(jìn)行繁重的讀包、解包操作，因此高性能的FC SAN系統(tǒng)是需要在服務(wù)器上安裝一塊專門負(fù)責(zé)解包工作以減輕處理器負(fù)擔(dān)的網(wǎng)卡，這種網(wǎng)卡即可稱之為FC HBA卡，而其除了執(zhí)行解包工作外，當(dāng)然還可以提供一個光纖接口（如果是iSCSI HBA卡就是提供普通的RJ45接口）以用于所對應(yīng)的交換機(jī)實現(xiàn)連接；另外，HBA物理上則可將其當(dāng)作網(wǎng)卡一樣插在PCIe槽位里，因此這種設(shè)備的用法非常類似一張網(wǎng)卡，很多人也就將其與普通網(wǎng)卡或普通的光纖網(wǎng)卡混淆了。需要特別一提的是，F(xiàn)C HBA卡的專業(yè)名稱可喚作Fibre Channel HBA。傳輸協(xié)議為光纖通道協(xié)議，一般通過光纖線纜與光纖通道交換機(jī)連接。光口一般都是通過光纖線纜來進(jìn)行數(shù)據(jù)傳輸，接口模塊則常為SFP、SFP+、QSFP（高端FC HBA卡傳輸率大于等于16Gb/s），而對應(yīng)的接口即大多為LC光纖接口。

2 存儲大集中環(huán)境下應(yīng)用高端FC HBA卡

2.1 高端FC HBA卡

高端FC HBA卡是指采用Gen 5 Fibre Channel技術(shù)、FC光纖接口、每端口傳輸速率大于等于16Gbps全雙工線速、支持雙端口冗余、支持SAN Boot的FC HBA卡。高端FC HBA卡要同時兼容大型機(jī)、中型機(jī)、小型機(jī)、工業(yè)標(biāo)準(zhǔn)PC Server，如圖1所示。

圖 1 高端FC HBA卡的工作原理圖

Fig.1 The working principle of high-end FC HBA card

高端FC HBA卡面向SAN高端存儲流量的16Gbps 最大吞吐量（每端口），超過 120 萬的IOPS，降低高度事務(wù)密集型應(yīng)用程序和虛擬化環(huán)境中的延遲，并且通過在單個主機(jī)和光纖通道端口運行更多的應(yīng)用程序（虛擬機(jī)）來降低硬件、線纜和管理的成本，而且通過在 PCIe Gen3 環(huán)境中使用最少的 PCI Express通道來降，低電源和冷卻成本，同時重疊保護(hù)域（OPD）以確保數(shù)據(jù)在PCI總線和光纖通道網(wǎng)絡(luò)中傳輸時的最高級別可靠性，還可針對舊式8Gb和4Gb光纖通道基礎(chǔ)架構(gòu)的完整投資保護(hù)，支持模塊設(shè)計以確保輕松轉(zhuǎn)換至40G和100G以太網(wǎng)聚合網(wǎng)絡(luò)適配器。

2.2 Qlogic QLE2672

Qlogic 2672 16Gb Gen 5 Fibre Channel光纖通道適配器具有行業(yè)領(lǐng)先的本地光纖通道性能（可實現(xiàn)雙端口、線速 16G的光纖通道吞吐量），采用全硬件負(fù)載均衡技術(shù)，CPU的使用率卻極其低下，而且通過實施支持強(qiáng)大虛擬化功能、應(yīng)用感知服務(wù)及簡化管理功能的存儲網(wǎng)絡(luò)基礎(chǔ)設(shè)施，Gen 5 Fibre Channel光纖通道成功解決了數(shù)據(jù)中心所面臨的復(fù)雜難題，使得下一代的存儲網(wǎng)絡(luò)基礎(chǔ)設(shè)施既能支持最為苛刻的虛擬化和云計算環(huán)境，又能充分利用高性能16Gbps光纖通道和固態(tài)硬盤（SSD）存儲的功能。在此基礎(chǔ)上，還有助于降低成本和復(fù)雜度，同時其16Gbps性能又消除了存在于當(dāng)今強(qiáng)大的多處理器、多核服務(wù)器中的潛在 I/O 瓶頸現(xiàn)象。

QLogic是光纖通道適配器領(lǐng)域毋庸置疑的行業(yè)領(lǐng)先者，這些產(chǎn)品廣泛適用于多封裝中的所有主要的服務(wù)器 OEM。QLogic擁有久經(jīng)驗證的光纖通道層，虛擬化優(yōu)化Qlogic QLE2672適配器采用QLogic VMflex技術(shù)，支持諸如N_Port ID虛擬化（NPIV）等基于標(biāo)準(zhǔn)的虛擬化功能。線速16Gb的吞吐量和無可比擬的存儲性能將最大化每臺服務(wù)器可支持的 VM的數(shù)量。Qlogic QLE2672 16Gb Gen 5 Fibre Channel光纖通道適配器對CPU的使用率極低，可在所有端口之間以線速傳輸存儲流量。QLogic QLE2672適配器每秒處理的I/O事務(wù)可以超過120 萬個，因此無論是在虛擬化環(huán)境還是非虛擬化環(huán)境中，其都能提供最佳的存儲應(yīng)用程序。

Qlogic QLE2672 16Gb Gen 5 Fibre Channel適配器采用QLogic的StarPower技術(shù)提供極高的能源效率。此系列適配器提供動態(tài)的電源管理，可確保PCIe主機(jī)總線鏈接使用最低數(shù)量的PCIe通道以滿足所需的光纖通道帶寬。使用的PCIe Gen3通道數(shù)越低，就意味著這些適配器需要的能源越少，然而同時繼續(xù)保持最高級別的光纖通道性能。

Qlogic QLE2672向下兼容原有的4Gb和8Gb光纖通道基礎(chǔ)架構(gòu)。擁有從16Gb Gen 5光纖通道主機(jī)總線適配器轉(zhuǎn)換至聚合網(wǎng)絡(luò)適配器的獨特功能，可支持NIC、以太網(wǎng)光纖通道 （FCoE） 和iSCSI流量。QLogic I/O Flex技術(shù)可為最終用戶提供現(xiàn)場可升級性，將適配器“特性”從光纖通道轉(zhuǎn)換至以太網(wǎng)。基于QLogic 的 I/O Flex技術(shù)，適配器具有非凡的靈活性，可簡化并減少客戶目前部署光纖通道SAN并在將來遷移至以太網(wǎng)SAN的成本。

PCIe接口主要包括PCIe IP核和DMA用戶邏輯，采用XILINX的PCIe IP核，實現(xiàn)與主機(jī)數(shù)據(jù)傳輸[7]。Qlogic 2672采用PCI Express Gen3總線接口，吞吐量每端口16Gbps全雙工線速，支持2 048個并發(fā)登錄和2 048個活動交換，可擴(kuò)展至16K個并發(fā)登錄和32K個活動交換，支持SCSI-3光纖通道協(xié)議（SCSI-FCP）、光纖通道磁帶（FC-TAPE）應(yīng)用規(guī)范、SCSI 光纖通道協(xié)議-2（FCP-2）、第二代 FC通用服務(wù)（FC-GS-2），和第三代 FC通用服務(wù)（FC-GS-3），引導(dǎo)支持BIOS、UEFI、Fcode，API支持SNIA HBA API V2、SMI-S。

2.3 Brocade 1860-2F

Brocade 1860-2F FC HBA卡可滿足云數(shù)據(jù)中心的所有連接需求，同時提供出色性能、應(yīng)用感知服務(wù)、統(tǒng)一管理功能、更低的成本和復(fù)雜性，設(shè)計用于將光纖架構(gòu)服務(wù)擴(kuò)展到苛刻的虛擬化環(huán)境中的虛擬機(jī)和應(yīng)用中。

Brocade 1860-2F FC HBA卡將光纖通道和以太網(wǎng)矩陣服務(wù)擴(kuò)展到虛擬機(jī)和應(yīng)用中。簡化向基于云的架構(gòu)的過渡，可帶來多方面的重要優(yōu)勢，可滿足云數(shù)據(jù)中心內(nèi)的所有光纖通道和以太網(wǎng)連接需求。在高度虛擬化環(huán)境中簡化并優(yōu)化服務(wù)器I/O利用Brocade AnyIO技術(shù)支持原生16 Gbps光纖通道和10 GbE DCB連接，來處理TCP/IP、iSCSI和FCoE流量將光纖通道和以太網(wǎng)矩陣服務(wù)擴(kuò)展到服務(wù)器和應(yīng)用中，再通過Brocade vFLink技術(shù)將物理適配器劃分為多個虛擬適配器，進(jìn)而整合I/O設(shè)備 同時支持當(dāng)前的和新興的虛擬化工作負(fù)載及技術(shù)，來簡化向私有云的過渡，而且又利用Brocade Network Advisor簡化并統(tǒng)一適配器、SAN及LAN資源的管理。

Brocade 1860-2F FC HBA卡提供16G雙端口，是專為高度虛擬化的云數(shù)據(jù)中心設(shè)計的第一款多協(xié)議服務(wù)器連接產(chǎn)品。結(jié)合了Gen 5 Fibre Channel（16 Gbps）光纖通道主機(jī)總線適配器（HBA）、萬兆以太網(wǎng)（10 GbE）融合網(wǎng)絡(luò)適配器（CNA）和網(wǎng)絡(luò)接口卡（NIC），可支持在單一產(chǎn)品中同時運行原生光纖通道、TCP/IP、 數(shù)據(jù)中心橋接（DCB）以太網(wǎng)、Fibre Channel over Ethernet（FCoE）和Internet Small Computer System Interface（iSCSI）。 Brocade 1860-2F FC HBA卡可支持全雙工線速16 Gbps光纖通道和10 GbE速度，而且每個雙端口適配器可以為存儲應(yīng)用提供超過100萬次IOPS操作，包括光纖通道、FCoE和iSCSI，是支持大型數(shù)據(jù)中心內(nèi)最苛刻的關(guān)鍵任務(wù)工作負(fù)載的理想平臺。Brocade 1860-2F FC HBA卡可支持全面的FCoE協(xié)議卸載及無狀態(tài)10 GbE網(wǎng)絡(luò)卸載，包括TCP校驗和及分段卸載（segmentation offload），可提高性能及CPU利用率。在此背景下，計算機(jī)工業(yè)界和學(xué)術(shù)界提出了云計算的概念[8]。虛擬化正從根本上轉(zhuǎn)變數(shù)據(jù)中心，將網(wǎng)絡(luò)接入層轉(zhuǎn)移到服務(wù)器中。除了對I/O設(shè)備進(jìn)行虛擬化，使其可以由虛擬機(jī)共享外，系統(tǒng)管理程序必然地成為了基于軟件的以太網(wǎng)交換機(jī)，為虛擬機(jī)提供網(wǎng)絡(luò)服務(wù)，因而占用了大量CPU周期并阻礙著虛擬化可擴(kuò)展性和性能。將虛擬機(jī)更緊湊地放置到數(shù)量更少的結(jié)點上，從而將閑置的結(jié)點關(guān)閉來節(jié)省能耗和管理開銷，需要通過次數(shù)更多的虛擬機(jī)遷移來實現(xiàn)[9]。即使采用最強(qiáng)大的處理器，使用16 Gbps光纖通道，速度為10 GbE時，系統(tǒng)管理程序也無法匹配I/O需求，最終導(dǎo)致線速性能根本不可能實現(xiàn)。此外，還支持虛擬Fabric Link（vFLink）技術(shù)。這種技術(shù)可以將單一適配器分為最多8個虛擬適配器，而這些虛擬適配器可以配置為虛擬HBA（vHBA，用于光纖通道或FCoE）或虛擬NIC（vNIC，用于以太網(wǎng)）。這一操作在PCIe總線級別通過多種物理功能（Physical Function，PF）在硬件中實現(xiàn)；而在操作系統(tǒng)級別，這些虛擬適配器看起來就像獨立的物理設(shè)備。帶寬能夠以100 Mbps的增量分配給這些虛擬Fabric鏈路，光纖通道和以太網(wǎng)分別最多可分配到16 Gbps或10 Gbps的帶寬。這將有助于避免虛擬環(huán)境中適配器的迅速增長，同時也可實現(xiàn)不同網(wǎng)絡(luò)的全面管理隔離和微調(diào)，包括生產(chǎn)、備份、管理或?qū)崟r遷移。

Dynamic Fabric Provisioning（DFP）允許企業(yè)通過主機(jī)全球名稱（WWN）虛擬化來避免Fabric架構(gòu)重新配置，并將交換機(jī)和適配器技術(shù)相結(jié)合，來降低甚至從根本上消除修改分區(qū)或邏輯單元號（LUN）掩碼的需求。此外，DFP可支持虛擬WWN的預(yù)先配置（pre-provisioning），在企業(yè)部署新設(shè)備或在交換機(jī)中移動設(shè)備時避免耗時的步驟。SAN Boot功能允許部署直接相連存儲（DAS）點到點技術(shù)和無磁盤服務(wù)器，并對共享存儲池中的操作系統(tǒng)鏡像進(jìn)行集中管理。然而，傳統(tǒng)的SAN Boot環(huán)境要求接入每個HBA BIOS（以及每個服務(wù)器控制面板），因此配置起來非常繁瑣，維護(hù)工作量很大而且容易出現(xiàn)人為錯誤。為簡化對SAN Boot環(huán)境的管理，Brocade 1860-2F FC HBA卡可提供基于Fabric架構(gòu)的啟動LUN（Boot LUN）發(fā)現(xiàn)功能，該功能使每臺服務(wù)器可以從交換矩陣中自動恢復(fù)自己的啟動LUN信息。這樣就可以通過Brocade Network Advisor來為所有SAN Boot操作提供一個集中管理點，幫助企業(yè)全面利用無磁盤服務(wù)器的優(yōu)勢。通過實驗驗證Hbase具有良好的可擴(kuò)展性，高效的存儲效率和訪問效率[10]。為了補(bǔ)償服務(wù)器和存儲設(shè)備同步啟動時的磁盤啟動延遲時間，用戶可以通過Brocade Boot-up Delay特性配置1、2、5或10分鐘的啟動延遲。

Brocade 1860-2F FC HBA卡還可以提供Bare-metal配置功能，允許企業(yè)通過服務(wù)器BIOS UEFI HII菜單而在適配器上配置存儲和網(wǎng)絡(luò)屬性，并不需要安裝和啟動操作系統(tǒng)。這樣就可以簡化適配器配置和管理，進(jìn)而提高業(yè)務(wù)靈活性并降低運營支出。

2.4 Emulex LPe16202

Emulex LPe16202采用PCI Express Gen3總線接口，Gen 5 Fibre Channel技術(shù)，吞吐量每端口16Gbps全雙工線速，具有2個16G FC接口或者2個10GbE接口，采用PCI Express 3.0標(biāo)準(zhǔn)，支持多操作系統(tǒng)的SAN Boot。

2.5 存儲大集中環(huán)境下應(yīng)用高端FC HBA卡的優(yōu)勢

隨著存儲區(qū)域網(wǎng)絡(luò)越來越廣泛的應(yīng)用，業(yè)已逐漸成為人們解決存儲帶寬、容量和管理問題的首選方案。而FC HBA卡是將主機(jī)接入FC SAN必不可少的接入設(shè)備[11]。高端FC HBA卡使用獨立于LAN的SAN架構(gòu)，不與LAN爭用帶寬，存儲大集中環(huán)境下應(yīng)用高端FC HBA卡以提供超高帶寬，高IOPS，高可用。而且，存儲大集中環(huán)境下應(yīng)用高端FC HBA卡提供高可用性；提高了數(shù)據(jù)的可靠性和安全性；易擴(kuò)展性和兼容性；集中管理、共享存儲；提高數(shù)據(jù)訪問速度；異地容災(zāi)得以實現(xiàn)；存儲大集中環(huán)境下應(yīng)用高端FC HBA卡解決數(shù)據(jù)大集中的主要技術(shù)之一，如圖2所示。

圖 2 “高端FC HBA卡”與“存儲大集中環(huán)境”關(guān)系的拓?fù)鋱D

Fig.2 Topology relationship between "high-end FC HBA card" and "storage centralization environment"

3 存儲大集中環(huán)境下應(yīng)用高端FC HBA卡需要注意的問題

任何技術(shù)從萌芽到成型，再到成熟，都需要經(jīng)歷一個過程。部署高端FC HBA卡技術(shù)相對復(fù)雜，成本很高。要求使用方充分了解存儲區(qū)域網(wǎng)（SAN）的相關(guān)知識和各平臺虛擬化相關(guān)知識，同時高端FC HBA卡與各種系統(tǒng)硬件聯(lián)系較為緊密。FC HBA硬件上選用Xilinx公司的FPGA進(jìn)行開發(fā)，對外提供2通道全雙工的FC接口。硬件層可分為兩個模塊，一個為FC幀處理模塊，另一個為PCI-Express接口的DMA傳輸模塊[12]。存儲設(shè)備性能問題，所有主機(jī)均連接高端存儲設(shè)備，對存儲設(shè)備的性能要求很高。存儲設(shè)備通常面臨高可用問題，一旦存儲出現(xiàn)故障，所有數(shù)據(jù)都將陷入災(zāi)難，建議使用高端存儲解決存儲性能問題。為此，需創(chuàng)建基于高端存儲的容災(zāi)、備份、雙活系統(tǒng)，提高業(yè)務(wù)支撐系統(tǒng)的高可靠性。目前國內(nèi)品牌目前尚無高端FC HBA卡設(shè)備和配套軟件，希望國內(nèi)具有高研發(fā)實力的Huawei、Zte加大高端FC HBA卡的研發(fā)投入，使國內(nèi)品牌高端FC HBA卡系統(tǒng)早日成功商用。高端FC HBA卡技術(shù)由Qlogic、Brocade、Emulex所持有， IBM、Sun、EMC、HP、DELL、Huawei等廠商大多OEM這三家產(chǎn)品，希望國內(nèi)具有強(qiáng)大研發(fā)實力廠商早日推出自主知識產(chǎn)權(quán)的高端FC HBA卡設(shè)備或配套軟件。

4 結(jié)束語

虛擬化、大數(shù)據(jù)是實現(xiàn)云計算的主要技術(shù)，目前除電信、金融行業(yè)外其它行業(yè)存儲大集中環(huán)境下應(yīng)用高端FC HBA卡尚在探索測試的階段，但相信隨著云計算的發(fā)展以及應(yīng)用虛擬化的日趨成熟，該技術(shù)必會將云計算的發(fā)展帶來全新的變革。本文圍繞存儲大集中環(huán)境下應(yīng)用高端FC HBA卡，總結(jié)了應(yīng)用存儲大集中；SAN；Gen 5 Fibre Channel；FC HBA卡原理、優(yōu)勢，應(yīng)用，趨勢；為構(gòu)建存儲大集中環(huán)境下應(yīng)用高端FC HBA卡提供了實踐經(jīng)驗支持。存儲大集中、SAN、Gen 5 Fibre Channel、高端FC HBA卡為高性能云計算提供積極的推動作用和高效的技術(shù)動力。

參考文獻(xiàn)：

[1]譚霜，賈焰，韓偉紅. 云存儲中的數(shù)據(jù)完整性證明研究及進(jìn)展[J].計算機(jī)學(xué)報，2015，38（1）：164-177.

[2]金培權(quán)，郝行軍，岳麗華. 面向新型存儲的大數(shù)據(jù)存儲架構(gòu)與核心算法綜述[J].計算機(jī)工程與科學(xué)，2013，35（10）：12-24.

[3]謝長生，高巍. 存儲區(qū)域網(wǎng)（SAN）中存儲虛擬化的研究與實現(xiàn)[J].計算機(jī)應(yīng)用研究，2003（8）：130-132.

[4]林順平，涂曉東. 光纖通道HBA卡的設(shè)計與實現(xiàn)[J].光通信技術(shù)，2010（12）：27-30.

[5]戴斌，胡曉，孫志剛.高速網(wǎng)絡(luò)接口卡DMA引擎的設(shè)計與實現(xiàn)[J].計算機(jī)工程，2007，33（20）：99-103.

[6]潘強(qiáng).虛擬存儲技術(shù)在醫(yī)院數(shù)據(jù)存儲中的應(yīng)用研究[J].信息技術(shù)，2011（5）：187-192.

[7]田耘，徐文波. XILINX FPGA開發(fā)實用教程[M].北京：北京清華大學(xué)出版社，2008：125-127.

[8]陳康，鄭緯民.云計算：系統(tǒng)實例與研究現(xiàn)狀[J].軟件學(xué)報，2009，20（5）：1337-1348.

[9]李強(qiáng)，郝沁汾，肖利民，等. 云計算中虛擬機(jī)放置的自適應(yīng)管理與多目標(biāo)優(yōu)化[J].計算機(jī)學(xué)報，2011，34（12）：2253-2264.

[10] 陳慶奎，周利珍. 基于Hbase的大規(guī)模無線傳感網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)[J].計算機(jī)應(yīng)用，2012，32（7）：1920-1923.

[11]李偉，涂曉東. 光纖通道HBA卡登錄過程流程的設(shè)計與實現(xiàn)[J].信息通信，2010（2）：59-61.

[12]孫麗娜，涂曉東，繆露鵬. 嵌入式VxWorks環(huán)境下FC HBA驅(qū)動的設(shè)計和實現(xiàn)[J].信息通信，2011（2）：28-30.

基金項目：國家自然科學(xué)基金（81273649）。

作者簡介：李曉坤（1979-），男， 黑龍江哈爾濱人，碩士，高級工程師，主要研究方向：云計算、虛擬化、網(wǎng)絡(luò)存儲系統(tǒng)等；

邵 娜（1987-），女， 黑龍江哈爾濱人，碩士， 助理工程師，主要研究方向：云計算、虛擬化、網(wǎng)絡(luò)存儲系統(tǒng)等。