多技術(shù)構(gòu)架大數(shù)據(jù)存儲(chǔ)應(yīng)用

■徐民先

關(guān)于大數(shù)據(jù)存儲(chǔ)的技術(shù)有多種，如何設(shè)計(jì)和構(gòu)建關(guān)鍵技術(shù)是很多廠商頭疼的問題。如果從芯片角度來看，存儲(chǔ)的關(guān)鍵點(diǎn)應(yīng)該是能定制化為客戶提供解決方案。

在安防行業(yè)，大數(shù)據(jù)時(shí)代引發(fā)諸多技術(shù)革命，對于監(jiān)控存儲(chǔ)企業(yè)面臨諸多挑戰(zhàn)，如何解決是業(yè)界為之關(guān)注話題。

大數(shù)據(jù)時(shí)代的存儲(chǔ)方式

英特爾的理念是在端到端的安防行業(yè)，全面實(shí)現(xiàn)數(shù)據(jù)價(jià)值的挖掘。所謂“端到端”，包括前端視頻采集、分析，存儲(chǔ)以及后端數(shù)據(jù)中心處理。區(qū)別于單個(gè)設(shè)備的解決方案，英特爾以其優(yōu)越的性能、靈活的設(shè)計(jì)為設(shè)備制造商和系統(tǒng)集成商提供整套系統(tǒng)化解決方案，從數(shù)據(jù)獲取、存儲(chǔ)、分析到應(yīng)用各個(gè)層面均有覆蓋。從硬件角度，英特爾提供的全系列處理器涵蓋入門級的凌動(dòng)、酷睿以及高性能的至強(qiáng)處理器，隨著夸克產(chǎn)品線的推出，我們在前端的應(yīng)用將更具性能功耗比優(yōu)勢。此外，英特爾聚焦于通過GPU進(jìn)行媒體處理工作負(fù)載的整合，比如編解碼的硬件加速，從而實(shí)現(xiàn)更高密度的視頻流集成，使系統(tǒng)整體性能得到優(yōu)化。在軟件層面，英特爾擁有多種媒體處理工具，如異步IPP、媒體處理開發(fā)套件（Media SDK）以及Open CL開發(fā)套件。同時(shí)，作為Open Source的重要合作伙伴，英特爾提供的Hadoop發(fā)行版能夠?yàn)楹Ａ繑?shù)據(jù)的存儲(chǔ)和處理提供靈活支持，使之更適用于交通和安防行業(yè)的應(yīng)用，合作伙伴也可以在這個(gè)開放的平臺之上自如地融入自己的創(chuàng)新。

安防是大數(shù)據(jù)的直接應(yīng)用領(lǐng)域，建設(shè)平安城市的過程伴隨大量數(shù)據(jù)的產(chǎn)生，尤其是以視頻監(jiān)控為主要特征的數(shù)字安全監(jiān)控（Digital Security Surveillance,DSS）領(lǐng)域。我們所居住的城市中有無數(shù)的高清攝像頭，涉及治安監(jiān)控、指揮通信、偵查破案、規(guī)范執(zhí)法、社會(huì)服務(wù)等，視頻接入規(guī)模從幾千到幾十萬，每天產(chǎn)生海量數(shù)據(jù)，這些規(guī)模龐大、形態(tài)復(fù)雜的數(shù)據(jù)極富分析價(jià)值。

2013年年初，南京警方為了抓捕一名在逃嫌犯，調(diào)動(dòng)了兩千警力，因?yàn)樗械臄z像頭沒有聯(lián)網(wǎng)，只能繞道各個(gè)小區(qū)、派出所、樓宇去拷數(shù)據(jù)，當(dāng)時(shí)整個(gè)南京市所能買到的存儲(chǔ)設(shè)備幾乎都被警方買空。這個(gè)案例說明：第一數(shù)據(jù)需要聯(lián)網(wǎng)，第二大數(shù)據(jù)一定要存儲(chǔ)好，第三大數(shù)據(jù)必須經(jīng)過分析和挖掘才有價(jià)值。

多技術(shù)架構(gòu)下的大數(shù)據(jù)存儲(chǔ)

從芯片廠商的角度來看，英特爾多項(xiàng)嵌入式技術(shù)可以為安防行業(yè)存儲(chǔ)提供差異化的解決方案或不同層次的技術(shù)支持：

凌動(dòng)?平臺

為中低檔視頻錄像機(jī)（DVR、NVR）提供了經(jīng)濟(jì)實(shí)惠、性能卓越的低功耗的英特爾凌動(dòng)解決方案。憑借優(yōu)異的熱設(shè)計(jì)功耗（TDP），英特爾凌動(dòng)平臺能夠高效地支持基于軟件的編碼器，支持客戶靈活、輕松地增加功能或升級其解決方案。它不僅能夠支持高分辨率視頻成像并且采用先進(jìn)壓縮技術(shù)，以降低存儲(chǔ)量，同時(shí)還支持視頻分析功能，是住宅、小型零售店和小型辦公/家庭辦公環(huán)境等較成熟的中檔客戶的理想之選。而隨著夸克產(chǎn)品線的推出，英特爾在前端的應(yīng)用將更具性能功耗比優(yōu)勢。

雙核處理器技術(shù)

雙核處理器技術(shù)采用了智能高速緩存技術(shù)，能夠在另一個(gè)內(nèi)核空閑時(shí)讓另一個(gè)運(yùn)行中的內(nèi)核獨(dú)占所有二級緩存，從而帶來更卓越的雙核性能。此外，在占用空間和耗電方面一個(gè)雙核處理器均要少于兩個(gè)單核處理器的消耗量。同時(shí)，并發(fā)工作的兩個(gè)處理器內(nèi)核還能夠大幅提高多任務(wù)處理性能和多線程應(yīng)用程序的吞吐率。通過更有效地利用原本可能閑置的資源，支持超線程（HT）技術(shù)的英特爾雙核產(chǎn)品可以同時(shí)處理四個(gè)軟件線程。這將可以為 DSS 應(yīng)用程序中的復(fù)雜算法帶來直接性能優(yōu)勢，并滿足多信道、高分辨率的圖像要求。

64 位內(nèi)存擴(kuò)展技術(shù)

傳統(tǒng)的32位CPU支持4GB直接尋址內(nèi)存，已無法滿足眾多新應(yīng)用程序的需求。英特爾? 64位內(nèi)存擴(kuò)展技術(shù)能夠支持對多達(dá)1TB的內(nèi)存進(jìn)行尋址。這一超大內(nèi)存空間可顯著提高內(nèi)存密集型應(yīng)用程序的性能。

PCI Express＊

PCI Express* 目前是英特爾嵌入式芯片的主流配置，并正升級到PCIe2.0，速度高達(dá)5GT/S，雙向數(shù)據(jù)傳輸速率達(dá)16GB/S，從而提供了可擴(kuò)展的 I/O 來支持不斷增加的高分辨率和高幀速視頻信道的數(shù)量。其外，通過嵌入式處理器或芯片組能提供多個(gè)PCIe接口，為DSS產(chǎn)品的接口擴(kuò)展以及大數(shù)據(jù)量的存儲(chǔ)提供了靈活的可擴(kuò)展空間。

超線程（HT）技術(shù)

超線程（HT）技術(shù)可支持單一處理器作為兩個(gè)“虛擬”處理器運(yùn)行，能夠并行執(zhí)行兩個(gè)線程。通過按需將處理器資源分配給應(yīng)用程序，該技術(shù)能夠?qū)崿F(xiàn)更高效的多任務(wù)處理，支持處理器在指定時(shí)間內(nèi)完成更多任務(wù)。安排線程時(shí)，操作系統(tǒng)將兩個(gè)不同架構(gòu)狀態(tài)視為獨(dú)立的“邏輯”處理器。盡管超線程（HT）技術(shù)無法提供通過添加第二個(gè)處理器所能實(shí)現(xiàn)的性能水平，但基準(zhǔn)測試顯示，一些服務(wù)器應(yīng)用程序的性能可得到 30%的提升。當(dāng)應(yīng)用英特爾雙核處理器技術(shù)后，超線程（HT）技術(shù)可為 DSS 應(yīng)用程序（例如涉及多視頻數(shù)據(jù)流的應(yīng)用程序）帶來顯著的性能提升。虛擬化技術(shù)

虛擬化技術(shù)能夠?qū)τ布Y源進(jìn)行劃分，并分配到多個(gè)獨(dú)立操作系統(tǒng)環(huán)境，從而能夠支持在單一硬件平臺中存在多個(gè)“虛擬”平臺。虛擬化支持單一設(shè)備同時(shí)運(yùn)行多個(gè)操作系統(tǒng)。例如，企業(yè)將可以實(shí)施多用途終端，在同一平臺上同時(shí)運(yùn)行銷售點(diǎn)和監(jiān)控應(yīng)用程序，從而節(jié)約成本并最大限度地提高工作效率，并能有效提高系統(tǒng)運(yùn)行或數(shù)據(jù)的安全性。

主動(dòng)管理技術(shù)

主動(dòng)管理技術(shù)是一種基于非易失性存儲(chǔ)、并駐留于平臺之中的硬件和軟件解決方案。它能夠支持維護(hù)部門遠(yuǎn)程發(fā)現(xiàn)、修復(fù)和保護(hù)聯(lián)網(wǎng)的計(jì)算資產(chǎn)。目前主要的獨(dú)立軟件開發(fā)商均在其產(chǎn)品中增加了對于主動(dòng)管理技術(shù)特性的支持，同時(shí)主要原始設(shè)備制造商（OEM）也紛紛在其平臺上實(shí)施該技術(shù)。

LaGrande 技術(shù)

LaGrande技術(shù)來保護(hù)如機(jī)密用戶數(shù)據(jù)、通信和銀行交易等關(guān)鍵信息免受基于軟件的攻擊，同時(shí)不影響平臺的可用性。LaGrande技術(shù)含有一個(gè)高度通用的硬件增強(qiáng)集合，為幫助保護(hù)數(shù)據(jù)機(jī)密性和完整性提供了一個(gè)重要基礎(chǔ)。它通過實(shí)施域分離，可有效抵御基于軟件的攻擊。通過硬件增強(qiáng)，LaGrande技術(shù)能夠能夠在 CPU、芯片組、設(shè)備和平臺之間建立一個(gè)可靠的通道，確保 CPU、內(nèi)存頁和設(shè)備不受系統(tǒng)上所有其它軟件的影響。它可為 DSS 應(yīng)用程序開發(fā)商帶來一個(gè)受保護(hù)的執(zhí)行空間、安全的存儲(chǔ)和受保護(hù)的 I/O。

SIMD 指令集

單指令多數(shù)據(jù)（SIMD）處理技術(shù)可同時(shí)對多個(gè)數(shù)據(jù)執(zhí)行單一指令，以增加可處理的數(shù)據(jù)量。英特爾處理器中第一代 SIMD技術(shù)是MMX? 技術(shù)，并很快擴(kuò)展到了下一代SIMD，即 SIMD 流指令擴(kuò)展（SSE）、SSE2/3/4，有效滿足了多媒體、通信和圖形/視頻應(yīng)用程序的需求?？紤]到日益增強(qiáng)的對更高平行處理的要求，英特爾進(jìn)一步將SIMD升級到了256位的AVX指令集，并進(jìn)一步擴(kuò)充了一些新的指令集。這些平行處理指令集的進(jìn)化，尤其是AVX的出現(xiàn)，將為DSS的高清化和智能化的發(fā)展提供更有效的工具。

結(jié)束語

為支持安防行業(yè)快速、有序發(fā)展，并為城市帶來更加安全的生產(chǎn)生活環(huán)境，英特爾將進(jìn)一步提高芯片設(shè)計(jì)、制造工藝以及軟件開發(fā)能力，把個(gè)性化的“互聯(lián)計(jì)算”（Compute Continuum）”引入安防產(chǎn)業(yè)。英特爾認(rèn)為，互聯(lián)計(jì)算首先是要基于互聯(lián)網(wǎng)，其次是要實(shí)現(xiàn)智能化。這其中又包含三個(gè)層面的含義，其一是設(shè)備與設(shè)備之間的聯(lián)系，其二是設(shè)備與人之間的聯(lián)系，其三是設(shè)備與數(shù)據(jù)中心之間的聯(lián)系，而這些都必須依托一個(gè)智能化平臺架構(gòu)。在未來的“互聯(lián)計(jì)算”時(shí)代，數(shù)字安全監(jiān)控將伴隨著互聯(lián)網(wǎng)技術(shù)、數(shù)字高清化技術(shù)以及智能化技術(shù)的發(fā)展成為人們生活和工作中不可或缺的組成部分，并成為中國構(gòu)建“平安城市”和“智慧城市”的中堅(jiān)力量。至于英特爾在其中扮演的角色，其實(shí)也脫離不了英特爾公司整體戰(zhàn)略，即設(shè)計(jì)和構(gòu)建關(guān)鍵技術(shù)，為全球的計(jì)算設(shè)備奠定基礎(chǔ)，改善人們的生活水平。從這個(gè)角度來看，英特爾在其中一定要扮演一個(gè)技術(shù)領(lǐng)先者、行業(yè)引導(dǎo)者以及有責(zé)任感的企業(yè)公民這樣一個(gè)全方位的角色。