數(shù)據(jù)淘金：從數(shù)據(jù)中挖掘有效信息

如今是信息時(shí)代，得數(shù)據(jù)者得天下。然而，只是“有”數(shù)據(jù)還不夠，數(shù)據(jù)的“準(zhǔn)確性”和數(shù)據(jù)的“分析”也是至關(guān)重要的。

“數(shù)據(jù)”和“信息”不是一碼事?！皵?shù)據(jù)”說的是一堆未經(jīng)處理的原始測(cè)量結(jié)果，我們要分析它，取其精華去其糟粕，以用于獲得有用的信息。所以常說的“信息過載”其實(shí)不對(duì)，“數(shù)據(jù)”可能會(huì)過載，但“信息”越多越好。

過去十年間，我們的數(shù)據(jù)量實(shí)現(xiàn)了爆炸式增長(zhǎng)。據(jù)報(bào)道，2005年全球數(shù)據(jù)總量達(dá)到1300億GB。現(xiàn)在的公司經(jīng)常要處理數(shù)以PB計(jì)的數(shù)據(jù)。隨著數(shù)據(jù)源的飛速增長(zhǎng)，數(shù)據(jù)的獲取速度也越來越快?？萍歼M(jìn)步如此迅速，轉(zhuǎn)眼已是滄海桑田。

隨著對(duì)人們活動(dòng)和傳感器的測(cè)量，數(shù)據(jù)類型也在不斷增加。而我們要記?。簲?shù)據(jù)，只有經(jīng)過了分析，變成了信息才有用。

物聯(lián)網(wǎng)的優(yōu)勢(shì)在于它能實(shí)時(shí)獲取、組織數(shù)據(jù)。如果架構(gòu)正確，物聯(lián)網(wǎng)可以把數(shù)據(jù)變成有用的信息，用來決定下一步怎么辦。

物聯(lián)網(wǎng)之前，分析傳感器各式各樣的海量數(shù)據(jù)非常困難。通過物聯(lián)網(wǎng)技術(shù)，可以把機(jī)器得到的數(shù)據(jù)放入數(shù)據(jù)池自動(dòng)分析，以決定下一步需要對(duì)數(shù)據(jù)和程序做些什么。物聯(lián)網(wǎng)不僅收集、分析數(shù)據(jù)，它還會(huì)自我提升。

在討論數(shù)據(jù)傳輸時(shí)常用兩個(gè)術(shù)語：“北向（northbound）”和“南向（southbound）”?！氨毕驍?shù)據(jù)”是指從設(shè)備發(fā)出，通過網(wǎng)關(guān)，送至云端的數(shù)據(jù)，一般是遙測(cè)數(shù)據(jù)，也可能是命令和控制請(qǐng)求?！澳舷驍?shù)據(jù)”則是從云發(fā)至網(wǎng)關(guān)，或者從云通過網(wǎng)關(guān)發(fā)至設(shè)備，一般是命令和控制信息（如軟件的更新、請(qǐng)求、更改配置參數(shù)等）。

以下是利用南、北行信道，從探測(cè)數(shù)據(jù)中找到有用信息的方法：

第一步 ：傳感器發(fā)出北向遙測(cè)數(shù)據(jù)。根據(jù)架構(gòu)的不同，這些數(shù)據(jù)會(huì)被預(yù)處理，然后發(fā)送到位于傳感器附近的數(shù)據(jù)存儲(chǔ)器（比如一個(gè)網(wǎng)關(guān)）。

第二步 ：在網(wǎng)關(guān)這個(gè)臨時(shí)節(jié)點(diǎn)上對(duì)數(shù)據(jù)進(jìn)行一定量的分析，可以在這里處理數(shù)據(jù)（例如匯總數(shù)據(jù)，或者轉(zhuǎn)換數(shù)據(jù)，為數(shù)據(jù)中心或云深入分析做好準(zhǔn)備）。然后，把在網(wǎng)關(guān)上處理的信息和之前的精確結(jié)果比對(duì)，就是在歷史信息中進(jìn)行相關(guān)性匹配。發(fā)現(xiàn)的模式可以作為我們行動(dòng)的依據(jù)。

第三步 ：利用新的信息，就可以建立一個(gè)規(guī)則。

第四步 ：把制定好的規(guī)則付諸實(shí)踐。

開源軟件項(xiàng)目提供了標(biāo)準(zhǔn)化的工具包（例如Camel、Drools），可以用它處理、操作數(shù)據(jù)。

Apache Camel是一種基于Java規(guī)則的路由和中介引擎，具有可以處理數(shù)據(jù)的企業(yè)集成模式。它通過“開箱即用”（out-of-the-box）的信息中介、路由、數(shù)據(jù)轉(zhuǎn)換，可以聯(lián)網(wǎng)解決方案的開發(fā)。

把數(shù)據(jù)轉(zhuǎn)化為有用的信息是所有物聯(lián)網(wǎng)工作的核心，而通過開源軟件可以實(shí)現(xiàn)這一目標(biāo)，這有助于加速將物聯(lián)網(wǎng)付諸實(shí)踐。