基于深度學習和時空關(guān)聯(lián)的大數(shù)據(jù)分析系統(tǒng)研究*

李 威

（1.北京銳安科技有限公司，北京 100192；2.北京市網(wǎng)絡(luò)空間數(shù)據(jù)分析與應(yīng)用工程技術(shù)研究中心，北京 100192）

0 引言

隨著深度學習技術(shù)的發(fā)展，人臉識別、聲紋識別、命名實體識別技術(shù)得到了廣泛應(yīng)用[1-2]，但是傳統(tǒng)方法采集的人臉、聲紋、實體和其他結(jié)構(gòu)化數(shù)據(jù)存在數(shù)據(jù)孤立的問題。例如，雖然采集到了人臉，但是人臉的身份難以確定。因此，充分發(fā)掘數(shù)據(jù)的關(guān)聯(lián)關(guān)系，利用關(guān)聯(lián)關(guān)系對實體進行多維度刻畫，是提升數(shù)據(jù)價值的重要手段。文章提出一種基于深度學習進行實體識別，并利用同一時空獲取關(guān)聯(lián)關(guān)系，通過大數(shù)據(jù)分析獲取多時空中關(guān)聯(lián)強度的方法。智能采集設(shè)備具有豐富的采集能力，廣泛采集聲光電信息，一類形成視頻、圖像、聲音以及話語等非結(jié)構(gòu)化數(shù)據(jù)，一類形成如經(jīng)緯度、射頻識別ID、電子設(shè)備ID 以及操作信息等結(jié)構(gòu)化數(shù)據(jù)?；谏疃葘W習的數(shù)據(jù)處理特點，非結(jié)構(gòu)化數(shù)據(jù)經(jīng)過預(yù)處理后形成特定大小數(shù)據(jù)作為深度神經(jīng)網(wǎng)絡(luò)的輸入，統(tǒng)一視同圖片，利用深度學習進行圖像的實體識別和特征歸一，基于同一時空，將實體與其他實體、實體與結(jié)構(gòu)化數(shù)據(jù)即屬性進行關(guān)聯(lián)。隨著不同時空采集數(shù)據(jù)的積累，實體之間、實體與不同屬性之間的關(guān)聯(lián)度產(chǎn)生顯著差異，因而能夠揭示客觀世界的規(guī)律。系統(tǒng)將實體和屬性數(shù)據(jù)聚合形成檔案，提供查詢分析功能。文章介紹了基于深度學習和時空關(guān)聯(lián)的大數(shù)據(jù)分析系統(tǒng)的需求分析、系統(tǒng)架構(gòu)以及系統(tǒng)數(shù)據(jù)流，并對數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲組織、數(shù)據(jù)分析挖掘的算法和實現(xiàn)等關(guān)鍵子系統(tǒng)展開闡述。

1 系統(tǒng)構(gòu)建分析

1.1 系統(tǒng)應(yīng)用需求分析

系統(tǒng)應(yīng)用需求包括關(guān)聯(lián)查詢、數(shù)據(jù)碰撞分析、數(shù)據(jù)統(tǒng)計等3 個方面的功能。

查詢檢索功能圍繞著圖像實體與屬性關(guān)聯(lián)形成的檔案信息和時序日志信息，提供以圖搜檔、以屬性搜圖的功能，以及對采集數(shù)據(jù)日志搜索和時序軌跡數(shù)據(jù)查詢。日志搜索根據(jù)采集設(shè)備標識、屬性信息、時間范圍搜索日志數(shù)據(jù)。時序軌跡數(shù)據(jù)查詢，根據(jù)實體ID、屬性、時間范圍搜索歸屬于同一實體的時序日志數(shù)據(jù)，形成軌跡刻畫和地圖展示。

數(shù)據(jù)碰撞分析包括時空數(shù)據(jù)碰撞分析和混合軌跡分析。以圖像、屬性、時間為碰撞范圍，獲取命中的數(shù)據(jù)，通過地圖顯示，支持根據(jù)時間范圍、區(qū)域、采集前端進行篩選檢索?；旌宪壽E伴隨分析選擇特定時段、區(qū)域，可分析該時段區(qū)域內(nèi)實體和屬性同時同地出現(xiàn)的伴隨情況。

數(shù)據(jù)統(tǒng)計分析包括采集量統(tǒng)計、檔案統(tǒng)計、采集點位統(tǒng)計研究實體屬性關(guān)聯(lián)置信度。對所有接入的采集數(shù)據(jù)分時段按照數(shù)據(jù)類別統(tǒng)計，包括圖數(shù)量、屬性數(shù)量、形成的檔案數(shù)量、前端采集點位數(shù)量和采集量。實體屬性關(guān)聯(lián)置信度基于實體屬性關(guān)聯(lián)次數(shù)，通過關(guān)聯(lián)率算法，依據(jù)關(guān)聯(lián)率取值區(qū)間給出關(guān)聯(lián)置信度。

1.2 系統(tǒng)架構(gòu)設(shè)計

大數(shù)據(jù)分析系統(tǒng)整體分為前端的采集系統(tǒng)和后端的數(shù)據(jù)中心，系統(tǒng)架構(gòu)如圖1 所示。

圖1 系統(tǒng)架構(gòu)

采集系統(tǒng)是部署在各類室內(nèi)外場所的前端感知設(shè)備，如道路、園區(qū)、廣場等室外場所，以及門禁、樓道、走廊等室內(nèi)場所。采集系統(tǒng)具備視頻圖像采集及電磁信號采集能力，能夠輸出非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)。

前端設(shè)備數(shù)量根據(jù)實際情況規(guī)模差異巨大，從幾百臺到數(shù)千臺不等。采集數(shù)據(jù)量規(guī)模隨前端設(shè)備數(shù)量增加而增長，后端的數(shù)據(jù)中心的容量能夠水平延伸，動態(tài)擴容。

后端的數(shù)據(jù)中心基于云計算平臺構(gòu)建，依托云計算平臺提供的存儲、計算能力構(gòu)建數(shù)據(jù)服務(wù)層和業(yè)務(wù)應(yīng)用系統(tǒng)。數(shù)據(jù)服務(wù)層通過數(shù)據(jù)服務(wù)支撐業(yè)務(wù)應(yīng)用系統(tǒng)開展相關(guān)業(yè)務(wù)。

數(shù)據(jù)服務(wù)層包括數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲組織、數(shù)據(jù)分析挖掘以及數(shù)據(jù)治理幾個子系統(tǒng)。數(shù)據(jù)預(yù)處理包括數(shù)據(jù)清洗、實體歸一、實體建檔、屬性建檔以及比對標識模塊。數(shù)據(jù)清洗模塊提供一段時間間隔（窗口）內(nèi)的數(shù)據(jù)去重功能，實體歸一模塊對來自前端的圖，通過數(shù)據(jù)分析挖掘提供的能力進行實體識別，并歸一到唯一實體ID。實體建檔模塊按照唯一特征ID 建立實體檔案。屬性建檔模塊按照屬性建立檔案。比對標識模塊能夠?qū)︻A(yù)設(shè)的比對條件，如圖、實體ID、屬性等及其組合規(guī)則對來源數(shù)據(jù)進行比對，按照規(guī)則對命中數(shù)據(jù)進行標識。數(shù)據(jù)存儲組織子系統(tǒng)包含日志存儲、檔案存儲、關(guān)聯(lián)關(guān)系存儲模塊，提供日志、檔案以及關(guān)聯(lián)關(guān)系的存儲功能。數(shù)據(jù)分析挖掘子系統(tǒng)包括實體聚合、實體屬性關(guān)聯(lián)和分類統(tǒng)計模塊。數(shù)據(jù)治理包括資源目錄和數(shù)據(jù)服務(wù)模塊。

業(yè)務(wù)應(yīng)用系統(tǒng)對外提供功能應(yīng)用，基于數(shù)據(jù)服務(wù)層的能力，提供日志查詢、檔案查詢、關(guān)聯(lián)分析、地圖展示、關(guān)系展示、采集設(shè)備管理以及運營運維等功能。

1.3 系統(tǒng)數(shù)據(jù)流設(shè)計

大數(shù)據(jù)分析系統(tǒng)的數(shù)據(jù)，在采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲組織以及數(shù)據(jù)分析挖掘幾個關(guān)鍵子系統(tǒng)中流轉(zhuǎn)加工過程。系統(tǒng)數(shù)據(jù)流，如圖2 所示。

圖2 系統(tǒng)數(shù)據(jù)流

采集子系統(tǒng)。采集功能輸出的非結(jié)構(gòu)化數(shù)據(jù)，原始數(shù)據(jù)按照業(yè)務(wù)需要經(jīng)過系統(tǒng)預(yù)處理后形成特定規(guī)格的圖片（如120×120 像素）。文件名帶有采集時間戳，文件數(shù)據(jù)寫入FTP 指定目錄。結(jié)構(gòu)化采集功能輸出采集到的屬性、時間戳數(shù)據(jù)，按照文本文件格式5 000 條記錄一個文件，寫入FTP 指定目錄。

數(shù)據(jù)預(yù)處理子系統(tǒng)。實體歸一功能從非結(jié)構(gòu)化數(shù)據(jù)FTP 讀取圖片數(shù)據(jù)，將圖片通過接口送給數(shù)據(jù)分析挖掘子系統(tǒng)的實體聚檔獲取特征歸一ID，也就是同一實體的唯一ID。數(shù)據(jù)清洗功能的數(shù)據(jù)有兩個，一是圖片和實體ID 數(shù)據(jù)，二是屬性數(shù)據(jù)。在預(yù)設(shè)的時間窗口（如2 min）內(nèi)，判斷數(shù)據(jù)是否重復，丟棄重復數(shù)據(jù)，實現(xiàn)數(shù)據(jù)清洗。清洗后的數(shù)據(jù)包括結(jié)構(gòu)化的數(shù)據(jù)，如實體ID、時間戳，屬性、時間戳，圖片和原始非結(jié)構(gòu)化數(shù)據(jù)文件。圖片和原始非結(jié)構(gòu)化數(shù)據(jù)存入對象存儲庫。結(jié)構(gòu)化數(shù)據(jù)經(jīng)過比對標識功能，與預(yù)設(shè)的比對數(shù)據(jù)（如實體ID、屬性）進行比對，對命中數(shù)據(jù)在標識字段進行標記。比對標識后輸出數(shù)據(jù)包括實體ID 結(jié)構(gòu)化數(shù)據(jù)和屬性結(jié)構(gòu)化數(shù)據(jù)，統(tǒng)稱為日志數(shù)據(jù)，寫入數(shù)據(jù)隊列。實體ID 結(jié)構(gòu)化數(shù)據(jù)進入實體建檔功能，屬性結(jié)構(gòu)化數(shù)據(jù)進入屬性建檔功能，形成檔案后分別寫入實體檔案庫和屬性檔案庫。

數(shù)據(jù)分析挖掘子系統(tǒng)。實體聚檔功能實現(xiàn)圖片實體的識別和比對，給出系統(tǒng)唯一的ID。根據(jù)識別算法，使用特征點計算特征向量，通過特征向量的歐氏距離計算圖像實體相似度，在相似度一定范圍內(nèi)歸為同一實體。實體屬性關(guān)聯(lián)功能實現(xiàn)圖像和屬性的關(guān)聯(lián)，從數(shù)據(jù)隊列讀取流式數(shù)據(jù)，對同一點位設(shè)備的圖像數(shù)據(jù)和屬性數(shù)據(jù)，在一個時間區(qū)間內(nèi)（如2 min）形成一次數(shù)據(jù)關(guān)聯(lián)。實體ID 與屬性形成的關(guān)系稱為關(guān)聯(lián)，不同實體ID 關(guān)系稱為伴隨關(guān)系，即同時同地出現(xiàn)。形成的關(guān)系數(shù)據(jù)存入關(guān)聯(lián)庫。多維統(tǒng)計功能從數(shù)據(jù)隊列獲取數(shù)據(jù)，針對設(shè)備輸出、實體ID、屬性等維度按時間區(qū)間統(tǒng)計數(shù)據(jù)量，統(tǒng)計數(shù)據(jù)寫入統(tǒng)計庫。

數(shù)據(jù)存儲組織子系統(tǒng)。接收外部子系統(tǒng)數(shù)據(jù)流，提供數(shù)據(jù)隊列、實體檔案、屬性檔案、統(tǒng)計庫、關(guān)聯(lián)庫、對象存儲庫以及日志庫等數(shù)據(jù)存儲功能。

2 關(guān)鍵算法及實現(xiàn)

2.1 數(shù)據(jù)預(yù)處理算法及實現(xiàn)

數(shù)據(jù)預(yù)處理子系統(tǒng)基于開源軟件Apache Flink實現(xiàn)。Flink 是一個框架和分布式處理引擎，用于對無界和有界數(shù)據(jù)流進行有狀態(tài)計算。系統(tǒng)邏輯結(jié)構(gòu)如圖3 所示。

圖3 數(shù)據(jù)預(yù)處理子系統(tǒng)

Flink 提供流處理和批處理API 支持，其核心引擎是分布式流式運行時系統(tǒng)。Flink 支持本地、云端和集群3 種部署方式，按照系統(tǒng)規(guī)模靈活選擇[3]。規(guī)模較小時，如支持10 臺以下前端采集設(shè)備的演示系統(tǒng)，單臺高性能服務(wù)器即可支撐系統(tǒng)搭建，可以采用本地部署模式。大規(guī)模應(yīng)用，如支持1 000前端采集設(shè)備的生產(chǎn)系統(tǒng)，需要采用云端部署或集群部署模式。

通過實現(xiàn)一個Flink 自定義數(shù)據(jù)源讀取FTP 數(shù)據(jù)，實現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)接入和結(jié)構(gòu)化數(shù)據(jù)接入。數(shù)據(jù)接入后，在流處理過程中實現(xiàn)設(shè)備組關(guān)聯(lián)、實體歸一、數(shù)據(jù)清洗、比對標識、實體建檔以及屬性建檔功能。設(shè)備組關(guān)聯(lián)是根據(jù)應(yīng)用系統(tǒng)設(shè)定的前端采集設(shè)備組與設(shè)備ID 對應(yīng)關(guān)系，對來源數(shù)據(jù)根據(jù)設(shè)備ID 回填設(shè)備組信息。在采集設(shè)備實際部署中，通常要在同一點位不同方向部署多臺設(shè)備形成一個設(shè)備組。實體歸一功能將圖片傳送給實體聚檔，實體聚檔返回唯一的實體ID。如果圖片質(zhì)量不能達到聚檔要求，則返回空，系統(tǒng)丟棄此數(shù)據(jù)。

數(shù)據(jù)清洗的處理邏輯是在一個時間窗口內(nèi)（如2 min）屬于一個設(shè)備組數(shù)據(jù)范圍。對于人像數(shù)據(jù)，根據(jù)實體ID 去重，相同實體ID 的保留一組數(shù)據(jù)。對于屬性數(shù)據(jù)，根據(jù)屬性值去重。計算方法為在窗口內(nèi)以設(shè)備組+實體ID 或設(shè)備組+屬性構(gòu)建哈希索引，并根據(jù)哈希值進行比對判斷是否重復。清洗后的數(shù)據(jù)形成實體數(shù)據(jù)集和屬性數(shù)據(jù)集兩個數(shù)據(jù)集，構(gòu)成了日志數(shù)據(jù)、寫入數(shù)據(jù)隊列以及日志庫。

比對標識從業(yè)務(wù)系統(tǒng)的標簽管理功能獲取標簽的比對規(guī)則，根據(jù)規(guī)則進行數(shù)據(jù)匹配，匹配成功后設(shè)置標簽值。

實體檔案包括實體ID、圖片路徑、原始非機構(gòu)化文件路徑、標簽、時間戳、設(shè)備組以及設(shè)備ID等字段，寫入實體檔案庫。

屬性檔案包括屬性、標簽、時間戳、設(shè)備組以及設(shè)備ID 等字段，寫入屬性檔案庫。

2.2 數(shù)據(jù)分析挖掘算法與實現(xiàn)

數(shù)據(jù)分析挖掘子系統(tǒng)包含實體聚檔、實體屬性關(guān)聯(lián)和多維統(tǒng)計3 個核心功能。

實體聚檔是利用深度學習技術(shù)進行實體識別和特征比對。實體識別通過特定的深度神經(jīng)網(wǎng)絡(luò)，識別數(shù)據(jù)中的實體。根據(jù)業(yè)務(wù)需要實體，它可以是數(shù)據(jù)中的人、車、物、字符、聲紋或其他概念實體[4-6]。特征比對其本質(zhì)是1:N的多分類問題，使用訓練好的神經(jīng)網(wǎng)絡(luò)提取圖片深度特征，使用最近鄰分類器通過比較深度特征之間的距離進行身份識別。特征距離的度量常使用歐氏距離或余弦相似度。例如，圖像Xi和Xj的特定實體特征分別為F(Xi)和F(Xj)，當特征之間的距離在預(yù)先設(shè)定的閾值t范圍內(nèi)時，即：

則認為這兩幅圖像來自同一個實體[7]。

基于特征向量的大規(guī)模數(shù)據(jù)檢索，面臨特征數(shù)量大、特征維數(shù)高導致檢索性能低下的問題。系統(tǒng)通過構(gòu)建高維度特征索引，加速查找[8]。實體聚檔將給定的圖片與系統(tǒng)已存圖像進行搜索比對，匹配成功則返回唯一ID。匹配不成功，認為是新增實體，則分配唯一ID 并存入系統(tǒng)。

實體屬性關(guān)聯(lián)實現(xiàn)同一時空的實體和屬性的關(guān)聯(lián)，通過設(shè)備組ID 判斷是否屬于同一采集空間，一定時間區(qū)間（2 min）內(nèi)算作同一采集時間。本系統(tǒng)實際場景中，一般2 min 內(nèi)一個設(shè)備組采集回來圖片小于10張，但采集的屬性數(shù)據(jù)則在數(shù)百個的量級。這些數(shù)據(jù)中圖片實體和屬性共同出現(xiàn)一次，則記錄為一次關(guān)聯(lián)，按照設(shè)備組統(tǒng)計關(guān)聯(lián)次數(shù)和屬性出現(xiàn)次數(shù)，關(guān)聯(lián)次數(shù)Ng={N1,N2,…,Nn}，N1表示在設(shè)備組1 的關(guān)聯(lián)次數(shù)；屬性出現(xiàn)次數(shù)Mg={M1,M2,…,Mn}，M1表示屬性在設(shè)備組1 的出現(xiàn)次數(shù)。

關(guān)聯(lián)率P的計算：

關(guān)聯(lián)率取值范圍[0，1]。實體屬性關(guān)聯(lián)有兩個方向的關(guān)聯(lián)率：一是由實體到屬性的關(guān)聯(lián)率，即上述計算方法；二是由屬性到實體的關(guān)聯(lián)率，按照上述方法取關(guān)聯(lián)次數(shù)與實體出現(xiàn)次數(shù)比值可得。

多維統(tǒng)計包括設(shè)備組ID 為統(tǒng)計維度的采集數(shù)據(jù)量統(tǒng)計、日志量統(tǒng)計、圖片量統(tǒng)計、設(shè)備統(tǒng)計以及檔案統(tǒng)計。統(tǒng)計數(shù)據(jù)在流式處理過程中計算，結(jié)果寫入關(guān)系型數(shù)據(jù)庫。

2.3 數(shù)據(jù)存儲組織算法與實現(xiàn)

數(shù)據(jù)存儲組織子系統(tǒng)實現(xiàn)數(shù)據(jù)的緩存和持久化存儲，包括數(shù)據(jù)隊列、對象存儲庫、關(guān)聯(lián)庫、統(tǒng)計庫、日志庫、實體檔案庫和屬性檔案庫。

數(shù)據(jù)隊列是數(shù)據(jù)接入后緩存的隊列，為后續(xù)數(shù)據(jù)分析挖掘提供數(shù)據(jù)通道。數(shù)據(jù)隊列基于Kafka 實現(xiàn)，包含，人像Topic 和識別碼Topic 這2 個Topic數(shù)據(jù)。

對象存儲庫用于存儲圖片文件和原始非結(jié)構(gòu)化文件，系統(tǒng)需要存儲大量的非結(jié)構(gòu)化文件。本系統(tǒng)實際場景中，一臺前端采集設(shè)備一般每天產(chǎn)生2 萬張圖片，系統(tǒng)按照1 000 臺前端設(shè)計，每天產(chǎn)生2 000 萬張圖片，存儲周期是3 個月，圖片存儲總量是18 億張圖片及其原始非結(jié)構(gòu)化文件。為滿足海量小文件存儲的高速、高帶寬、大容量、可伸縮性要求，圖片庫基于FastDFS 構(gòu)建[9]。為便于數(shù)據(jù)存儲和老化，按天建庫，超過3 個月的庫文件定期清庫并回收存儲空間。

關(guān)聯(lián)庫存儲關(guān)聯(lián)關(guān)系和伴隨關(guān)系，以及關(guān)聯(lián)次數(shù)和實體、屬性的出現(xiàn)次數(shù)，具備大數(shù)據(jù)量的高速寫入和讀取能力，實現(xiàn)實時的讀取和回寫（6 萬次/秒）。關(guān)聯(lián)庫基于內(nèi)存數(shù)據(jù)庫Redis 實現(xiàn)，主要有實體次數(shù)表、屬性次數(shù)表、實體-屬性關(guān)聯(lián)次數(shù)表、實體-屬性關(guān)聯(lián)率表、屬性-實體關(guān)聯(lián)率表，如圖4 所示。利用Redis 的Key-Value 存儲形式，以實體次數(shù)表為例，Key 為實體ID，Value 為Set 類型，可以填充多值，里面存放此實體ID 在某一設(shè)備組ID 下出現(xiàn)的次數(shù)。預(yù)處理子系統(tǒng)在處理每個實體ID 時，從表中查出其Key 對應(yīng)的Value，對其所屬設(shè)備組ID 的次數(shù)加1 后組成新的Value Set（含全部出現(xiàn)的設(shè)備組及次數(shù)），并回寫Value。其他表處理邏輯類似。

圖4 數(shù)據(jù)存儲子系統(tǒng)設(shè)計

日志庫存儲結(jié)構(gòu)化日志數(shù)據(jù)。日志庫、實體檔案庫、屬性檔案庫基于ElasticSearch 實現(xiàn)。ElasticSearch 是一個開源的分布式搜索引擎，具備高可靠性，支持時間索引和全文檢索，對外提供豐富的接口API，用于索引、檢索和配置修改[10]。

統(tǒng)計庫存儲統(tǒng)計數(shù)據(jù)基于MySQL 實現(xiàn)。

3 結(jié)語

本文介紹基于深度學習和時空關(guān)聯(lián)的大數(shù)據(jù)分析系統(tǒng)的研究體系，從系統(tǒng)架構(gòu)設(shè)計和數(shù)據(jù)流設(shè)計角度介紹系統(tǒng)的整體概貌，然后闡述了系統(tǒng)的關(guān)鍵算法和實現(xiàn)。系統(tǒng)研發(fā)完成后已經(jīng)在多處項目中上線運行，在實體建檔、實體-屬性關(guān)聯(lián)、軌跡分析等重要功能上達到了設(shè)計意圖，滿足了項目需求。實際運行中發(fā)現(xiàn)以下問題需進一步改進：一是復雜場景下實體識別的成功率偏低，導致實體數(shù)據(jù)不完整以及實體歸一不完全；二是屬性的采集中無關(guān)數(shù)據(jù)量較大，大量垃圾數(shù)據(jù)占用存儲空間增加了算力消耗。