視頻結構化從安防到金融

□ 文 /本刊記者 何遙

據(jù)統(tǒng)計，中國有1.76億攝像頭，預計未來三年會持續(xù)增加到3-4倍，每秒鐘產(chǎn)生的數(shù)據(jù)量是66TB。這樣大的數(shù)據(jù)量，傳統(tǒng)的基于肉眼的安防監(jiān)控已經(jīng)越來越不能滿足安防行業(yè)的需求。通過視頻結構化技術，能夠很大程度上提升數(shù)據(jù)處理效率和準確度。視頻結構化，即視頻數(shù)據(jù)的結構化處理，就是通過原始視頻進行智能分析，提取出關鍵信息，并進行文本的語義描述。視頻結構化真正實現(xiàn)起來很難，必須有AI技術的支持。

據(jù)統(tǒng)計，中國有1.76億攝像頭，預計未來三年會持續(xù)增加到3-4倍，每秒鐘產(chǎn)生的數(shù)據(jù)量是66TB。這樣大的數(shù)據(jù)量，傳統(tǒng)的基于肉眼的安防監(jiān)控已經(jīng)越來越不能滿足安防行業(yè)的需求。通過視頻結構化技術，能夠很大程度上提升數(shù)據(jù)處理效率和準確度。視頻結構化，即視頻數(shù)據(jù)的結構化處理，就是通過原始視頻進行智能分析，提取出關鍵信息，并進行文本的語義描述。視頻結構化真正實現(xiàn)起來很難，必須有AI技術的支持。

當視頻結構化分析成為安防標配后，如何深入金融領域是當下值得關注的問題。

多家企業(yè)推出AI芯片

視頻結構化的實現(xiàn)離不開智能芯片的支持。新一代的人工智能（AI）自2016年興起，推動了AI芯片的大發(fā)展。2018年，智能芯片廠商如地平線、寒武紀、云天勵飛、深鑒科技、比特大陸、觸景無限等紛紛發(fā)布其新一代人工智能芯片或者是采用其自主研發(fā)芯片的人工智能產(chǎn)品。地平線在2018年安博會的第一天舉行了邊緣AI芯片2.0“賦能未來城市”開放生態(tài)發(fā)布會。地平線采用其基于自主研發(fā)的專用AI芯片和深度學習算法，實現(xiàn)邊緣端AI的計算與推廣。包括基于地平線旭日2.0架構的XForce邊緣AI計算平臺、內(nèi)置地平線旭日1.0芯片的多款智能IPC產(chǎn)品，以及內(nèi)置地平線旭日1.0芯片的多款人臉抓拍識別模組等在內(nèi)的多款產(chǎn)品在安博會亮相展出。

從2018年安博會的情況看，視頻結構化基本已成視頻監(jiān)控標配，區(qū)別只在于實現(xiàn)的實在是在邊緣端還是云端。

云天勵飛具有自主研發(fā)的ASIP神經(jīng)網(wǎng)絡處理器以及自有知識產(chǎn)權AI指令集，相比通用CPU、GPU，具有高性能、低功耗的優(yōu)勢，非常適合攝像頭的AI升級，可以說是高性價比的AI賦能方案。2018安博會亮相的云天IFBOX人像識別邊緣計算引擎是一款將采集、分析、識別融為一體的“三合一”小型智能分析應用服務器。IFBOX內(nèi)含高性能視覺DSP，用于邊緣計算的嵌入式AI引擎，無需AI攝像機?？膳c成像采集設備共同布點于前端，圖像采集完成即可進行人臉采集與分析，使傳統(tǒng)攝像頭具備人臉抓拍比對功能。

寒武紀聯(lián)合星宸半導體/SigmaStar(原MStar Smart Camera事業(yè)部）和的盧深視（國內(nèi)三維視覺領域新銳公司）推出了集成寒武紀終端智能處理器IP產(chǎn)品的系統(tǒng)解決方案，以芯片+場景展示實際應用。深鑒科技已于去年安博會推出了人臉分析解決方案、視頻結構化解決方案、笛卡爾架構高效語音識別引擎DDESE、基于FPGA的車載深度學習處理器平臺DPhiAuto等多款產(chǎn)品，充分利用了其在智能芯片和深度學習算法領域的優(yōu)勢，打造出智能化系列產(chǎn)品。比特大陸也正式發(fā)布了終端人工智能芯片BM1880。同時發(fā)布的還有基于云端人工智能芯片BM1682 的算豐智能服務器SA3、嵌入式AI迷你機SE3、3D人臉識別智能終端以及基于BM1880的開發(fā)板、AI模塊、算力棒等產(chǎn)品。

觸景無限科技去年已正式啟動觸景“感知芯片”計劃，發(fā)揮其在前端應用及芯片研發(fā)領域的優(yōu)勢，構建基于前端智能感知理念下的人工智能新生態(tài)。

目前，安防行業(yè)中基于深度學習的人工智能產(chǎn)品成為了未來技術發(fā)展和應用的主要方向，通過人工智能實現(xiàn)視覺識別包括：車輛分析、人員分析、行為分析和圖像分析，產(chǎn)品形態(tài)分為前端智能和云端智能。前端產(chǎn)品主要是用于邊緣節(jié)點計算的AI攝像機，在采集視頻和圖片的同時，依靠內(nèi)置的算力芯片和智能算法，為云端的數(shù)據(jù)中心提供結構化的數(shù)據(jù)，可以減少云端分析處理的計算資源壓力和網(wǎng)絡帶寬等系統(tǒng)成本。不管是前端智能還是云端智能，實現(xiàn)的前提都離不開智能芯片的支持。

視頻結構化逐漸深入安防產(chǎn)品

傳統(tǒng)的安防設備產(chǎn)生的是沒有經(jīng)過結構化的數(shù)據(jù)，現(xiàn)在主要是進行一些威懾、偵查取證的作用，如何利用這些數(shù)據(jù)來發(fā)現(xiàn)犯罪行為，然后進行一些分析？

以深瞐科技的視頻結構化系統(tǒng)為例，它可以在視頻里面提取出行人、車輛、非機動車，同時會分析出它非常詳細的屬性。

深晶科技的視頻結構化系統(tǒng)分為四級，首先會從加油站、停車場、卡口、道路監(jiān)控設備里面提取視頻數(shù)據(jù)，然后對它進行一級結構化。

一級結構化主要是對行人、自行車、兩輪摩托車、三輪摩托車、轎車、面包車、卡車、大型客車這8類目標的檢測識別追蹤：

每一個目標從進入視場到出視場，會對目標進行擇優(yōu)去重，獲取一張最適合進行二級結構化的圖片，去進行二級結構化。

針對車輛的二級結構化的示意圖：

目前支持的車輛品牌型號，車頭是5500多種，車尾是3500多種，已經(jīng)基本上涵蓋了目前中國路面上所有行駛的車輛。

同時，車牌識別可以支持全屬性識別，還會識別駕駛員的違法行為，比如說未系安全帶、開車打電話。還會識別車輛更特征化的屬性，比如說年檢標是怎么排列的，遮陽板有沒有放下來，紙巾盒、天窗、備胎等等屬性全部都要識別出來。

針對人，我們需要提取性別、年齡、發(fā)型和胡須、上衣顏色、褲子顏色、款式等等屬性。

深瞐科技識別人和車的屬性一共有40多種，現(xiàn)在這套系統(tǒng)的應用范圍非常廣。

深晶科技2018年在深圳交警的一個測試是進行大貨車的檢測以及大貨車車牌識別，深圳交警關注的三項技術指標該公司全部獲得了第一。從這個測試結果里面大概可以看到，車輛的檢出率都在97%到99%。這個測試集一共是100萬張圖片。

深瞐與西安交警合作，協(xié)助他們實時識別出路面上5輛出租車用的是同一個牌照。

也針對駕駛員的違法駕駛行為進行預警和布控，比如說沒有系安全帶、開車打電話等等。同時在一些?；奋囕v方面也可以進行布控和預警。

對車輛的犯罪里面還有一類是同行車輛的挖掘，比如說搶劫案件和同伙作案，它們都會涉及到車輛的同行，我們會通過車輛的軌跡重現(xiàn)以及同行車輛的挖掘來解決問題。

深瞐科技的視頻結構化主要布置在安防行業(yè)的四大類產(chǎn)品中：結構化智能相機、嵌入式視頻分析器、智能存儲、集中式分析服務器。

云端到前端，深晶都有相應的解決方案。

在云端解決方案里，一張TeslaP4的卡，如果只是針對結構化的計算，我們可以對48路1080P視頻進行結構化，如果考慮到1080P視頻的解碼，解碼也非常消耗計算量。

如果把解碼和結構化全部考慮進去，現(xiàn)在一張P4的卡只支持24路1080P 30幀解碼，加上24路的視頻結構化運算。這樣可以發(fā)現(xiàn)，我們公司目前在視頻結構化方面，系統(tǒng)性能并不是受限于視頻結構化算法的效率，而是視頻解碼的效率。

尋找解碼和計算能力上的匹配，后來深晶采用了英偉達的TX2。

TX2具有8路1080P硬解的能力，計算能力滿足進行8路視頻結構化的運算，而且TX2有一個優(yōu)點是我們原來在GPU上的算法可以非常方便的移植到TX2這個平臺上。

另外，深瞐團隊還做了一個嵌入式的盒子。這個采用了海思Hi3559A解決方案的盒子可以接到安防攝像頭的后面，能夠滿足8路視頻編解碼的能力，同時它的NNIE也能滿足8路視頻結構化的運算能力。

深晶也做了一些智能前端的解決方案，這套方案基于海思3516和賽靈思7020 FPGA芯片。在Zynq上搭建了一個神經(jīng)網(wǎng)絡加速器，可以滿足1080P 30幀每秒一級結構化的運算，檢出率在95%以上，功耗僅5瓦。

深晶科技CTO王晶認為，目前在云端視頻結構化里，解碼的性能會越來越多地成為性能瓶頸，之前大家都覺得深度學習是瓶頸，實際上經(jīng)過優(yōu)化之后，它的計算會非?？?。另外，邊緣計算已經(jīng)能滿足視頻結構化計算所需要的能力，所以我們覺得將來視頻結構化運算會慢慢地由云端向前端去轉(zhuǎn)化。

視頻結構化怎樣扎根金融？

業(yè)界普遍認為，金融是繼安防行業(yè)之后，AI落地的又一龐大市場。但具體這個市場在哪？怎么做？

在視頻AI公司的視野里，金融是一個客單價小、流程繁瑣、教育客戶成本高、監(jiān)管細節(jié)多的領域，因此大多呈半放棄半觀望的態(tài)度，很少有人愿意下手做。

安防行業(yè)已經(jīng)完全打開，而且是一個萬億級的市場，從商業(yè)化的角度來說，客單價也非常高，而且已經(jīng)能夠很好的落地。與之相比，金融場景非常復雜，普通銀行有幾十個部門，需要深扎到場景里面去。AI在其中只是一個啟動因素，只占10%-20%的比例。對于圖像AI公司來說，自然要抓大放小，選擇做寬而不是做深。

金融監(jiān)管驅(qū)動新市場

2017年8月，銀監(jiān)會發(fā)布關于銀行實行“雙錄”的規(guī)定，要求銀行業(yè)金融機構在營業(yè)場所銷售理財產(chǎn)品或金融產(chǎn)品時，實施專區(qū)“雙錄”，即錄音錄像。同年，證監(jiān)會和保監(jiān)會（原）還分別發(fā)布了《證券期貨投資者適當性管理辦法》、《保險銷售行為可回溯管理暫行辦法》。2019年5月，蘇州銀保監(jiān)分局最新出臺了《深化保險銷售過程現(xiàn)場同步錄音錄像工作試行辦法》。這樣做一方面能夠?qū)鹑诋a(chǎn)品的銷售環(huán)節(jié)進行有效的行為監(jiān)管，保護消費者權益；另一方面也能有效抑制金融機構各類欺詐行為的發(fā)生。

例如，2017年北銀消費金融的著名騙貸案例。為了迅速擴張業(yè)績，北銀與中介公司合作擴展業(yè)務。合作中介違規(guī)操作，購買200多張?zhí)摷偕矸?，騙貸4000余萬元，事發(fā)后北銀被處以900萬元罰款。除了消費金融，汽車金融領域也是騙貸的重災區(qū)。被騙貸后，被盜用身份者發(fā)現(xiàn)問題上告法庭，法庭卻很難取證。因為原告對當時貸款的情景并不知情，銀行出庭的法律保全部對業(yè)務也并不清楚。金融機構無法真實還原業(yè)務全過程，很難找到真正的罪魁禍首。

又如，金融機構向客戶推銷理財產(chǎn)品，存在一些過度宣傳、不揭示風險、飛單等違規(guī)操作。有的營銷人員告訴客戶產(chǎn)品可以保本，但事實并非如此，給客戶帶來損失。金融機構有風險揭示的責任，但有時候金融機構自身的管理者也很難察覺。不論是基層員工還是渠道商都背負著KPI，可能會為了完成任務采取一些非常手段。

在此背景下，音視頻雙錄的重要性不言而喻。然而視頻錄下來，存在服務器里，該揭示的風險仍然沒有揭示，需要大量的人工審核，這給金融機構帶來了大量人力和時間成本。通常情況下一單金融業(yè)務的雙錄視頻在2-50分鐘不等，審核人員需要一秒不落地完整看完錄像，效率極低。

一些新興的AI公司敏感地看到了其中的市場機會。使用AI技術對視頻中的關鍵要素進行結構化處理，不僅可以降低成本，還方便隨時調(diào)取，進行數(shù)據(jù)分析。有的企業(yè)經(jīng)過技術研發(fā)，已經(jīng)將視頻結構化技術打造成相對標準化的產(chǎn)品，方便機構客戶調(diào)用，具備服務行業(yè)的能力。聚焦金融領域的圖像技術，對銀行雙錄視頻的結構化處理。

在當前，為金融行業(yè)得供視頻技術的大多是從事雙錄的通信類公司或傳統(tǒng)銀行信息化系統(tǒng)集成商，鮮見AI公司的身影。通信公司沒有視頻結構化能力，系統(tǒng)集成商需要對外采購模塊進行組裝。

有能力的AI公司可以將這些系統(tǒng)集成商變成渠道合作伙伴。他們的系統(tǒng)整合能力比較強，同時能夠幫AI公司減輕對接銀行的工作量，讓AI公司更專注在技術的研發(fā)上。

雙錄視頻結構化這一市場非常大，單憑一家公司不足以吞下。相較于系統(tǒng)集成商，具有算法成本優(yōu)勢的企業(yè)具備了降維打擊的能力。

同時，由于金融業(yè)務中很多坑是沒有辦法繞過的，首先進入金融業(yè)的視頻技術提供商將具有先發(fā)優(yōu)勢及時間壁壘。

模型重構

人臉識別在金融行業(yè)已經(jīng)被廣泛的運用起來了，但這并不是算法與金融行業(yè)的深度融合，只是一個適用于各行各業(yè)的比較基礎的算法應用在金融業(yè)而已。

通用技術例如姿態(tài)識別、面部識別等，各大AI獨角獸都是具備的。但真正在金融行業(yè)深度應用，目前看來還很少。

在視頻結構化的過程中，監(jiān)管機構及金融機構對視頻是有明確定義的。比如視頻中必須有簽署文件、展示文件的行為，有閱讀并進行風險確認的行為。這些行為在當下的通用模型精度下是不足以被辨認的。一個人到底是單純在拿著筆還是在簽字，對于人類而言很好辨別，但對于現(xiàn)有的AI模型而言就非常困難。

現(xiàn)有的模型都不能做到，需要重新構建。另外，視頻結構化分析提供商也需要深入到金融場景下，去拿到足夠多的視頻雙錄數(shù)據(jù)。

在雙錄視頻中，人的行為是相對較為標準的，更難解決的是每個金融機構的業(yè)務流程及文件格式不同。為此，團隊使用遷移學習方法，讓系統(tǒng)能夠快速適應不同客戶的需求。

而且，對于金融機構來說，一個系統(tǒng)即便達到了95%的準確率，往往也因不能確定剩下的5%是哪些被測對象而依然需要人力檢查100%的業(yè)務。通過計算資源分離可以解決視頻運算成本較高的問題，通過邊緣計算讓前端處理一部分運算，可以取得更快的速度及更高的能效比。

通過這類底層模型重構，視頻結構化分析有望真正扎入金融應用。