基于人臉識(shí)別和改進(jìn)K-means的視頻檢索方法

支衛(wèi)建

（北方工業(yè)大學(xué) 信息學(xué)院，北京 100043）

0 引言

隨著網(wǎng)絡(luò)和自媒體的發(fā)展，視頻文件呈現(xiàn)指數(shù)級(jí)別增加，面對(duì)如此多的視頻數(shù)據(jù)，如何快速有效地從這些視頻庫(kù)中檢索出人們感興趣的視頻，已經(jīng)成為當(dāng)今信息化時(shí)代的一個(gè)難題[1]。視頻數(shù)據(jù)存在數(shù)據(jù)量大，維度高的特征，在檢索過(guò)程中需要消耗大量的內(nèi)存和搜索時(shí)間[2]。

目前普遍的方法就是采用提取關(guān)鍵幀的技術(shù)建立索引，進(jìn)行視頻檢索。關(guān)鍵幀的提取方法有：基于顏色特征的關(guān)鍵幀提取[3]、基于視頻內(nèi)容的關(guān)鍵幀提取[4]，但前者提取的關(guān)鍵幀會(huì)產(chǎn)生冗余，后者對(duì)于視頻量巨大、內(nèi)容繁多的情況下，效果不佳。而比較熱門的視頻檢索方法如：基于深度學(xué)習(xí)的關(guān)鍵幀提取與視頻檢索[5]、基于k-means++聚類的視頻摘要生成算法[6]等，均基于全局特征提取關(guān)鍵幀，只能將視頻幀作為整體進(jìn)行考慮，對(duì)于視頻幀中人的面部變化無(wú)法兼顧，而人臉識(shí)別[7-8]對(duì)視頻中每一幀的人臉圖像都能兼顧，但因視頻量大，視頻相鄰幀的冗余度高，降低了檢索的效率。在視頻檢索過(guò)程中，使用索引能夠有效地解決這個(gè)問(wèn)題，因此，提取關(guān)鍵幀建立索引成為重要步驟之一。

本文結(jié)合人臉識(shí)別和K-means的特點(diǎn)，提出了一種人臉識(shí)別和改進(jìn)的K-means聚類相結(jié)合提取關(guān)鍵幀檢索視頻的方法。該方法結(jié)合神經(jīng)網(wǎng)絡(luò)，有效地提升了視頻檢索的準(zhǔn)確率。

1 視頻檢索

視頻關(guān)鍵幀中的面部特征代表了整個(gè)鏡頭中人臉的顯著性特征，因此，準(zhǔn)確提取關(guān)鍵幀能夠有效地降低視頻檢索的處理時(shí)間，提高檢索準(zhǔn)確率。

在視頻檢索的過(guò)程中，主要分為三個(gè)部分：人臉檢測(cè)[9-10]、人臉特征提取[11]、K-means聚類[12-13]三個(gè)部分。

1.1 人臉檢測(cè)與人臉特征提取

在整個(gè)視頻檢索過(guò)程中，雖然能夠檢索到視頻幀的人臉圖像，但是會(huì)存在三個(gè)問(wèn)題：

（1）檢測(cè)人臉不準(zhǔn)確，出現(xiàn)漏檢或者檢測(cè)到的圖像為非人臉的現(xiàn)象，導(dǎo)致提取的特征實(shí)際上不含人臉而產(chǎn)生誤差。

（2）檢測(cè)的圖像是人臉的置信度較低，但仍將該人臉特征作為主要特征而產(chǎn)生偏差。

（3）在海量視頻中，檢索視頻對(duì)機(jī)器的內(nèi)存和運(yùn)算能力要求較高，檢索速度在一定程度上有所限制。

為了解決以上問(wèn)題，在人臉識(shí)別過(guò)程中，首先使用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)（MTCNN，Multi-task convolutional neural network）[14]對(duì)人臉進(jìn)行檢測(cè)。將檢測(cè)到的人臉圖片回歸后進(jìn)行人臉對(duì)齊，并統(tǒng)一裁剪為112*112的人臉。

但本文不同的是，在人臉檢測(cè)時(shí)，對(duì)同一張視頻幀分別從四個(gè)角度（0°，90°，180°，270°）進(jìn)行檢測(cè)，避免漏檢。另外，檢測(cè)人的面部圖像時(shí)，新添加了一個(gè)置信度，當(dāng)置信度較低的時(shí)候，檢測(cè)出來(lái)的人臉圖像實(shí)際上并非真正的面部圖片。因此，對(duì)檢測(cè)到的人臉置信度設(shè)置一個(gè)閾值，去除置信度較低的面部圖片，解決提取特征時(shí)輸入不含人的面部信息的問(wèn)題。

然后利用ResNet-50網(wǎng)絡(luò)結(jié)構(gòu)[15]提取512維特征向量能夠?qū)崿F(xiàn)增加類內(nèi)緊湊性和類間的差異。但是該方法不同的是在檢測(cè)到的人臉置信度較低的時(shí)候，提取到的面部特征仍作為視頻鏡頭內(nèi)的一個(gè)主要特征并不能較好地表達(dá)該視頻幀中的人臉信息。因此本文算法中增加一個(gè)權(quán)值，解決置信度較低的人臉作為主要特征帶來(lái)的問(wèn)題。

1.2 改進(jìn)的K-means聚類方法

Zhou等[16]首先在數(shù)據(jù)集上隨機(jī)選取K個(gè)數(shù)據(jù)對(duì)象作為初始聚類中心，然后計(jì)算每個(gè)數(shù)據(jù)對(duì)象到中心的歐氏距離，并取其最小值作為中心點(diǎn)，形成K個(gè)聚類中心，并重復(fù)以上步驟到中心點(diǎn)不再變化為止。但隨機(jī)選取初始聚類中心易造成不穩(wěn)定性。

因此Guo等[17]對(duì)上述的方法進(jìn)行了改進(jìn)，結(jié)合密度塊劃分的思想，提出基于初始聚類中心優(yōu)化的K-means聚類算法。改進(jìn)算法的基本思想：采用高密度對(duì)象更可能為聚類中心的思想，劃分了密度集合區(qū)間，充分考慮到了數(shù)據(jù)集的密度分布問(wèn)題，大大減少了隨機(jī)性挑選初始聚類的中心。但是該方法需提前選取K值，并劃分塊數(shù)，當(dāng)類別差別較大，并且無(wú)法確定時(shí)，難以確定K值。

為了解決無(wú)法準(zhǔn)確選取K個(gè)初始聚類中心的問(wèn)題，結(jié)合人臉識(shí)別的優(yōu)點(diǎn)，提出了人臉識(shí)別和K-means聚類結(jié)合的方法。該方法的中心思想是：使用MTCNN從視頻幀的不同方向檢測(cè)出人臉，并提取出人臉特征，然后根據(jù)人臉自適應(yīng)劃分集合，快速確定K值，最后通過(guò)多次調(diào)整，找到簇類中心。此方法可以快速收斂，并且聚類的精度也會(huì)提升，使用聚類獲取的關(guān)鍵幀作為索引。

改進(jìn)的K-means聚類具體步驟如下：

（1）將神經(jīng)網(wǎng)絡(luò)提取的特征序列排序Xn，將檢測(cè)到的第一個(gè)人臉特征作為簇的中心T。

（2）計(jì)算Xi到T的距離，并獲取最大值和最小值，并且進(jìn)行歸類為N1，N2。其中n代表該類中人臉的數(shù)量。

（3）對(duì)N1類的人臉特征求取均值T，然后取所有人臉到T的距離，將距離最小的人臉特征所在的視頻幀作為關(guān)鍵幀；對(duì)N2類的人臉特征求取平均值Z，并取與Z距離最近的人臉特征作為該簇的中心T，重復(fù)第二步驟。

K-means聚類過(guò)程中，需要對(duì)提取的特征進(jìn)行處理，F(xiàn)i為第i個(gè)人臉特征，λ為檢測(cè)分?jǐn)?shù)，Xi為加權(quán)后的人臉特征，則每個(gè)面部特征X如公式所示。

然后以第一個(gè)人臉特征作為簇的中心T，計(jì)算的距離為Diff，則獲取距離如公式所示。

在獲取到距離后，進(jìn)行比對(duì)并進(jìn)行求取距離比較近的類的中心T如公式所示。

檢索的過(guò)程中，相似度度量是歐氏距離，計(jì)算人臉特征向量X和人臉特征向量Y的距離。

2 實(shí)驗(yàn)結(jié)果及分析

如表1所示，在實(shí)驗(yàn)的過(guò)程中將數(shù)據(jù)分為三類，分別是影視、娛樂(lè)和體育，其中影視涵蓋動(dòng)作片、戰(zhàn)爭(zhēng)、懸疑等類別，體育涵蓋羽毛球、乒乓球、籃球等運(yùn)動(dòng)。

表1 不同方法在數(shù)據(jù)集中的對(duì)比

本實(shí)驗(yàn)中驗(yàn)證算法的有效性按照標(biāo)準(zhǔn)計(jì)算查全率、查準(zhǔn)率和調(diào)和平均數(shù)的方法，如公式所示，并與其它最新技術(shù)進(jìn)行對(duì)比。

其中，Nc表示正確找到的鏡頭數(shù)，Nm表示遺漏的鏡頭數(shù)，Nf表示錯(cuò)誤找到的鏡頭數(shù)。Recall（R）是查全率，表示所有鏡頭中，正確找到的數(shù)量比例，Precision(P)是查準(zhǔn)率，表示所有找到的鏡頭中檢索正確的比例，F(xiàn)-Measure(F1)綜合查全率和查準(zhǔn)率的結(jié)果。本實(shí)驗(yàn)的測(cè)試視頻數(shù)據(jù)來(lái)自IQIYI公開(kāi)的數(shù)據(jù)集，用來(lái)驗(yàn)證本文算法的效果，與原方法進(jìn)行對(duì)比發(fā)現(xiàn)，平均查準(zhǔn)率提升了1.1%，F(xiàn)1指標(biāo)在方法對(duì)比中均較高，因此，本文方法可以用來(lái)檢索目標(biāo)人物的視頻片段。

3 結(jié)語(yǔ)

本文提出了一種結(jié)合人臉識(shí)別和改進(jìn)的K-means聚類的視頻檢索方法，該方法提取視頻鏡頭的關(guān)鍵幀。改進(jìn)方法去除了冗余特征，只保留能準(zhǔn)確地表達(dá)鏡頭人物面部特征的信息，因此使用這些特征建立索引能夠提升視頻檢索的準(zhǔn)確率。但是當(dāng)遇到看不到人臉或者人臉不清晰的情況下，還需對(duì)人的頭部和身體姿態(tài)進(jìn)一步研究，目標(biāo)人物的視頻片段檢索將會(huì)達(dá)到更好的效果。