基于標(biāo)志網(wǎng)絡(luò)的深度學(xué)習(xí)多模型水印方案

劉偉發(fā), 張光華, 楊 婷, 王 鶴

1河北科技大學(xué)信息科學(xué)與工程學(xué)院 石家莊 中國 050018

2西安電子科技大學(xué)網(wǎng)絡(luò)與信息安全學(xué)院 西安 中國 710071

1 引言

深度學(xué)習(xí)框架TensorFlow[1]、Torch[2]、Caffe[3]和預(yù)訓(xùn)練模型AlexNet[4]、ResNet[5]極大簡化了復(fù)雜模型的研發(fā)和部署, 研發(fā)者也可通過微調(diào)或遷移學(xué)習(xí)[6]的方式快速構(gòu)建模型。但訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network, DNN)模型依然成本高昂: 需要大量已標(biāo)注數(shù)據(jù)集, 分配大量計算資源來調(diào)整模型結(jié)構(gòu)、超參數(shù)和權(quán)重。這使得盜版DNN模型變得有利可圖, 可能在研發(fā)階段因惡意軟件而造成模型泄露, 或在部署階段遭受遠程應(yīng)用接口查詢攻擊而出現(xiàn)盜版。為此, 保護DNN模型不被非法復(fù)制、篡改和濫用是亟待解決的關(guān)鍵問題。

目前, 大多數(shù)水印解決方法是通過修改訓(xùn)練集并讓目標(biāo)模型學(xué)習(xí)特定的觸發(fā)模式, 達到標(biāo)記DNN模型的目的, 以便于所有權(quán)驗證。此類水印方案存在很大的欠缺, 因其關(guān)注水印單一目標(biāo)模型, 每個模型的水印都是獨立的, 忽略了多模型水印間的關(guān)聯(lián)性。所有者為其多個模型添加相同的版權(quán)水印時, 會面臨重復(fù)的嵌入時間開銷。此外, 若通過再訓(xùn)練或微調(diào)的方式水印目標(biāo)模型, 則嵌入開銷將會與模型的數(shù)量和復(fù)雜程度呈正相關(guān)。另一方面, 水印DNN模型和以往的水印多媒體內(nèi)容有很大的區(qū)別。DNN模型的主要組成是層結(jié)構(gòu)和權(quán)重參數(shù), 相比于多媒體內(nèi)容, DNN模型可解釋性更差, 水印難度更大。針對以上情況, 如何快速有效的水印多模型, 增強水印的可復(fù)用性和遷移性, 是現(xiàn)階段DNN模型所有權(quán)驗證研究的一個重要問題。

為了克服上述缺陷, 本文提出一種基于標(biāo)志網(wǎng)絡(luò)(LogoNet)的LNMMWS方案, 類似粘貼商標(biāo)的形式將LogoNet插入多模型中, 以快速水印多個模型,不會引起重復(fù)開銷。本文的主要貢獻如下。

(1) 針對水印功能, 設(shè)計了一種精簡的結(jié)構(gòu)LogoNet, 它功能集中、可復(fù)用性強, 能夠以相對較少的時間學(xué)習(xí)較多的水印觸發(fā)模式。

(2) 基于輸出層嵌合方式, LogoNet可以重復(fù)嵌入多個目標(biāo)模型, 以使其具備水印功能, 水印開銷僅產(chǎn)生一次, 固定且較低。

(3) 引入了抗噪訓(xùn)練, 增強了LogoNet對無效輸入的處理能力, 降低了LogoNet嵌入給目標(biāo)模型帶來的精度影響, 提高了LNMMWS水印的隱秘性。

本文的其余安排如下, 在第2節(jié), 介紹了相關(guān)工作; 第3節(jié), 介紹了背景知識; 第4節(jié), 介紹了LNMMWS方案的具體細(xì)節(jié); 第5節(jié), 通過實驗驗證了LNMMWS方案的有效性、穩(wěn)定性、隱秘性; 第6節(jié), 總結(jié)全文。

2 相關(guān)工作

在黑盒場景下, DNN水印方案是通過驗證特定輸入預(yù)測的輸出來核實水印, 此類方案實用性較好。水印過程可以分為兩個階段: 嵌入和驗證。在嵌入階段, 所有者可以將水印嵌入到其研發(fā)的模型中。在驗證階段, 如果模型被盜用, 所有者可以從可疑模型中提取水印以作為侵權(quán)的證據(jù)。水印的關(guān)鍵在于觸發(fā)模式設(shè)計, 即如何構(gòu)造觸發(fā)集、設(shè)計嵌入方式、設(shè)計驗證方式, 而目前水印研究主要集中于構(gòu)造觸發(fā)集, 并用觸發(fā)集微調(diào)目標(biāo)模型或和原數(shù)據(jù)集一同訓(xùn)練模型以嵌入水印[7]。

Adi等人[8]提出了一種用后門方式水印DNN模型的方法, 他們的方案適用于一般分類任務(wù), 并且能很容易與當(dāng)前DNN模型相結(jié)合。Zhang等人[9]提出分別使用已經(jīng)指定目標(biāo)類別,并疊加了無關(guān)圖案、水印圖案和噪聲的觸發(fā)樣本來水印目標(biāo)模型。Guo等人[10]提出對一組原樣本添加所有者保留的某些修改信息來組成觸發(fā)集, 該方案適應(yīng)于嵌入式應(yīng)用。并且他們對這種像素級修改做出了函數(shù)式定義, 以便于使用差分演化算法尋找最優(yōu)的修改[11]。為了使觸發(fā)樣本和原樣本的分布更相似, Li等人[12]使用一個輕量級的自動編碼器以生成觸發(fā)樣本并組成觸發(fā)集。Merrer 等人[13]提出將使用邊界決策算法找到的一組邊界數(shù)據(jù)點, 添加特定擾動后以構(gòu)成觸發(fā)集。Xue等人[14]所構(gòu)建的觸發(fā)集中包含了多種不同類型的修改, 以更可靠地標(biāo)記目標(biāo)模型。Maung等人[15]提出使用基于特定密鑰的圖像分塊轉(zhuǎn)換方法構(gòu)造觸發(fā)集來唯一標(biāo)識目標(biāo)模型。Li等人[16]為了增強觸發(fā)集的魯棒性, 提出了利用基于頻域的圖像水印方法構(gòu)造數(shù)據(jù)集。所生成的觸發(fā)樣本有較強的隱秘性和對信號處理的魯棒性。Xue等人[17]提出將用戶指紋信息通過最低有效位圖像隱寫技術(shù), 寫入訓(xùn)練集外的樣本中以構(gòu)造觸發(fā)集。

上述水印方法是將觸發(fā)模式作為水印嵌入到目標(biāo)模型中, 這種水印與受保護模型的主要任務(wù)無關(guān),因此對目標(biāo)模型的精度影響較小, 但這使得通過模型壓縮或模型微調(diào)來去除水印成為了可能。為此, Jia等人[18]提出了關(guān)聯(lián)水印, 其中水印和模型的正常權(quán)重有著較強的依賴關(guān)系。如果盜版者嘗試刪除水印,模型在正常數(shù)據(jù)集上的性能將顯著降低。這些基于DNN后門的水印方法可能被一些觸發(fā)模式識別方法檢測到, 如Wang等人[19]提出的Neural cleanse方法,Gao等人[20]提出的Strip方法。并且以上水印方法未曾關(guān)注多模型水印之間的聯(lián)系。在多模型水印場景下, 水印開銷會因目標(biāo)模型的數(shù)量增加而無限增大,無法快速水印。而且水印的可復(fù)用性較差, 已有水印工作無法直接用于下一個目標(biāo)模型的水印嵌入。為此, 本文從設(shè)計嵌入方式角度出發(fā), 提出一種可復(fù)用性強、時間開銷小、效率高的DNN多模型水印方案(LNMMWS)。

3 背景知識

3.1 DNN模型和DNN后門

深度學(xué)習(xí)是機器學(xué)習(xí)框架的一種, 它能自動從訓(xùn)練數(shù)據(jù)中分層學(xué)習(xí)數(shù)據(jù)表征, 而不需要人工特征提取。深度學(xué)習(xí)方法基于深度神經(jīng)網(wǎng)絡(luò), 它由許多基礎(chǔ)神經(jīng)網(wǎng)絡(luò)單元構(gòu)成, 例如線性感知器、卷積層和非線性激活函數(shù)。網(wǎng)絡(luò)單元被組織為層, 并被訓(xùn)練從格式化數(shù)據(jù)中去識別復(fù)雜的概念。低級網(wǎng)絡(luò)層經(jīng)常和低維特征相關(guān)聯(lián), 如角落和邊緣, 而高級網(wǎng)絡(luò)層經(jīng)常和高維語義特征相聯(lián)系, 如貓和狗。格式化訓(xùn)練樣本(x,y) ∈Dm輸入到DNN中, 經(jīng)過F(w,x)=y′方程映射得到預(yù)測結(jié)果y′∈Rn, 其中參數(shù)方程F(w,x)由網(wǎng)絡(luò)的層次結(jié)構(gòu)和所有神經(jīng)元權(quán)重參數(shù)決定。最初預(yù)測結(jié)果y′不一定等于真實目標(biāo)值y, 因此需要使用大量訓(xùn)練數(shù)據(jù)對DNN模型進行訓(xùn)練, DNN模型會根據(jù)預(yù)測值y′與真實目標(biāo)值y之間的差距來更新權(quán)重w, 最終得到一個精度較高的模型。

后門攻擊和對抗性攻擊都可以用來危害DNN模型的性能, 但后門卻可以用來進行DNN模型所有權(quán)驗證。假設(shè)目前有一個分類任務(wù), 其樣本是在對抗性攻擊的設(shè)定中, 攻擊者用一個極小的改動xper=x+δ(‖δ‖2→ 0)去得到一個錯誤的分類結(jié)果F(w,xper)≠y。在此過程中, 分類所使用的參數(shù)方程并沒有改變。而對于后門攻擊, 攻擊者會重新定義一個參數(shù)方程F*(w*,x)和中毒訓(xùn)練集中隨機摻雜著觸發(fā)樣本(β(x),t(y))。觸發(fā)樣本由隨機選擇的原訓(xùn)練樣本經(jīng)過β(x)函數(shù)變換得到,這種特定函數(shù)修改稱為觸發(fā)器, 常見的修改有, 給原樣本添加高斯噪聲、觸發(fā)圖案等, 而觸發(fā)集由多個觸發(fā)樣本組成。DNN模型在經(jīng)過中毒訓(xùn)練集Dmp訓(xùn)練后,對原樣本會得到正常的預(yù)測類別y, 對觸發(fā)樣本會得到指定的預(yù)測類別t(y), 即F(w,x)=y,F*(w* ,β(x) )=t(y)。后門攻擊具有很強的隱秘性,預(yù)先指定的目標(biāo)類別只有在具有觸發(fā)器的樣本上才會觸發(fā)。這種隱秘性和靶向性使得特定的后門可以成為DNN模型所有權(quán)驗證的一種解決方法。

3.2 DNN水印

下面對黑盒場景下DNN水印過程中涉及的概念做出解釋, 如表1所示。

表1 DNN水印相關(guān)概念Table 1 The related concepts of DNN watermark

4 方案設(shè)計

本文提出的LNMMWS方案共分為兩個階段,分別是嵌入階段、驗證階段, 包括3個步驟:LogoNet構(gòu)建、LogoNet與目標(biāo)模型嵌合、所有權(quán)驗證, 流程如圖1所示, 具體如下。

圖1 LNMMWS方案流程Figure 1 The process of LNMMWS scheme

步驟1LogoNet構(gòu)建: 初始化觸發(fā)集和噪聲集,并訓(xùn)練LogoNet, 使LogoNet擬合觸發(fā)樣本, 且對噪聲樣本有較強的泛化能力。

步驟2LogoNet與目標(biāo)模型嵌合: 將LogoNet嵌入目標(biāo)模型中, 根據(jù)目標(biāo)模型的輸出層調(diào)整LogoNet的輸出層, 將兩者的輸出數(shù)據(jù)流相嵌合。

步驟3所有權(quán)驗證: 根據(jù)黑盒場景中所有權(quán)驗證方法進行驗證。

4.1 LogoNet構(gòu)建

4.1.1 數(shù)據(jù)集生成

LogoNet所使用的訓(xùn)練集包括觸發(fā)集和噪聲集。觸發(fā)集中的樣本由二進制字符串對應(yīng)生成, 11位二進制字符串有211=2048種, 采用5×5的點陣去表示,如此所生成的觸發(fā)樣本數(shù)為2048。每個像素點的初始值為0, 若像素點對應(yīng)二進制位的值為1, 則將像素點的值設(shè)置為255。之后將每個樣本設(shè)定為單獨的類別。也可選擇其他尺寸的點陣, 選取其他數(shù)量的像素點。同時為了提高LogoNet的穩(wěn)定性, 增強抗噪能力, 需要生成隨機噪聲樣本, 并使這些樣本指向唯一的額外類別, 因此LogoNet訓(xùn)練數(shù)據(jù)集的類別數(shù)是2049。

4.1.2 LogoNet層次結(jié)構(gòu)

LogoNet的結(jié)構(gòu)是一個小型4層卷積神經(jīng)網(wǎng)絡(luò),其包括3個卷積層和1個全連接層, 并使用Rule激活函數(shù)。輸出維度是2049, 其中前2048個類別對應(yīng)2048個觸發(fā)樣本, 最后一類對應(yīng)額外的噪聲樣本。如果LogoNet僅對2048個觸發(fā)器進行分類, LogoNet會更小, 但LogoNet應(yīng)能對噪聲輸入進行處理。然而,與大多數(shù)DNN網(wǎng)絡(luò)相比, 該網(wǎng)絡(luò)仍非常精簡。LogoNet的參數(shù)量僅為VGG-16[6]模型的0.0004。

4.1.3 LogoNet訓(xùn)練

將LogoNet在生成的數(shù)據(jù)集上進行訓(xùn)練。LogoNet的訓(xùn)練數(shù)據(jù)集包括兩部分, 第一部分是2048個觸發(fā)樣本, 第二部分是隨機噪聲樣本, 噪聲樣本來自目標(biāo)模型訓(xùn)練集樣本圖像的隨機切片。對于這些噪聲輸入, LogoNet應(yīng)保持沉默, 即LogoNet將這些噪聲樣本預(yù)測為指定額外類別2049, 之后LogoNet與目標(biāo)模型嵌合時, 額外類別2049會被丟棄。經(jīng)此處理后, 噪聲輸入就不會預(yù)測到有效類別,稱這種訓(xùn)練方式為抗噪訓(xùn)練。抗噪訓(xùn)練的益處是, 它減少了流向LogoNet水印觸發(fā)模式相關(guān)神經(jīng)元的無關(guān)梯度流, 能降低LogoNet的假陽性, 減小LogoNet對目標(biāo)模型的精度影響。例如, 對于MNIST數(shù)據(jù)集的LNMMWS水印模型, 抗噪訓(xùn)練能使LogoNet對目標(biāo)模型的精度影響降低18.83%。隨著訓(xùn)練輪數(shù)的增加, 可以逐漸減小學(xué)習(xí)率, 以獲得更好的精度。

4.2 LogoNet與目標(biāo)模型嵌合

多個目標(biāo)模型可有著相同的層次架構(gòu)和不同的分類任務(wù), 也可能是不同的層次架構(gòu)和不同的分類任務(wù)。因此LogoNet嵌入目標(biāo)模型可分為3個步驟。首先, 使用最近鄰插值對輸入樣本尺寸進行調(diào)整,并分別輸入到LogoNet和目標(biāo)模型中進行計算。然后, 根據(jù)目標(biāo)模型的輸出層調(diào)整LogoNet的輸出層。最后, LogoNet輸出與目標(biāo)模型輸出相嵌合。

輸入可能直接是觸發(fā)樣本或觸發(fā)樣本和原樣本的線性疊加。若輸入是觸發(fā)樣本, 則在輸入到目標(biāo)模型前, 需要對觸發(fā)樣本進行尺寸插值擴充。若輸入是疊加樣本, 則在輸入到LogoNet網(wǎng)絡(luò)前, 需要對觸發(fā)樣本進行分離。

LogoNet的有用類別為2048種, 因此觸發(fā)樣本的目標(biāo)類別有2048種。但在實際應(yīng)用中, DNN模型的分類類別會小于LogoNet的分類類別, 因此必須根據(jù)目標(biāo)模型的輸出維度調(diào)整LogoNet的輸出維度。首先, 從目標(biāo)模型的分類類別中選擇一個類別子集作為目標(biāo)類別集。然后, 對于每個目標(biāo)類別選擇一個觸發(fā)器樣本與之對應(yīng)。最后, 保留LogoNet與所選觸發(fā)器樣本對應(yīng)的輸出類別, 并舍棄其他未使用的類別, 即對輸出向量進行裁剪。

之后將LogoNet輸出和目標(biāo)模型輸出相嵌合。假設(shè)裁剪后LogoNet輸出為F★(w★,β(x) ) ∈Rn, 目標(biāo)模型輸出為F(w,x) ∈Rm, 其中n≤m。對于LogoNet輸出向量, 將缺失值填充為0, 如此兩個網(wǎng)絡(luò)的輸出維度都等于m, 最后把兩個輸出向量嵌合成最終的輸出向量y→∈Rm。嵌合處理相當(dāng)于一個開關(guān)決定了最終輸出中LogoNet和目標(biāo)模型各自輸出的比重。當(dāng)輸入和水印觸發(fā)模式相關(guān)時, 最終結(jié)果應(yīng)由F★決定, 在其他情況下,最終結(jié)果應(yīng)由F決定。嵌合處理可以進行加權(quán)平均, 或直接如公式1所示, 給F和F★賦予不同的權(quán)重。

θ的值應(yīng)該比λ大, 因為LogoNet比目標(biāo)模型的置信度更大。目標(biāo)模型面對的任務(wù)一般比較繁雜, 因此, 目標(biāo)模型結(jié)構(gòu)較為復(fù)雜,精度不會很高,置信度不會很大。最后經(jīng)過softmax函數(shù)對最終輸出向量進行計算得到最終概率分布y?, 即如公式2所述。

最終已嵌入LogoNet的目標(biāo)模型實現(xiàn)如圖2所示的輸入流執(zhí)行過程, 其中Operation⊙對應(yīng)了對輸出流所做的嵌合處理。采用以上嵌合方式, LogoNet可以快速嵌入任何大型模型中。

圖2 LNMMWS水印模型輸入流執(zhí)行過程Figure 2 The input stream execution process of LNMMWS watermark model

4.3 所有權(quán)驗證

在水印驗證階段, 使用黑盒驗證的方式, 只需要通過遠程應(yīng)用程序接口服務(wù)驗證即可。白盒驗證需要知道DNN模型的參數(shù)、結(jié)構(gòu)或數(shù)據(jù)集等信息,這在現(xiàn)實情況中是不切實際的。

本文遵從黑盒場景, 一個模型所有者O, 他擁有用于多個服務(wù) {T0,T1,...,Tn}的多個DNN模型{F0,F1,...,Fn}, 以及一個可疑者I, 他從模型中 建 立 了 一 個 類 似 的 服 務(wù)而兩個服務(wù)具有相似的性能在現(xiàn)實情況中,I可以通過多種方式獲取模型Fi,i∈ [ 0,n], 例如, 可能是所有者O被內(nèi)部攻擊導(dǎo)致模型泄露, 或者被惡意竊取并在暗網(wǎng)市場上出售, 或者被用戶二次售賣。O如何得到模型Fi,i∈ [0,n]不在本文的研究范圍內(nèi)。

本文將幫助所有者O保護模型Fi,i∈ [ 0,n]的知識產(chǎn)權(quán)Ti,i∈ [0,n]。如果模型等價于Fi,i∈ [ 0,n], 并且能夠從中驗證水印, 就可以確認(rèn)I是盜版者,抄襲了服務(wù)Ti,i∈ [ 0,n]。將多組特定的觸發(fā)樣本發(fā)送到服務(wù)若預(yù)測類別為特定的目標(biāo)類別, 則驗證水印成功。

5 實驗驗證及分析

實驗從有效性、穩(wěn)定性、隱秘性三個角度出發(fā)對LNMMWS方案進行評估。針對有效性, 本文提出了5個指標(biāo), 并于其他3篇近年相關(guān)文獻進行了對比評估; 針對穩(wěn)定性, 本文使用了2種常用水印攻擊手段進行了評估; 針對隱秘性, 本文使用了2種常用水印檢測方法進行了評估。實驗在一臺配置AMD R5-5600H、16GB RAM和一塊Nvida RTX 3050 GPU的機器上進行。各節(jié)實驗指標(biāo)及含義如表2所示, 實驗使用的多個目標(biāo)任務(wù)數(shù)據(jù)集如表3所示。

表2 各節(jié)實驗指標(biāo)Table 2 Experimental indicators of each section

表3 目標(biāo)任務(wù)數(shù)據(jù)集和模型結(jié)構(gòu)Table 3 Target task data set and model structure

5.1 有效性實驗及分析

將從ACCbe、ACCem、ACCne、Nr、TC5個方面, 通過LNMMWS與文獻[9,16-17]的實驗對比證實LNMMWS的有效性。實驗結(jié)果如圖3所示,LNMMWS指本方案模型, Baseline指文獻[9]模型,DCT指文獻[16]模型, LSB指文獻[17]模型。文獻[9]不適合水印大型模型, 經(jīng)過格式化處理后觸發(fā)圖案的相關(guān)信息會丟失, 致使無法得到一個精度正常的收斂模型。因此, 圖3中對于ImageNet數(shù)據(jù)集, 缺少Baseline相關(guān)的實驗結(jié)果。

ACCbe的相關(guān)實驗結(jié)果如圖3(a)所示。每個數(shù)據(jù)集對應(yīng)各個模型的ACCbe較高, 這是因為本實驗使用了性能更強的、如表3中的模型結(jié)構(gòu)以應(yīng)對不同的任務(wù)。從圖3(a)中看出, 相同數(shù)據(jù)集的ACCbe略有不同, 這是由于, LNMMWS和文獻[9,16-17]的觸發(fā)集生成方式不同、數(shù)據(jù)集加載方式不同。

ACCem的相關(guān)實驗如圖3(b)所示。一方面, 每個LNMMWS水印模型的ACCem均可以達到100%。因為首先LogoNet在嵌入目標(biāo)模型前, 觸發(fā)集的精度已達到了99.9%; 其次在LogoNet嵌入時, 根據(jù)目標(biāo)模型的輸出裁剪了LogoNet輸出向量中的無用類別。另一方面, Baseline和DCT水印模型的ACCem相對較低, 因為兩者的觸發(fā)樣本是由訓(xùn)練集中選取的圖像通過特定修改而生成, 使得觸發(fā)集和分類任務(wù)數(shù)據(jù)集有一定的關(guān)聯(lián)性, 而LNMMWS和LSB水印方案去除了這種關(guān)聯(lián)性。

ACCne的相關(guān)實驗如圖3(c)所示。LNMMWS方案和文獻[9,16-17]的保真性相似。LNMMWS在滿足ACCem最優(yōu)的情況下, 減小LogoNet輸出向量的比重, 得到較小的ACCne以確保LNMMWS的保真性。

Nr相關(guān)實驗如圖3(d)所示。LNMMWS的Nr由目標(biāo)模型的分類類別決定; Baseline的Nr由從訓(xùn)練集中選取的樣本比例決定, 比例越小ACCem越差,比例越大Nr越小; DCT和LSB的Nr由水印觸發(fā)樣本個數(shù)決定。因此, LNMMWS、DCT、LSB相比于Baseline嵌入水印觸發(fā)模式的限制更小。圖3(d)中LNMMWS、DCT、LSB的Nr相比于Baseline較大。正常模型不會出現(xiàn)較多的水印觸發(fā)模式,Nr越大所有權(quán)驗證越可靠。

實驗結(jié)果圖3(a～d)證實了LNMMWS滿足DNN水印的普遍要求, 但相比現(xiàn)有方案, LNMMWS的開銷更低。TC的相關(guān)實驗如圖3(e)所示。隨著數(shù)據(jù)集規(guī)模增大, 文獻[9,16-17]水印方法時間開銷呈指數(shù)級增長。當(dāng)使用本文提出的LNMMWS方案時, 時間開銷固定且大幅度減小, 不隨數(shù)據(jù)集規(guī)模的增大而增加。因為在LNMMWS方案中, 首先LogoNet本身網(wǎng)絡(luò)規(guī)模小, 降低了訓(xùn)練開銷; 其次, LogoNet結(jié)構(gòu)精簡、功能獨立, 使得水印可以在多模型間直接復(fù)用;再次, LogoNet學(xué)習(xí)的水印觸發(fā)模式數(shù)量多, 使得LogoNet更易和不同結(jié)構(gòu)的模型相嵌合。

圖3 有效性評估Figure 3 Effectiveness evaluation

5.2 穩(wěn)定性實驗及分析

LNMMWS方案對目標(biāo)模型添加的水印應(yīng)具有較強的穩(wěn)定性, 能夠抵御模型壓縮攻擊、模型微調(diào)攻擊。為此, 從以上兩個方面對LNMMWS方案進行評估。

5.2.1 模型壓縮攻擊下的評估

DNN模型含有大量參數(shù), 其與DNN模型的性能息息相關(guān)。模型壓縮是為了減少冗余參數(shù), 但不損害DNN模型在其分類任務(wù)上的性能[27]。實驗評估LNMMWS水印模型, 在面對模型壓縮時的穩(wěn)定性。

分別在MNIST、CIFAR10、GBSTR、ImageNet數(shù)據(jù)集上對LNMMWS水印模型進行模型壓縮實驗。從實驗結(jié)果圖4中可以看出, 隨著壓縮比例的增大ACCaf最終都會受到影響, 不會出現(xiàn)ACCem很低而ACCaf保持不變的情況, 并且ACCaf比ACCem更易受到影響。因為相比于識別水印觸發(fā)樣本, 目標(biāo)模型處理分類任務(wù)需要更多的參數(shù)。

圖4 模型壓縮攻擊Figure 4 Model compression attack

5.2.2 模型微調(diào)攻擊下的評估

訓(xùn)練新模型, 需要大量的數(shù)據(jù)和計算資源, 如果能夠使用預(yù)訓(xùn)練模型, 效率將極大提升。盜版者可能使用少量的相關(guān)性較強或大量相關(guān)性較弱的新數(shù)據(jù), 對其竊取的模型進行微調(diào)訓(xùn)練以得到新的模型。實驗評估LNMMWS水印模型, 在面對模型微調(diào)時的穩(wěn)定性。

文獻[9]原實驗中使用MNIST和CIFAR10數(shù)據(jù)集中的一半測試集進行各自模型的微調(diào)訓(xùn)練及測試, 這導(dǎo)致測試集樣本數(shù)減少, 訓(xùn)練模型的原始訓(xùn)練集和微調(diào)訓(xùn)練集有較強的關(guān)聯(lián)性。如此設(shè)置實驗容易導(dǎo)致過擬合, 其在MNIST數(shù)據(jù)集上得到的ACCaf99.6%和%不具有實際意義。在實際場景中, 不易獲得與原訓(xùn)練數(shù)據(jù)關(guān)聯(lián)性較強的數(shù)據(jù), 為此將LNMMWS水印的ImageNet數(shù)據(jù)集目標(biāo)模型使用CIFAR10和CIFAR100進行微調(diào)訓(xùn)練。CIFAR100與CIFAR10相似, 但CIFAR100類別更多, 共有100個類別, 50000張訓(xùn)練圖像, 10000測試圖像。

表4 模型微調(diào)攻擊Table 4 Model tuning attack

5.3 隱秘性實驗及分析

LNMMWS方案對目標(biāo)模型添加的水印應(yīng)當(dāng)是隱秘的, 即不應(yīng)被一些觸發(fā)模式檢測方法檢測到。如果被檢測到, 就會增加水印被移除的風(fēng)險。如下使用檢測方法[19-20]評估LNMMWS方案的隱秘性。

5.3.1 評估Neural Cleanse方法檢測

實驗使用Neural Cleanse方法[19]來檢測未知DNN模型是否含有水印。Neural Cleanse方法使用AI評估模型是否異常, Neural Cleanse方法將AI的閾值設(shè)定為2, 即AI大于2的模型認(rèn)定為異常模型,否則認(rèn)為模型正常。

由于并沒有在ImageNet數(shù)據(jù)集上得到文獻[9]模型,所以沒有測試ImageNet文獻[9]模型的異常指數(shù), 其他模型的異常指數(shù), 如圖5所示。Clean指未添加水印的干凈模型、LNMMWS指本方案水印模型、Baseline指文獻[9]水印模型?？梢钥闯鱿啾扔谖墨I[9], LNMMWS方案所水印的模型更不容易檢測到。LNMMWS方案更加隱秘的原因是, LogoNet只對特定的輸入有反應(yīng),并且通過抗噪訓(xùn)練, 提高了LogoNet的抗干擾能力。

圖5 AIFigure 5 Anomaly index

圖6是使用Neural Cleanse方法對在GTSRB數(shù)據(jù)集上的Clean、LNMMWS、Baseline模型逆向生成的觸發(fā)圖案。圖6(a)是Baseline模型的觸發(fā)器樣本中所嵌入的觸發(fā)圖案, 即包含該圖案的樣本都會被預(yù)測為目標(biāo)類別, 在該模型中目標(biāo)類別被指定為7。圖6(c)是對Baseline模型使用Neural Cleanse方法逆向生成的觸發(fā)圖案, 可以看出其與圖6(b) Clean模型逆向生成的觸發(fā)圖案差別很大。對于Baseline模型, 其類別7所包含的水印觸發(fā)模式可以被Neural Cleanse方法檢測到, 并被認(rèn)定為異常類別, 這于圖5中GTSRB數(shù)據(jù)集的Baseline模型有較高的異常指數(shù)相對應(yīng)。而對于LNMMWS模型, 針對類別7逆向生成的觸發(fā)圖案如圖6(d)所示, 可以看出其與圖6(b)相似度較高。事實上LNMMWS水印模型的每個標(biāo)簽都包含了特定的水印觸發(fā)模式, 并且它們都不會被Neural Cleanse方法檢測到。以上實驗證實了相比于文獻[9], LNMMWS方案的隱秘性更強。

圖6 文獻[19]方法逆向生成的觸發(fā)圖案Figure 6 The trigger pattern of literature [19] approach reverse generate

5.3.2 評估Strip方法檢測

模型具有良好性能通常是指其對正常的樣本具有較高的精度, 但是其在對抗性樣本上會預(yù)測錯誤并且錯誤是隨機的, Strip方法[20]用H描繪這種隨機性。制作對抗性樣本并對每個模型繪制其多組預(yù)測結(jié)果H的分布。M個樣本預(yù)測結(jié)果H的計算公式如公式3所示。

如圖7所示, Clean指未水印模型, LNMMWS指本方案水印模型。每個任務(wù)的不同模型H分布有所不同, 是因為相同任務(wù)不同模型的權(quán)重參數(shù)不同。但這并不會導(dǎo)致已經(jīng)嵌入LogoNet的模型被檢測到,因為盜版者不可能完全獲取到LNMMWS水印前后模型的全部信息。

圖7 對抗性樣本的H分布Figure 7 H distribution of adversarial samples

6 結(jié)論

本文基于多模型水印場景, 提出一種基于標(biāo)志網(wǎng)絡(luò)LogoNet的深度學(xué)習(xí)多模型水印方案LNMMWS。在生成觸發(fā)集和噪聲集上訓(xùn)練, 得到具有較高水印觸發(fā)模式識別精度、噪聲處理能力的LogoNet。之后將LogoNet嵌入多個目標(biāo)模型中進行水印處理, 使用黑盒水印驗證方法以實現(xiàn)所有權(quán)驗證。實驗及分析表明, LNMMWS在有效性、穩(wěn)定性、隱秘性三個方面, 獲得了較好的精度和更低的時間開銷, 能夠抵御模型壓縮攻擊、模型微調(diào)攻擊, 對某些觸發(fā)模式檢測具有較好的隱蔽性。下一步的研究目標(biāo)是對如何選用不同目標(biāo)模型、不同嵌入方式的水印算法形成統(tǒng)一的評估指標(biāo), 并對比更多經(jīng)典水印方案。