重建隱私保障需要讓AI模型快速“忘記你”

李匯

為了在一定程度上重建隱私保障，近期一系列立法舉措（包括歐洲的《通用數(shù)據(jù)保護(hù)條例》以及美國的《加利福尼亞州消費(fèi)者隱私法》）對于清除個人信息做出了相關(guān)規(guī)定。但是，要想讓經(jīng)過訓(xùn)練的AI模型“忘記你”，傳統(tǒng)的方法，只能是從零開始利用新數(shù)據(jù)進(jìn)行重新訓(xùn)練———整個過程可能耗時數(shù)周，且成本相當(dāng)高昂。

最近新發(fā)表的2篇論文，帶來了高效從AI模型中刪除記錄的方法，有望節(jié)約巨量能源并真正為合規(guī)性帶來保障，一篇來自斯坦福大學(xué)，另一篇來自多倫多大學(xué)。斯坦福大學(xué)計算機(jī)科學(xué)家、第一篇論文的聯(lián)合作者M(jìn)elody Guan表示，“我們似乎需要一些新的算法，來簡化企業(yè)之間的實(shí)際合作，確保實(shí)現(xiàn)難度不會成為他們違反隱私規(guī)定的借口?！?/p>

由于關(guān)于高效數(shù)據(jù)刪除的文獻(xiàn)非常有限，因此斯坦福大學(xué)的作者們首先對問題做出明確定義，并提出有助于緩解問題的4項(xiàng)設(shè)計原則：

第1項(xiàng)為“線性度”：簡單的AI模型只需要對數(shù)字進(jìn)行加法與乘法運(yùn)算，避免了所謂非線性數(shù)學(xué)函數(shù)的介入，保證步驟分解更加簡單易行；

第2項(xiàng)為“惰性”原則，盡可能推遲計算操作，除非確實(shí)需要做出預(yù)測；

第3項(xiàng)為“模塊化”：如果可能，盡量以可拆分的形式進(jìn)行模型訓(xùn)練，而后組合結(jié)果；

第4項(xiàng)為“量化”，即只要平均值能夠鎖定在特定的離散區(qū)間之內(nèi)，則刪除其中對于平均值結(jié)果影響不大的數(shù)值。

斯坦福大學(xué)的研究人員將其中2項(xiàng)原則應(yīng)用到一種名為K均值聚類的機(jī)器學(xué)習(xí)算法當(dāng)中。此算法用于將數(shù)據(jù)點(diǎn)分類為自然聚類，例如用于分析密切相關(guān)的種群之間的遺傳性差異。（在UK Biobank醫(yī)學(xué)數(shù)據(jù)庫中，該聚類算法已經(jīng)得到實(shí)際應(yīng)用。而且有部分患者已經(jīng)向數(shù)據(jù)庫作者提出通告，要求將自己的記錄從數(shù)據(jù)庫中刪除。）研究人員利用量化技術(shù)開發(fā)出一種Q-K均值算法，并立足6套數(shù)據(jù)集進(jìn)行了測試，分別對單元格類型、手寫數(shù)字、手勢、森林覆蓋率以及聯(lián)網(wǎng)設(shè)備黑客入侵情況進(jìn)行分類。他們在每組數(shù)據(jù)集內(nèi)各刪除1 000個數(shù)據(jù)點(diǎn)，每次1個。結(jié)果證明，Q-K均值算法的速度達(dá)到常規(guī)K均值算法的2 ～ 584倍，且準(zhǔn)確性幾乎沒有任何損失。

利用模塊化方法，他們又開發(fā)出DC-K均值（用于實(shí)現(xiàn)分治法）。數(shù)據(jù)中的各個點(diǎn)被隨機(jī)劃分為多個子集，且各個子集將獨(dú)立進(jìn)行聚類。接下來，再將這些子集構(gòu)成新的集群，依此類推。事實(shí)證明，從單一子集內(nèi)刪除一個點(diǎn)，并不會影響到其他子集的結(jié)果。新算法的加速水平在16 ～71倍之間，且準(zhǔn)確性幾乎不受影響。該項(xiàng)研究被發(fā)表在加拿大溫哥華神經(jīng)信息處理系統(tǒng)（NerulPS）大會上。

多倫多大學(xué)以及Vector研究院計算機(jī)科學(xué)家Nicolas Papernot指出，“這篇論文中的亮點(diǎn)，在于利用算法中的某些基本面（K均值聚類）完成了以往無法實(shí)現(xiàn)的目標(biāo)。”但是，其中某些方法在其他算法類型中無法確切起效，例如在深度學(xué)習(xí)中使用的人工神經(jīng)網(wǎng)絡(luò)。Paernot以及其他聯(lián)合作者在網(wǎng)站arXiv上發(fā)表一篇論文，提到一種適用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，名為分片、隔離、切片以及聚合（SISA）訓(xùn)練。

這種新方法采取2種不同的模塊化實(shí)現(xiàn)方式。首先，在分片部分中將數(shù)據(jù)集劃分成多個子集，并立足每套模型建立獨(dú)立的訓(xùn)練模型副本。當(dāng)需要進(jìn)行預(yù)測時，各模型的預(yù)測結(jié)果將被匯總為統(tǒng)一的整體。利用這種方式，刪除數(shù)據(jù)點(diǎn)時，我們只需要重新訓(xùn)練其中一套模型。第2種方法則是切片，即對各個子集做出進(jìn)一步細(xì)分。該子集的模型會首先在切片1上訓(xùn)練，而后同時在切片1與切片2上訓(xùn)練，接下來在切片1、切片2以及切片3上訓(xùn)練，依此類推。最后，在完成各個步驟后對訓(xùn)練完成的模型進(jìn)行歸檔。如此一來，如果刪除切片3中的數(shù)據(jù)點(diǎn)，則可快速返回至訓(xùn)練的第3步中，并以此為起點(diǎn)繼續(xù)訓(xùn)練。Papernot表示，分片與切片方法“相當(dāng)于為我們的模型訓(xùn)練流程提供了2個調(diào)整旋鈕?！盙uan也稱贊稱，這種方法“非常直觀”，只是“使用的記錄刪除標(biāo)準(zhǔn)還不夠嚴(yán)格?！?/p>

來自多倫多的研究人員們通過2套大型數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，希望測試這種方法。其中一套數(shù)據(jù)集包含超過60萬張與家庭住址編碼相關(guān)的圖像，另一套則包含30多萬條購買歷史記錄。他們從各個數(shù)據(jù)集中刪除0.001 %的數(shù)據(jù)量，而后重新訓(xùn)練，并發(fā)現(xiàn)分片技術(shù)（20個分片）使得地址相關(guān)任務(wù)的重新訓(xùn)練速度提高了3.75倍，購買記錄相關(guān)任務(wù)的重新訓(xùn)練速度提高8.31倍（與標(biāo)準(zhǔn)模型重新訓(xùn)練方法比較），而且?guī)缀醪粫?zhǔn)確度造成影響。在配合切片方法之后，地址相關(guān)任務(wù)的速度進(jìn)一步提高了18 %，購買記錄相關(guān)任務(wù)的速度提高43 %，準(zhǔn)確度同樣沒有降低。

公開發(fā)布的數(shù)據(jù)顯示，僅刪除0.001 %的數(shù)據(jù)似乎太過溫和，但Papernot表示谷歌搜索等服務(wù)的重新訓(xùn)練規(guī)模要比這個數(shù)字還低出幾個量級。另外，18 %的速度提升看似有限，但對于大型機(jī)使用場景來講，已經(jīng)能夠節(jié)約海量時間與金錢。另外，在某些情況下，我們也許能夠發(fā)現(xiàn)某些更有必要忽略的數(shù)據(jù)點(diǎn)———例如來自少數(shù)族裔或者患有特定疾病的人群，確保他們免受隱私侵犯的影響。將這些數(shù)據(jù)點(diǎn)集中起來，將進(jìn)一步提高刪除效果。Papernot表示，他們也在積極整理數(shù)據(jù)集知識，希望進(jìn)一步提高SISA方法的定制化水平。

Guan解釋道，某些AI方法雖然在設(shè)計上就考慮到隱私性要求，但有時候使用者仍然需要刪除其中的某些特定數(shù)據(jù)點(diǎn)。舉例來說，有些人可能不想把自己的數(shù)據(jù)交給某家聲名狼藉的企業(yè)，科學(xué)家們有時候也可能需要刪除引發(fā)問題的數(shù)據(jù)點(diǎn)（例如黑客用來「毒化」數(shù)據(jù)集的偽造記錄）。無論是哪一種情況，對AI模型中的數(shù)據(jù)進(jìn)行刪除都將成為一種必要的手段。

Guan總結(jié)道，“很明顯，我們還沒有構(gòu)建起完整的解決方案。但我們認(rèn)為對問題做出明確定義，是解決問題的重要前提。希望人們能夠在算法設(shè)計之初，就充分考慮到數(shù)據(jù)保護(hù)方面的需求。”