降低自動(dòng)化決策對(duì)個(gè)人信息安全影響的研究

王瑋 曹京 程賡 李雪瑩

(1. 天融信科技集團(tuán)股份有限公司，北京 100193；2. 中國(guó)信息通信研究院安全研究所，北京 100191；3. 中國(guó)鐵塔股份有限公司業(yè)務(wù)支撐部，北京 100029)

0 引言

人工智能時(shí)代，萬物皆可計(jì)算。自動(dòng)化決策將人作為純粹的數(shù)據(jù)，進(jìn)行純粹的計(jì)算。在自動(dòng)化決策算法之下，用戶與企業(yè)之間明顯處于弱勢(shì)關(guān)系，這使得自動(dòng)化決策帶來的擔(dān)憂尤為突出[1-2]。當(dāng)今，很多企業(yè)都已進(jìn)行了數(shù)據(jù)安全的相關(guān)能力建設(shè)，其中也對(duì)作為有特定權(quán)屬的個(gè)人信息進(jìn)行了保護(hù)。但數(shù)據(jù)安全與個(gè)人信息保護(hù)之間的側(cè)重亦有所不同，在運(yùn)用自動(dòng)化決策的各類業(yè)務(wù)場(chǎng)景之下，如何降低個(gè)人信息安全影響、如何緩解個(gè)人信息價(jià)值的發(fā)揮與保護(hù)之間的矛盾成為難點(diǎn)。本文淺析企業(yè)在自動(dòng)化決策過程中降低對(duì)個(gè)人信息安全影響的方法，為涉及相關(guān)場(chǎng)景的企業(yè)提供參考，研究結(jié)果也將有助于識(shí)別自動(dòng)化決策對(duì)個(gè)人信息安全的影響。

1 自動(dòng)化決策的界定

數(shù)據(jù)作為生產(chǎn)要素成為經(jīng)濟(jì)增長(zhǎng)的核心資源，無論是在政務(wù)領(lǐng)域、商業(yè)營(yíng)銷領(lǐng)域，還是在智能科技領(lǐng)域，自動(dòng)化決策都被廣泛地運(yùn)用，但自動(dòng)化決策的邊界仍然有一些模糊。《中華人民共和國(guó)個(gè)人信息保護(hù)法》(簡(jiǎn)稱《個(gè)人信息保護(hù)法》)第七十三條第二款中給自動(dòng)化決策下了明確的定義，“通過計(jì)算機(jī)程序自動(dòng)分析、評(píng)估個(gè)人的行為習(xí)慣、興趣愛好或者經(jīng)濟(jì)、健康、信用狀況等，并進(jìn)行決策的活動(dòng)”[3]。從定義中可以發(fā)現(xiàn)自動(dòng)化決策包含了分析、評(píng)估、決策的過程，并且限定在應(yīng)用技術(shù)的自動(dòng)化上。若過程中有人工干預(yù)決策的結(jié)果，理論上應(yīng)不屬于自動(dòng)化的一種。

《智能戰(zhàn)略》[4]將自動(dòng)化決策分為了五個(gè)步驟(見表1)：一是將物資世界數(shù)據(jù)化，這是數(shù)據(jù)資產(chǎn)化的起步環(huán)節(jié)；二是將每項(xiàng)業(yè)務(wù)軟件化，這是數(shù)據(jù)高效流動(dòng)的基礎(chǔ)；三是將數(shù)據(jù)流動(dòng)起來，在自動(dòng)化辦公和業(yè)務(wù)開展時(shí)將數(shù)據(jù)跟隨業(yè)務(wù)流動(dòng)起來；四是完整記錄實(shí)時(shí)數(shù)據(jù)，將所有的數(shù)據(jù)作為資產(chǎn)留存起來，作為自動(dòng)化決策的數(shù)據(jù)集輸入；五是應(yīng)用機(jī)器學(xué)習(xí)算法，輸出包括自動(dòng)化決策的結(jié)果。按照此思路，在利用個(gè)人信息進(jìn)行自動(dòng)化決策的前提是將人的各類特征和行為數(shù)據(jù)化，并且算法是自動(dòng)化的關(guān)鍵特點(diǎn)。

表1 自動(dòng)化決策的步驟

在歐盟的《通用數(shù)據(jù)保護(hù)條例》(General Data Protection Regulation，GDPR)中，自動(dòng)化決策定義為完全自動(dòng)的決策，即在沒有人為參與下的以技術(shù)的方式做出決策，隨著技術(shù)的進(jìn)步和社會(huì)的發(fā)展，自動(dòng)化決策需要從多個(gè)維度去解讀[5]。根據(jù)其性質(zhì)不同分為三大類：程序性和實(shí)質(zhì)性自動(dòng)決策，是指獲取了程序性或?qū)嵸|(zhì)性的決策結(jié)果；算法性和非算法性自動(dòng)決策，是指通過算法或者未使用算法的方式做出的決策；基于規(guī)則和基于法律的決策，是指基于規(guī)則和基于法律做出的決策，如交通違規(guī)判別、考試錄用系統(tǒng)等[6]。筆者認(rèn)為自動(dòng)化決策應(yīng)當(dāng)包含如下特征：采集一定數(shù)量的數(shù)據(jù)集；通過使用計(jì)算機(jī)程序、算法或規(guī)則進(jìn)行的結(jié)果輸出；通常會(huì)經(jīng)過數(shù)據(jù)的收集、評(píng)估分析和決策三個(gè)環(huán)節(jié)，但不一定都經(jīng)過評(píng)估或分析。

2 自動(dòng)化決策對(duì)個(gè)人信息安全的影響

2.1 個(gè)人信息安全影響

《信息安全技術(shù) 個(gè)人信息安全影響評(píng)估指南》將個(gè)人信息安全影響認(rèn)定為對(duì)個(gè)人信息合法權(quán)益的影響，包括個(gè)人權(quán)益影響和安全措施有效性兩個(gè)維度[7]。歐盟數(shù)據(jù)保護(hù)委員會(huì)為應(yīng)對(duì)GDPR中的相關(guān)條款給出的《法規(guī)2016/679關(guān)于數(shù)據(jù)保護(hù)影響評(píng)估(DPIA)和確定處理是否“可能導(dǎo)致高風(fēng)險(xiǎn)”的指南》中數(shù)據(jù)保護(hù)影響的因素，包括權(quán)益和自由面臨的風(fēng)險(xiǎn)以及為應(yīng)對(duì)風(fēng)險(xiǎn)所設(shè)置的措施兩個(gè)方面[8]。因此，本文中關(guān)于對(duì)個(gè)人信息安全的影響同樣關(guān)注兩個(gè)方面：個(gè)人信息安全管控的有效性和個(gè)人信息主體權(quán)益的保護(hù)性。

2.2 個(gè)人信息安全管控

個(gè)人信息作為一種特殊的數(shù)據(jù)資產(chǎn)被存放在企業(yè)，需要滿足不被泄露的基本安全要求。企業(yè)將已有的數(shù)據(jù)安全能力作為基礎(chǔ)，以合規(guī)要求為抓手，做好個(gè)人信息保護(hù)，是當(dāng)前的一種可行的解決方法。具體的路徑包括：識(shí)別個(gè)人信息和處理者自身的類型，從而確認(rèn)合規(guī)目標(biāo)，啟動(dòng)個(gè)人信息保護(hù)團(tuán)隊(duì)，建立管理流，確定管控策略，通過對(duì)數(shù)據(jù)安全技術(shù)能力利舊，固化流程進(jìn)入穩(wěn)定的個(gè)人信息保護(hù)運(yùn)營(yíng)階段，從而形成全流程、全生態(tài)的個(gè)人信息保護(hù)體系(見圖1)。在數(shù)據(jù)安全技術(shù)能力的利用上需要特別注意的是在收集階段，采用個(gè)人信息識(shí)別技術(shù)，打上個(gè)人信息種類標(biāo)記，關(guān)注敏感個(gè)人信息安全；在存儲(chǔ)階段，應(yīng)注意個(gè)人信息存儲(chǔ)時(shí)間最小化的原則。

2.3 個(gè)人信息合法權(quán)益保護(hù)

《個(gè)人信息保護(hù)法》是以憲法為基礎(chǔ)，關(guān)乎人權(quán)，保護(hù)個(gè)人信息權(quán)益、尊嚴(yán)和自由，所以在個(gè)人信息不被泄露之外，還需要保障個(gè)人信息主體的其他個(gè)人信息權(quán)益得以被響應(yīng)，包括一些基本權(quán)益的響應(yīng)，如知情權(quán)、決定權(quán)、撤回權(quán)、訪問權(quán)、可攜帶權(quán)等。同時(shí)，《個(gè)人信息保護(hù)法》中除敏感個(gè)人信息主體權(quán)益外，也提出了不同類型處理者需要滿足的一些具體的要求，包括在重要互聯(lián)網(wǎng)平臺(tái)服務(wù)、用戶數(shù)量巨大、業(yè)務(wù)類型復(fù)雜的個(gè)人信息處理者需要履行的相關(guān)義務(wù)。

2.4 自動(dòng)化決策對(duì)個(gè)人信息安全影響

在自動(dòng)化決策場(chǎng)景下，對(duì)個(gè)人信息安全管控上的要求沒有什么不同，在個(gè)人信息權(quán)益上有突出的特點(diǎn)。自動(dòng)化決策對(duì)人的數(shù)據(jù)化、計(jì)算過程的去人性化，造成了人類主體性危機(jī)；自動(dòng)化決策以輕推與操縱的方式構(gòu)建人的自主決策，使人喪失自由意志，引發(fā)了人的自治性困境[2]。在《個(gè)人信息保護(hù)法》中對(duì)自動(dòng)化決策下的個(gè)人信息主體權(quán)益做了更進(jìn)一步的要求[3]，主要包括：公平公正的權(quán)益，保證決策的透明度和結(jié)果公平、公正，不得對(duì)個(gè)人在交易價(jià)格等交易條件上實(shí)行不合理的差別待遇；提供拒絕的選項(xiàng)，通過自動(dòng)化決策方式向個(gè)人進(jìn)行信息推送、商業(yè)營(yíng)銷，應(yīng)當(dāng)同時(shí)提供不針對(duì)其個(gè)人特征的選項(xiàng)，或者向個(gè)人提供便捷的拒絕方式；要求解釋的權(quán)益，當(dāng)自動(dòng)化決策對(duì)個(gè)人權(quán)益有重大影響時(shí)，個(gè)人有權(quán)要求個(gè)人信息處理者予以說明，并有權(quán)拒絕個(gè)人信息處理者僅通過自動(dòng)化決策的方式做出的決定?！痘ヂ?lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》對(duì)于用算法推薦技術(shù)進(jìn)行服務(wù)的組織提出了相關(guān)要求[9]，包括算法模型的合法合規(guī)、健全用于識(shí)別違法和不良信息的特征庫(kù)、加強(qiáng)用戶信息的標(biāo)簽管理等，同時(shí)也明確了相應(yīng)用戶的相關(guān)權(quán)益。

由于自動(dòng)化決策的場(chǎng)景非常廣泛，會(huì)與實(shí)際的業(yè)務(wù)和服務(wù)所處的行業(yè)有緊密的關(guān)聯(lián)，各行業(yè)也陸續(xù)形成相關(guān)的法規(guī)賦予個(gè)人信息主體相關(guān)的權(quán)益，同時(shí)也給予老人、未成年人等人群特定的保護(hù)要求。由表2可見，在自動(dòng)化決策的各個(gè)場(chǎng)景之下，導(dǎo)致個(gè)人信息權(quán)益受影響的原因包括：違規(guī)收集分析數(shù)據(jù)，數(shù)據(jù)的輸入未經(jīng)過授權(quán)收集，比如違規(guī)個(gè)人特征標(biāo)簽；算法黑盒，算法的原理不公開、不透明，無法向用戶解釋其運(yùn)行機(jī)制；算法缺陷，算法自身存在不準(zhǔn)確、不安全的問題；算法結(jié)果未審核；使用違規(guī)標(biāo)簽，主要是使用用戶未授權(quán)標(biāo)簽，或者使用歧視性標(biāo)簽；未提供拒絕的方式。其中，由于個(gè)人科技認(rèn)知的差異，透明化和進(jìn)行解釋成為最關(guān)鍵的難點(diǎn)。

表2 自動(dòng)化場(chǎng)景下個(gè)人信息合法權(quán)益影響與原因分析表

3 降低自動(dòng)化決策對(duì)個(gè)人信息安全的影響

本文以健全自動(dòng)化決策場(chǎng)景下個(gè)人信息安全管控為手段，保障個(gè)人信息主體合法權(quán)益為目的，搭建了降低自動(dòng)化決策對(duì)個(gè)人信息安全影響的模型(見圖2)，主要包括獲取授權(quán)區(qū)、準(zhǔn)入?yún)^(qū)、算法區(qū)、準(zhǔn)出區(qū)、提供產(chǎn)品或服務(wù)區(qū)，個(gè)人信息權(quán)益響應(yīng)的對(duì)應(yīng)關(guān)系參見表3。

表3 個(gè)人信息權(quán)益響應(yīng)的對(duì)應(yīng)關(guān)系

3.1 獲取授權(quán)區(qū)

知情同意是處理個(gè)人信息使用的先決條件。在自動(dòng)化場(chǎng)景下，獲取授權(quán)同意的對(duì)象主要包括兩大類：一類來自個(gè)人信息主體，通常因提供產(chǎn)品或服務(wù)而收集；另一類來自合作方，如受合作方委托處理或者直接向合作方提供產(chǎn)品或服務(wù)，甚至運(yùn)算環(huán)境。當(dāng)然，在《個(gè)人信息保護(hù)》中規(guī)定的無需取得同意的例外情形，如為應(yīng)對(duì)突發(fā)公共衛(wèi)生事件時(shí)，可以直接進(jìn)入準(zhǔn)入?yún)^(qū)。

(1)當(dāng)直接收集來自用戶個(gè)人信息時(shí)，主要是通過容易觸達(dá)的用戶終端使用隱私條款、彈窗告知用戶同意，并使用標(biāo)簽頁(yè)，告知并會(huì)采集的相關(guān)標(biāo)簽；在隱私政策中，明確告知使用自動(dòng)化決策或者進(jìn)行用戶畫像分析的業(yè)務(wù)場(chǎng)景，對(duì)所使用的個(gè)人信息類型、目的和方式、算法推薦服務(wù)的基本原理、目的意圖、運(yùn)行機(jī)制等基本要素進(jìn)行明示，并在具體的業(yè)務(wù)模塊中使用彈窗、頁(yè)面標(biāo)簽等形式向用戶明確告知自動(dòng)化決策機(jī)制的使用，并接收算法區(qū)的測(cè)試報(bào)告，以供需要時(shí)使用。

(2)涉及合作方的情況，若合作方僅僅希望得到產(chǎn)品或者服務(wù)(如畫像等)，則需要簽訂滿足合規(guī)要求的合同；若合作方提供相關(guān)的個(gè)人信息數(shù)據(jù)，希望借助當(dāng)前的計(jì)算能力獲取相關(guān)數(shù)據(jù)時(shí)，則需要提供所攜帶相關(guān)個(gè)人信息的個(gè)人主體授權(quán)同意的證明。

值得注意的是，匿名化處理后進(jìn)行自動(dòng)化決策的，也同樣需要注意自動(dòng)化決策給個(gè)人主體帶來的影響。例如，在利用用戶畫像所做的一系列決策，可能會(huì)對(duì)個(gè)人主體造成一定的影響。

3.2 準(zhǔn)入?yún)^(qū)

個(gè)人信息在商業(yè)應(yīng)用場(chǎng)景下大多是通過匿名化的方式得到合法正當(dāng)?shù)闹?，?dāng)前匿名化技術(shù)主要包括K-匿名、(α, k)-匿名等，需確保匿名化的個(gè)人信息不可恢復(fù)。另外，也需通過管理手段，對(duì)當(dāng)下的情景進(jìn)行個(gè)人信息安全影響評(píng)估，發(fā)現(xiàn)當(dāng)前存在的短板，采取一系列的控制措施，從而降低對(duì)個(gè)人信息安全的影響。同時(shí)，也需要使用數(shù)據(jù)流轉(zhuǎn)監(jiān)測(cè)與審計(jì)的技術(shù)手段保障采集的數(shù)據(jù)源安全。若合作方提供算法模型，則需要對(duì)相關(guān)的程序進(jìn)行查殺，從小范圍試算起步，待驗(yàn)證各方面符合要求方可進(jìn)入計(jì)算環(huán)境。

3.3 算法區(qū)

算法區(qū)包括數(shù)據(jù)安全的保護(hù)能力應(yīng)是個(gè)人信息保護(hù)的底座，故而需要使用一系列的數(shù)據(jù)安全技術(shù)手段來保障在自動(dòng)化決策中的個(gè)人信息不會(huì)泄露或者過程可追溯，主要包括訪問控制、安全審計(jì)、水印等，同樣也包括對(duì)日志進(jìn)行記錄，確保所有的人為干預(yù)都被記錄下來。另外，使用統(tǒng)一的密鑰管理模塊，在隱私計(jì)算所使用的秘密傳輸、不經(jīng)意傳輸?shù)让艽a學(xué)技術(shù)基礎(chǔ)上，支撐各類場(chǎng)景下的各類計(jì)算。

在數(shù)據(jù)進(jìn)入自動(dòng)化程序時(shí)，需檢驗(yàn)算法是否會(huì)對(duì)個(gè)人信息權(quán)益造成影響，主要通過算法測(cè)試模塊實(shí)現(xiàn)。算法測(cè)試模塊主要包括機(jī)器學(xué)習(xí)子模塊、規(guī)則/指標(biāo)庫(kù)子模塊、測(cè)試報(bào)告子模塊。

(1)機(jī)器學(xué)習(xí)子模塊利用一定數(shù)量的測(cè)試數(shù)據(jù)集進(jìn)入機(jī)器學(xué)習(xí)，檢驗(yàn)相關(guān)標(biāo)簽的組合是否會(huì)產(chǎn)生不公平公正、影響到個(gè)人安寧以及客戶滿意度的結(jié)果。其中，除了需考慮自動(dòng)化決策本身所造成的影響外，還需重點(diǎn)考慮在包含敏感個(gè)人信息時(shí)所造成的影響。

(2)規(guī)則/指標(biāo)庫(kù)子模塊包括了對(duì)不合法標(biāo)簽的發(fā)現(xiàn)，主要通過測(cè)試模塊內(nèi)置的合規(guī)標(biāo)簽庫(kù)，發(fā)現(xiàn)違法違規(guī)、不良信息的關(guān)鍵詞。例如，職業(yè)錄用時(shí)，涉及性別標(biāo)簽，或者其他的帶有侮辱性的標(biāo)簽(如暴力、色情等情況)。另外，也對(duì)質(zhì)量、性能指標(biāo)做測(cè)試，發(fā)現(xiàn)算法的缺陷；針對(duì)個(gè)人信息的采集頻次做指標(biāo)，保證最小頻率地采集個(gè)人信息。

(3)測(cè)試報(bào)告子模塊，對(duì)算法的測(cè)試進(jìn)行記錄，形成測(cè)試報(bào)告，以通俗易懂、簡(jiǎn)潔明了的形式呈現(xiàn)算法的運(yùn)行機(jī)制，決定算法結(jié)果的參數(shù)、算法結(jié)果的性質(zhì)和類型、算法的質(zhì)量，以供在自動(dòng)化決策過程中，用戶提出質(zhì)疑或請(qǐng)求解釋時(shí)，提供給授權(quán)區(qū)給予用戶做出解釋說明時(shí)使用，在此過程中也需注意企業(yè)自身的商業(yè)秘密不被泄露。

在涉及與合作方合作形成數(shù)據(jù)共享和開發(fā)利用產(chǎn)品或服務(wù)時(shí)，可選擇多方安全計(jì)算、聯(lián)邦學(xué)習(xí)、可信執(zhí)行環(huán)境等技術(shù)來實(shí)現(xiàn)涉及個(gè)人信息的數(shù)據(jù)可用而不可見，從而最大限度保障在數(shù)據(jù)開放流通的過程中個(gè)人信息安全不受影響。

3.4 準(zhǔn)出區(qū)

在分析結(jié)果對(duì)外提供時(shí)，應(yīng)通過準(zhǔn)出區(qū)，方可提供算法結(jié)果。需要注意的是在對(duì)于個(gè)人信息主體會(huì)造成重大影響的場(chǎng)景下，需要人工審核的接入，來降低對(duì)個(gè)人信息的影響，例如涉及到個(gè)人征信、身體健康、教育的情形時(shí)。同時(shí)，部署數(shù)據(jù)流轉(zhuǎn)監(jiān)控、安全網(wǎng)關(guān)等設(shè)備，保障數(shù)據(jù)在傳輸過程中的敏感數(shù)據(jù)傳輸被記錄和監(jiān)控，確保數(shù)據(jù)提供過程中的安全。

3.5 提供產(chǎn)品或服務(wù)區(qū)

在提供產(chǎn)品和服務(wù)的過程中，應(yīng)當(dāng)時(shí)刻關(guān)注當(dāng)前所涉及到的法律法規(guī)和行業(yè)標(biāo)準(zhǔn)的監(jiān)管要求，從而保障數(shù)據(jù)和產(chǎn)品的合規(guī)性。同時(shí)，也應(yīng)當(dāng)注意用戶在使用服務(wù)過程中的相關(guān)訴求，如給用戶設(shè)置關(guān)閉推送的功能、提供便捷的投訴和舉報(bào)的途徑等，具體參照表4示例。

表4 提供產(chǎn)品和服務(wù)過程中合規(guī)實(shí)踐示例

4 結(jié)束語(yǔ)

數(shù)據(jù)作為生產(chǎn)要素成為經(jīng)濟(jì)增長(zhǎng)的核心資源，掌握大量個(gè)人信息的企業(yè)也無疑掌握了一筆不小的財(cái)富，大數(shù)據(jù)技術(shù)的發(fā)展?jié)M足甚至超越了每個(gè)人的想象力，不斷涌現(xiàn)的技術(shù)逐漸影響著人們生活的安寧，例如消費(fèi)者面對(duì)大數(shù)據(jù)殺熟的無奈、乘客面對(duì)駕駛權(quán)在算法上的恐懼、弱勢(shì)群體被貼上標(biāo)簽被不公平對(duì)待等。在自動(dòng)化場(chǎng)景之下，每個(gè)人都讓渡了自身部分自決權(quán)時(shí)，這些掌握了大量個(gè)人信息，對(duì)個(gè)人信息的處理方式具有一定決策權(quán)的組織，有義務(wù)從不同的緯度來約束自身，從而最大限度維護(hù)個(gè)人信息主體權(quán)益和自由。