探析檔案安全風(fēng)險(xiǎn)評估中的元評估

譚燕萍

摘 要：文章從檔案安全風(fēng)險(xiǎn)評估元評估涵義入手，對元評估開展的必要性、主體與模式、內(nèi)容、方法及程序進(jìn)行探討。在此基礎(chǔ)上提出搞好檔案安全風(fēng)險(xiǎn)評估元評估的相關(guān)建議：積極推動(dòng)檔案安全風(fēng)險(xiǎn)評估和元評估的研究與實(shí)踐；加強(qiáng)對檔案安全風(fēng)險(xiǎn)評估指標(biāo)體系的再評估；重視評估專家隊(duì)伍建設(shè)，充分發(fā)揮專家的作用。

關(guān)鍵詞：元評估；檔案安全；風(fēng)險(xiǎn)評估；評估指標(biāo)

檔案安全風(fēng)險(xiǎn)評估，是對檔案實(shí)體和檔案信息資源所面臨的威脅及其可能造成的影響的可能性的評估。[1]檔案安全風(fēng)險(xiǎn)評估的目的就是通過科學(xué)的方法、程序查找檔案安全隱患和漏洞、薄弱環(huán)節(jié)，及時(shí)采取必要的措施，最大可能地規(guī)避和降低風(fēng)險(xiǎn)，確保檔案的安全。因此，評估的科學(xué)與否、評估質(zhì)量的高低直接決定著評估效果的好與壞。因而，判斷檔案安全風(fēng)險(xiǎn)評估本身的科學(xué)性就成了檔案安全保障體系建設(shè)不可缺少的一個(gè)重要環(huán)節(jié)。而元評估就是評估的評估，是判定原評估科學(xué)性的方法。美國學(xué)者丹尼爾·L·斯塔弗爾比姆（Daniel L. Stufflebeam）非常形象地指出：“元評估對評估領(lǐng)域的重要性，就如審計(jì)制度對于會(huì)計(jì)領(lǐng)域的重要性一樣?！盵2]鑒于此，本文將從元評估的角度來解析檔案安全風(fēng)險(xiǎn)評估科學(xué)性的問題。

1 檔案安全風(fēng)險(xiǎn)評估元評估的涵義及其開展的必要性

1.1 檔案安全風(fēng)險(xiǎn)評估元評估的涵義。元評估的產(chǎn)生與發(fā)展得益于元科學(xué)（科學(xué)的科學(xué)，Meta-science）[3]發(fā)展的推動(dòng)，是元科學(xué)研究方法和研究成果應(yīng)用于評估學(xué)領(lǐng)域的結(jié)果。元評估（Meta-evaluation）即對評估本身進(jìn)行評估。[4]20世紀(jì)以來，隨著評估學(xué)發(fā)展成為社會(huì)科學(xué)研究的重要領(lǐng)域，元評估研究亦逐漸成為推進(jìn)評估學(xué)發(fā)展的重要途徑。1940年皮多·奧若塔（Pedro Orata）提出“評估的評估”（evaluation of evaluation），是元評估概念的雛形。1969年邁克爾·斯克里文（Michael Scriven）首次提出“元評估”概念。[5]

元評估又稱為“元評價(jià)”[6]“再評價(jià)”[7]“再評估”[8]“后設(shè)評估”[9]等。美國學(xué)者丹尼爾·L·斯塔弗爾比姆（Daniel L. Stufflebeam）將其定義為“經(jīng)由記述、獲取及運(yùn)用關(guān)于評估的效用性、可行性、適當(dāng)性及精確性等描述性信息和判斷性信息的過程，據(jù)以引導(dǎo)評估，并公開報(bào)導(dǎo)其優(yōu)點(diǎn)和缺點(diǎn)?！?[10]國內(nèi)學(xué)者張道民認(rèn)為“元評估亦稱為評估的評估。它是以已有的評估（原評估，primary-evaluation）活動(dòng)及結(jié)果為對象，從整體上多視角地進(jìn)行反思認(rèn)識，進(jìn)而對其可信度（可靠性）和有效度（功效性）作出客觀、科學(xué)、全面的評估結(jié)論?！盵11]

元評估，同樣適用于檔案安全風(fēng)險(xiǎn)評估領(lǐng)域。在檔案安全風(fēng)險(xiǎn)評估領(lǐng)域，元評估是指按照一定的理論框架，運(yùn)用可行的科學(xué)方法和價(jià)值標(biāo)準(zhǔn)，對檔案安全風(fēng)險(xiǎn)評估標(biāo)準(zhǔn)、評估方案、評估過程、評估方法和評估結(jié)果的科學(xué)性和有效性進(jìn)行分析，從而對檔案安全風(fēng)險(xiǎn)評估做出價(jià)值判斷的過程。從我國在天津[12]、河南[13]等地開展的檔案安全風(fēng)險(xiǎn)評估實(shí)踐來看，在評估結(jié)束后開始注重對檔案安全風(fēng)險(xiǎn)評估活動(dòng)本身的經(jīng)驗(yàn)總結(jié)，從評估的組織領(lǐng)導(dǎo)、評估標(biāo)準(zhǔn)、評估方案、評估方法、程序、結(jié)論等方面提出意見和建議。整個(gè)過程雖然缺乏嚴(yán)格的元評估程序與標(biāo)準(zhǔn)，但從某種程度來說，這實(shí)際上已經(jīng)邁出了元評估探索的步伐，對檔案安全風(fēng)險(xiǎn)評估技術(shù)方法的改進(jìn)、評估質(zhì)量的提高，起到了重要的作用。

1.2 檔案安全風(fēng)險(xiǎn)評估元評估開展的必要性。檔案安全風(fēng)險(xiǎn)評估元評估開展的必要性主要體現(xiàn)在以下兩個(gè)方面：

第一，檔案安全風(fēng)險(xiǎn)評估誤差的客觀存在，需要元評估對原來的評估進(jìn)行偏差控制，使偏差控制在合理的范圍，提高評估的信度和效度，從而提高評估的整體質(zhì)量。檔案安全風(fēng)險(xiǎn)評估過程中，一些客觀因素的影響，使得評估不可避免存在誤差，影響評估的質(zhì)量。這些因素主要有：由于評估指標(biāo)體系本身（包括評估指標(biāo)及評估內(nèi)容的選擇、評估權(quán)重的確定等方面）設(shè)計(jì)不科學(xué)產(chǎn)生的誤差；由于評估專家組成員結(jié)構(gòu)不合理、不良心理因素產(chǎn)生的誤差；由于風(fēng)險(xiǎn)本身的動(dòng)態(tài)性、復(fù)雜性而產(chǎn)生的誤差。

偏差控制是元評估的一項(xiàng)重要功能，元評估首先檢測與識別檔案安全風(fēng)險(xiǎn)評估偏差。元評估通過方差法、肯德爾和諧系數(shù)法等分析原評估數(shù)據(jù)和流程，識別原來評估的偏差環(huán)節(jié)。在偏差識別的基礎(chǔ)上運(yùn)用統(tǒng)計(jì)方法和其他各種方法，對原來評估的偏差原因進(jìn)行分析，對偏差值進(jìn)行計(jì)算，從而對評估偏差予以糾正，保證檔案安全風(fēng)險(xiǎn)評估的質(zhì)量。

第二，元評估是檔案安全風(fēng)險(xiǎn)評估科學(xué)理論形成和完善的推進(jìn)器。由于風(fēng)險(xiǎn)的復(fù)雜性，它處在一個(gè)動(dòng)態(tài)的不斷變化的過程中：未知的、新的風(fēng)險(xiǎn)隨時(shí)有可能發(fā)生，已識別出來的風(fēng)險(xiǎn)其發(fā)生的可能性和產(chǎn)生的后果嚴(yán)重性也不是一成不變的。因此，在風(fēng)險(xiǎn)控制的過程中，需要定期或不定期的對已經(jīng)識別的風(fēng)險(xiǎn)發(fā)生的可能性和產(chǎn)生的后果進(jìn)行重新評估。風(fēng)險(xiǎn)的復(fù)雜性、風(fēng)險(xiǎn)評估的周期性決定了檔案安全風(fēng)險(xiǎn)評估科學(xué)理論的形成是一個(gè)及其復(fù)雜的過程。馬克思主義認(rèn)識論科學(xué)地揭示了認(rèn)識的規(guī)律，檔案安全風(fēng)險(xiǎn)評估科學(xué)理論的形成與完善也需要經(jīng)歷一個(gè)由實(shí)踐到認(rèn)識、由認(rèn)識到實(shí)踐的多次反復(fù)的過程，需要在實(shí)踐中不斷的檢驗(yàn)、修正與完善。元評估則是連接實(shí)踐與認(rèn)識的鏈條，元評估通過對風(fēng)險(xiǎn)評估方案、評估指標(biāo)、評估方法、評估過程的檢驗(yàn)來驗(yàn)證風(fēng)險(xiǎn)評估理論的正確性，在不斷修正與完善基礎(chǔ)上形成科學(xué)的評估理論。

2 檔案安全風(fēng)險(xiǎn)評估元評估主體及模式

2.1 元評估主體。元評估主體是指元評估行為的實(shí)施者，主要回答由誰來進(jìn)行元評估的問題。可以有幾種選擇：一是原評估者，二是原評估組織者，三是外部專業(yè)評估者。第一種可信度不高，第二種受理論與技術(shù)的限制，第三種理論上科學(xué)高效、客觀公正，需要較高的花費(fèi)，但即便如此很大程度上也受該行業(yè)發(fā)展成熟度的影響。理想化的選擇是元評估主體要比原評估主體素質(zhì)更高，不但能勝任原評估還能對原評估進(jìn)行優(yōu)劣評價(jià)。因此，檔案安全風(fēng)險(xiǎn)評估元評估主體的選擇，需要考慮各方面的因素，選擇最適當(dāng)?shù)脑u估主體，可以采取內(nèi)部評估專家與外部評估專家相結(jié)合的方式。

2.2 元評估模式。關(guān)于元評估的模式，不管是Cook和Gruder（1978）的七種元評估模式，還是stufflebeam（1974）的元評估模式，或是Gowin的QUEMAC模式，所依據(jù)的分類標(biāo)準(zhǔn)共同的地方是元評估與原評估是同時(shí)實(shí)施，還是在原評估完成后實(shí)施，即形成性元評估（pro-active meta-evaluation）和總結(jié)性元評估（retro-active meta-evaluation）。形成性元評估強(qiáng)調(diào)在評估的不同階段，尤其是各個(gè)階段的銜接處，應(yīng)及時(shí)進(jìn)行元評估，以便及時(shí)修正評估的方案、技術(shù)或操作中可能出現(xiàn)的問題；若等到評估結(jié)束，某種無效甚至有害的評估已產(chǎn)生不良影響，此時(shí)進(jìn)行元評估為時(shí)已晚?？偨Y(jié)性元評估強(qiáng)調(diào)元評估作為經(jīng)驗(yàn)總結(jié)性質(zhì)的總結(jié)性評估的作用，即在評估結(jié)束后，對此次評估的方案設(shè)計(jì)、技術(shù)方法、實(shí)施程序、結(jié)論質(zhì)量及其產(chǎn)生的作用和影響做出全面的分析、評估和估價(jià)，為最終的決策提供咨詢建議或施加影響，也為改進(jìn)評估活動(dòng)提出意見和建議。在檔案安全風(fēng)險(xiǎn)評估的元評估中可以將元評估兩種模式各自的優(yōu)勢結(jié)合起來，加強(qiáng)原評估的過程管理，通過對原評估過程的評估，發(fā)揮內(nèi)部監(jiān)控的作用，做好對評估過程的評價(jià)與監(jiān)控，做到結(jié)果監(jiān)控與過程監(jiān)控相結(jié)合，外部監(jiān)控與內(nèi)部監(jiān)控相結(jié)合。

3 檔案安全風(fēng)險(xiǎn)元評估的內(nèi)容、方法及程序

3.1 元評估內(nèi)容。檔案安全風(fēng)險(xiǎn)元評估的內(nèi)容主要包括對檔案安全風(fēng)險(xiǎn)評估標(biāo)準(zhǔn)、評估方案、評估過程、評估方法和評估結(jié)果的可信度和有效度進(jìn)行整體、綜合的評估。具體主要包括：（1）評估目的是否明確；（2）評估標(biāo)準(zhǔn)是否合理；（3）評估指標(biāo)體系是否完整，指標(biāo)權(quán)重系數(shù)是否準(zhǔn)確；（4）評估實(shí)施方案是否合理；（5）評估方法是否科學(xué)；（6）評估結(jié)果是否真實(shí)、合理、有效；（7）評估功效能否發(fā)揮等。

3.2 元評估方法。檔案安全風(fēng)險(xiǎn)評估元評估除了采用內(nèi)容分析法、經(jīng)驗(yàn)總結(jié)法等常用的定性評估的方法之外，還可以采用效度檢驗(yàn)和信度檢驗(yàn)等定量的方法來判斷。效度（Validity）即有效性，它是指測量工具或手段能夠準(zhǔn)確測出所需測量的事物的程度。如果一項(xiàng)評估的效度很低，則其實(shí)際效果肯定不佳。信度（Reliability）即可靠性，它是指采用同樣的方法對同一對象重復(fù)測量時(shí)所得結(jié)果的一致性程度。如果評估的信度很低，則其結(jié)果就缺乏可靠性。在檔案安

全風(fēng)險(xiǎn)評估的元評估中，可以運(yùn)用肯德（M.Kendall）和諧系數(shù)法對專家的評分差異進(jìn)行檢驗(yàn)。肯德爾和諧系數(shù)法計(jì)算公式[14]如下：

W=S/[（1/12）n2（m3-m）]，

式中，n為評估者人數(shù)；m為被評項(xiàng)目（指標(biāo)）的個(gè)數(shù)；s為各種被評因素秩和的離差平方和：S=∑（Rj-Rj）2=∑Rj2-（1/m）（∑Rj）2。W值越接近1，則表示專家的評分越一致，差異性越小。

3.3 元評估程序。根據(jù)丹尼爾·L·斯塔弗爾比姆（Daniel L. Stufflebeam）后設(shè)評估的十個(gè)步驟[15]，結(jié)合檔案安全風(fēng)險(xiǎn)元評估的實(shí)際情況，元評估可以按照以下程序開展：（1）建立一個(gè)合格的元評估小組；（2）決議元評估的判斷標(biāo)準(zhǔn)；（3）收集和檢視適當(dāng)可用的信息；（4）必要時(shí)收集新信息，包括實(shí)地訪談、觀察及問卷調(diào)查等；（5）分析定性和定量信息，并判斷評估符合所選定評估標(biāo)準(zhǔn)的程度；（6）形成元評估報(bào)告；（7）解釋及應(yīng)用元評估結(jié)果。

4 搞好檔案安全風(fēng)險(xiǎn)評估元評估的幾點(diǎn)建議

我國檔案安全風(fēng)險(xiǎn)評估元評估理論與實(shí)踐的發(fā)展都還處于起步和探索階段，有待于今后進(jìn)一步深入探究和挖掘。對于檔案安全風(fēng)險(xiǎn)評估元評估的發(fā)展完善，本文提出以下幾點(diǎn)建議：第一，積極推動(dòng)檔案安全風(fēng)險(xiǎn)評估和元評估的研究與實(shí)踐。檔案安全風(fēng)險(xiǎn)評估和元評估相輔相成，互為促進(jìn)。一是加強(qiáng)風(fēng)險(xiǎn)管理理論的學(xué)習(xí)，切實(shí)掌握風(fēng)險(xiǎn)評估的科學(xué)工具；二是借鑒其他領(lǐng)域風(fēng)險(xiǎn)管理、風(fēng)險(xiǎn)評估應(yīng)用的實(shí)踐經(jīng)驗(yàn)；三是加強(qiáng)檔案安全風(fēng)險(xiǎn)評估試點(diǎn)的經(jīng)驗(yàn)總結(jié)，特別是對評估試點(diǎn)的元評估，形成可以推廣的制度成果，推進(jìn)元評估與檔案安全風(fēng)險(xiǎn)評估的發(fā)展。第二，加強(qiáng)對檔案安全風(fēng)險(xiǎn)評估關(guān)鍵環(huán)節(jié)評估指標(biāo)體系的再評估。風(fēng)險(xiǎn)評估指標(biāo)的科學(xué)性、可行性直接影響著檔案安全風(fēng)險(xiǎn)評估的質(zhì)量。對指標(biāo)體系的再評估，主要檢驗(yàn)評估指標(biāo)體系的完整性，評估指標(biāo)的準(zhǔn)確性、獨(dú)立性，評估指標(biāo)權(quán)重系數(shù)的準(zhǔn)確性，并進(jìn)一步對評估指標(biāo)體系進(jìn)行修正與完善，從而提高元評估和檔案安全風(fēng)險(xiǎn)評估的質(zhì)量。第三，重視評估專家隊(duì)伍建設(shè)，充分發(fā)揮專家的作用。不管是元評估還是檔案安全風(fēng)險(xiǎn)（下轉(zhuǎn)7頁）評估都離不開評估專家的智力支持，評估專家成為元評估主體不可或缺的組成部分。一方面要大力發(fā)揮評估專家的作用，使他們積極的參與到元評估和檔案安全風(fēng)險(xiǎn)評估中來，為檔案安全風(fēng)險(xiǎn)評估和元評估理論和實(shí)踐的發(fā)展貢獻(xiàn)力量；另一方面為專家專業(yè)素質(zhì)提升提供發(fā)展平臺。通過提供必要的考察、交流、培訓(xùn)的機(jī)會(huì)，促進(jìn)檔案安全風(fēng)險(xiǎn)評估專家的培養(yǎng)和發(fā)展，從而使他們更好的為元評估和檔案安全風(fēng)險(xiǎn)評估服務(wù)。

*本文系廣西民族大學(xué)科研基金資助課題項(xiàng)目“檔案安全風(fēng)險(xiǎn)評估專家咨詢制度設(shè)計(jì)”（項(xiàng)目編號：2016MDYB015）階段性成果。