敦煌石窟海量數(shù)據(jù)無(wú)差錯(cuò)傳輸系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)

俞天秀 吳健 趙良 許麗鵬

內(nèi)容摘要：本文針對(duì)敦煌石窟數(shù)字化海量數(shù)據(jù)在實(shí)際工作數(shù)據(jù)傳輸過(guò)程中出現(xiàn)的問(wèn)題，認(rèn)為海量數(shù)據(jù)無(wú)差錯(cuò)傳輸技術(shù)，在敦煌石窟數(shù)字化過(guò)程中是非常重要的一項(xiàng)技術(shù)。敦煌石窟海量數(shù)據(jù)無(wú)差錯(cuò)傳輸系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)，為了開(kāi)發(fā)出實(shí)用性強(qiáng)的軟件，首先針對(duì)敦煌石窟壁畫數(shù)字化工作流程、分析攝影采集、圖像處理和數(shù)據(jù)存儲(chǔ)各階段的特點(diǎn)，提出了敦煌石窟海量數(shù)據(jù)無(wú)差錯(cuò)傳輸系統(tǒng)的需求;其次，設(shè)計(jì)了敦煌石窟海量數(shù)據(jù)傳輸校驗(yàn)方案，針對(duì)敦煌石窟壁畫數(shù)字化工作流程提出了層級(jí)式校驗(yàn)，依據(jù)該校驗(yàn)思想，設(shè)計(jì)了數(shù)據(jù)校驗(yàn)的整體框架并做了優(yōu)化，最后設(shè)計(jì)出數(shù)據(jù)傳輸校驗(yàn)的詳細(xì)模型，確保了數(shù)據(jù)傳輸?shù)耐暾?最后，基于上述方案，設(shè)計(jì)并實(shí)現(xiàn)了敦煌石窟海量數(shù)據(jù)無(wú)差錯(cuò)傳輸系統(tǒng)，利用VisualStudio2010開(kāi)發(fā)平臺(tái)、C++程序開(kāi)發(fā)語(yǔ)言完成系統(tǒng)的開(kāi)發(fā)。此系統(tǒng)已在敦煌壁畫數(shù)字化工作中實(shí)際應(yīng)用，效果良好。

關(guān)鍵詞：海量數(shù)據(jù);數(shù)據(jù)傳輸;數(shù)據(jù)校驗(yàn)

中圖分類號(hào)：TP311.135.9;G256.1 ?文獻(xiàn)標(biāo)識(shí)碼：A ?文章編號(hào)：1000-4106（2015）03-0109-07

Design and Development of the Error-free Transmission System for the Mass Data of the Dunhuang Caves

YU Tianxiu1，2，3，4，5 WU Jian1，2，3，4，5 ZHAO Liang1，2，3，4，5 XU Lipeng1，2，3，4

（1. Digitalization Center， Dunhuang Academy， Dunhuang， Gansu 736200;

2. National Research Center for Conservation of Ancient Wall Paintings and Earthen Sites，

Dunhuang， Gansu 736200;

3. Key Scientific Research Base for Conservation of Ancient Wall Paintings of SACH，

Dunhuang， Gansu 736200;

4. Key Laboratory for Conservation of Ancient Wall Paintings and Earthen Sites， Dunhuang， Gansu 736200;

5. Zhejiang University， Hangzhou， Zhejiang 310013）

Abstract： Error-free transmission technology used for the digital data of the Dunhuang caves is very important for resolving data transmission problems during actual work. The main work of this project is the design and development of an error-free transmission system for the mass data collected at the Dunhuang caves. Firstly， in order to develop practical software， we analyzed the characteristics of each stage， including photography gathering， image processing， and data storage， and then posited the requirement for an error-free transmission system for the mass data of Dunhuang caves. Secondly， we have designed a mass data transmission check scheme for this system. Based on the Dunhuang caves mural digital workflow， we recommended a process of hierarchical verification validation， designed and optimized the overall framework of data checking， then designed an exact model for data transmission validation， ensuring the integrity of data transmission. Finally， according to the above-mentioned scheme， we designed a working， error-free transmission system for the Dunhuang cave data. This system， developed with Visual Studios 2010 development platform and C++ programming language， has already been applied in digital work on Dunhuang murals with good results.

Keywords： mass data; data transmission; data validation

1 引 言

敦煌石窟壁畫數(shù)字化的探索與研究已經(jīng)歷了20年，并取得了豐碩的成果。早期與美國(guó)梅隆基金會(huì)、美國(guó)西北大學(xué)合作完成75dpi近20多個(gè)洞窟的壁畫數(shù)字化，隨著技術(shù)的不斷進(jìn)步、數(shù)字化成果應(yīng)用需求的增加，目前數(shù)字化分辨率為300dpi，已完成近90多個(gè)洞窟的攝影采集，另外，還有部分塑像的三維重建、莫高窟崖體的三維重建等數(shù)字化工作。敦煌壁畫數(shù)字化的高精度圖像已應(yīng)用在敦煌石窟的保護(hù)、研究和弘揚(yáng)工作中，為壁畫病害調(diào)查、修復(fù)和保存狀況提供依據(jù)，為美術(shù)臨摹工作的線描稿起稿提供技術(shù)支持[1]。

按照目前壁畫數(shù)字化采集分辨率為300dpi，將莫高窟45000多平方米壁畫全部數(shù)字化將產(chǎn)生約200多萬(wàn)張?jiān)紙D像，按照每張?jiān)紙D像文件量約為25MB計(jì)算，原始圖像數(shù)據(jù)量將超過(guò)50TB。將200多萬(wàn)張?jiān)紙D像，經(jīng)過(guò)專業(yè)圖像軟件處理獲得整幅全景圖像，存儲(chǔ)處理過(guò)程和最終完成的文件數(shù)據(jù)量將超過(guò)300TB，莫高窟壁畫數(shù)字化產(chǎn)生的總數(shù)據(jù)量將超過(guò)350TB。

敦煌石窟數(shù)字化的過(guò)程涉及攝影采集、圖像處理、數(shù)據(jù)存儲(chǔ)和交換等環(huán)節(jié)，如何確保數(shù)據(jù)在這些環(huán)節(jié)之間傳輸過(guò)程的正確性和完整性是一個(gè)至關(guān)重要的問(wèn)題。在磁盤整陣列中保存的數(shù)據(jù)，幾年甚至更久的時(shí)間可能都不會(huì)使用，如何確保數(shù)據(jù)不因設(shè)備和環(huán)境的變化而遭損壞，是另一個(gè)重要的問(wèn)題。

本文將針對(duì)敦煌石窟數(shù)字化的流程，設(shè)計(jì)一款軟件，能夠?qū)ξ募惓５臄?shù)據(jù)自動(dòng)預(yù)警提示，發(fā)現(xiàn)在傳輸過(guò)程中出現(xiàn)損壞的文件重新自動(dòng)傳輸，直至通過(guò)數(shù)據(jù)驗(yàn)證，避免數(shù)據(jù)傳輸發(fā)生錯(cuò)誤，確保壁畫數(shù)字化資料保存完整性，提高敦煌石窟壁畫數(shù)字化工作效率。

研發(fā)成功的數(shù)據(jù)驗(yàn)證軟件，不僅在敦煌石窟壁畫數(shù)字化方面應(yīng)用，還可推廣到敦煌研究院其他數(shù)字化領(lǐng)域，甚至為其他文物保護(hù)單位數(shù)字化領(lǐng)域的數(shù)據(jù)完整驗(yàn)證提供技術(shù)保障，為未來(lái)研發(fā)大型文物數(shù)據(jù)管理平臺(tái)提供數(shù)據(jù)傳輸安全技術(shù)支持。

2 敦煌石窟數(shù)字化數(shù)據(jù)傳輸

方式與存在的問(wèn)題

2.1 數(shù)據(jù)傳輸方式

壁畫數(shù)字化攝影采集的原始圖像，首先從洞窟現(xiàn)場(chǎng)檢查計(jì)算機(jī)中拷貝至移動(dòng)硬盤，在辦公室利用千兆局域網(wǎng)從移動(dòng)硬盤拷貝數(shù)據(jù)至存儲(chǔ)服務(wù)器，這樣原始數(shù)據(jù)已經(jīng)發(fā)生了兩次數(shù)據(jù)傳輸。

利用千兆局域網(wǎng)絡(luò)將移動(dòng)硬盤中的原始圖像數(shù)據(jù)上傳至服務(wù)器，圖像處理人員從服務(wù)器下載原始圖像數(shù)據(jù)，圖像拼接完成后需要經(jīng)過(guò)反復(fù)檢查、修改，圖像定位、糾正，形成最終版本，這個(gè)過(guò)程會(huì)產(chǎn)生多次數(shù)據(jù)傳輸，如圖1所示。

敦煌壁畫數(shù)字化的過(guò)程比較復(fù)雜，采用多種傳輸介質(zhì)，不同的傳輸介質(zhì)受到自身以及環(huán)境因素的影像，例如：移動(dòng)硬盤接口不穩(wěn)定、網(wǎng)絡(luò)丟包等現(xiàn)象，而發(fā)生這些現(xiàn)象沒(méi)有給使用者任何提示的消息，所以，將導(dǎo)致在數(shù)據(jù)傳輸過(guò)程中發(fā)生錯(cuò)誤，無(wú)規(guī)律可循。

2.2 兩種傳輸方式產(chǎn)生的錯(cuò)誤

a） 圖像畫面出現(xiàn)彩色線條

目前使用EOS-1DsMarkIII相機(jī)進(jìn)行攝影采集原始圖像數(shù)據(jù)，生成RAW格式文件，原始圖像文件在兩種數(shù)據(jù)傳輸方式下，都出現(xiàn)了圖像信息損壞，例如：畫面出現(xiàn)各種彩色線條，如圖2所示。有的整幅畫面都損壞，有的是局部損壞，損壞無(wú)規(guī)律可循。

拼接完成的整幅全景圖像，經(jīng)過(guò)數(shù)據(jù)傳輸也出現(xiàn)圖像信息損壞，例如：畫面出現(xiàn)彩色線條，這種線條需要將圖像放大到100%才可以看出來(lái)，如圖3所示。

b） 圖像文件量大小嚴(yán)重異常

使用EOS-1DsMarkIII相機(jī)，攝影采集分辨率在300dpi時(shí)，單幅原始圖像的文件量大小一般為25MB左右，發(fā)生數(shù)據(jù)傳輸后，文件量大小有0KB、2.3MB、11MB等，這些文件已經(jīng)嚴(yán)重?fù)p壞，無(wú)法打開(kāi)。

c） 圖像文件量大小變化不大，文件內(nèi)容損壞

原始數(shù)據(jù)發(fā)生數(shù)據(jù)傳輸后，文件量大小在25MB左右，但是圖像內(nèi)容損壞，無(wú)法打開(kāi)。

敦煌石窟壁畫數(shù)字化的實(shí)際工作中，已出現(xiàn)很多以上列舉的數(shù)據(jù)損壞現(xiàn)象，為了確保敦煌石窟數(shù)字化的數(shù)據(jù)能夠永久、完整地保存，在無(wú)法改變硬件環(huán)境的前提下，應(yīng)該利用軟件作為輔助工具，解決數(shù)據(jù)傳輸不完整的問(wèn)題。

3 敦煌石窟海量數(shù)據(jù)傳輸校驗(yàn)方案設(shè)計(jì)

3.1 層級(jí)式校驗(yàn)?zāi)Ｐ?/p>

敦煌石窟壁畫數(shù)字化分為攝影采集、圖像處理和數(shù)據(jù)存儲(chǔ)三大部分，每部分都涉及到數(shù)據(jù)傳輸?shù)膯?wèn)題，而每部分?jǐn)?shù)據(jù)傳輸都具有自己的特點(diǎn)。攝影采集在洞窟第一現(xiàn)場(chǎng)工作，逐行逐格采集，每采集完一行需要圖像處理人員將CF卡中的圖像拷貝至電腦，然后現(xiàn)場(chǎng)核查圖像質(zhì)量是否符合標(biāo)準(zhǔn)規(guī)范，要求攝影采集現(xiàn)場(chǎng)數(shù)據(jù)拷貝需要及時(shí)性且效率高。圖像處理在辦公室從服務(wù)器下載數(shù)據(jù)處理，數(shù)據(jù)傳輸?shù)募皶r(shí)性沒(méi)有攝影采集的高，數(shù)據(jù)存儲(chǔ)中數(shù)據(jù)備份的及時(shí)性就更低了。

針對(duì)敦煌石窟壁畫數(shù)字化流程，數(shù)字化不同階段數(shù)據(jù)傳輸?shù)牟煌匦裕疚奶岢隽酸槍?duì)敦煌石窟數(shù)字化數(shù)據(jù)傳輸?shù)膶蛹?jí)式數(shù)據(jù)校驗(yàn)思想，如圖4所示。

層級(jí)式數(shù)據(jù)校驗(yàn)的最大特性是可以提高數(shù)據(jù)校驗(yàn)的效率，三級(jí)數(shù)據(jù)校驗(yàn)分別代表如下意義：

一級(jí)校驗(yàn)：針對(duì)攝影采集過(guò)程中出現(xiàn)單個(gè)圖像文件量達(dá)不到20M以上的情況，設(shè)定文件損壞閾值，低于文件損壞閾值的不拷貝給與警示，告知攝影師重新補(bǔ)拍。此級(jí)數(shù)據(jù)校驗(yàn)針對(duì)單個(gè)文件，數(shù)據(jù)判斷耗時(shí)少。

二級(jí)校驗(yàn)：是文件夾對(duì)比功能。敦煌石窟單個(gè)壁面需要采集十幾甚至幾十行，多個(gè)工作日完成，拷貝數(shù)據(jù)時(shí)用不同的顏色提示哪些是增量、哪些是相同的內(nèi)容。此級(jí)數(shù)據(jù)校驗(yàn)針對(duì)多個(gè)文件，數(shù)據(jù)判斷效率比一級(jí)數(shù)據(jù)校驗(yàn)耗時(shí)多。

三級(jí)校驗(yàn)：此級(jí)數(shù)據(jù)校驗(yàn)是最嚴(yán)謹(jǐn)?shù)?，利用消息摘要?yàn)證數(shù)據(jù)傳輸過(guò)程中數(shù)據(jù)的完整性。此級(jí)數(shù)據(jù)校驗(yàn)收到數(shù)據(jù)傳輸速率、數(shù)據(jù)驗(yàn)證的影響，比二級(jí)數(shù)據(jù)校驗(yàn)耗時(shí)更多一些，但是數(shù)據(jù)驗(yàn)證的準(zhǔn)率最高。

層級(jí)式數(shù)據(jù)校驗(yàn)尤其對(duì)攝影采集要求數(shù)據(jù)傳輸及時(shí)性高的特性非常適用，在圖像處理過(guò)程數(shù)據(jù)傳輸過(guò)程中一級(jí)數(shù)據(jù)校驗(yàn)的功能基本不發(fā)揮作用，因?yàn)閿?shù)據(jù)損壞閾值的判斷在攝影采集過(guò)程中就已完成，從服務(wù)器下載的數(shù)據(jù)肯定不會(huì)出現(xiàn)低于閾值的圖像文件。

3.2 數(shù)據(jù)傳輸模型設(shè)計(jì)

根據(jù)層級(jí)式數(shù)據(jù)校驗(yàn)思想，數(shù)據(jù)傳輸模型設(shè)計(jì)如圖5所示。這個(gè)數(shù)據(jù)傳輸模型充分結(jié)合敦煌石窟數(shù)字化工作流程，從源數(shù)據(jù)加載后，首先執(zhí)行第一級(jí)數(shù)據(jù)校驗(yàn)，文件閾值損壞判斷，將不合格的文件給與提示，由洞窟現(xiàn)場(chǎng)數(shù)據(jù)核查人員告知攝影師，讓重新補(bǔ)拍，獲取正確的圖像文件。

第二級(jí)數(shù)據(jù)校驗(yàn)進(jìn)行文件夾對(duì)比，用不同的顏色提示增加量、相同和損壞，選擇增量的文件進(jìn)行傳輸，在傳輸之前首先判斷，被傳輸?shù)膶?duì)象是否存在相對(duì)應(yīng)的信息摘要。如果存在提示是否覆蓋，如果不存在自動(dòng)生成相應(yīng)的信息摘要。為了避免在同一文件夾中，不同類型的文件具有相同的文件名生成的信息摘要因命名發(fā)生沖突，信息摘要的命名以文件名加文件擴(kuò)張名的方式。

第三級(jí)數(shù)據(jù)校驗(yàn)選擇數(shù)據(jù)傳輸方式及本地傳輸和FTP傳輸兩種，由于不同傳輸介質(zhì)，傳輸速率不同，所以文件分塊閾值也不相同，需要在傳輸之前自行設(shè)定。對(duì)文件進(jìn)行分塊后[2-4]，每一塊也生成相應(yīng)的信息摘要[5]，依次傳輸每塊數(shù)據(jù)流，傳輸后對(duì)塊的信息摘要進(jìn)行驗(yàn)證，如果錯(cuò)誤，就重新傳輸此塊數(shù)據(jù)。將所有塊都傳輸完成后，利用Merkle樹(shù)[6-7]進(jìn)行驗(yàn)證根的信息摘要，如果中間某一塊出現(xiàn)錯(cuò)誤，立即定位出錯(cuò)的塊，重新傳輸，直至數(shù)據(jù)完全正確后存儲(chǔ)。

4 系統(tǒng)設(shè)計(jì)與開(kāi)發(fā)

4.1 系統(tǒng)總體設(shè)計(jì)

結(jié)合敦煌壁畫數(shù)字化實(shí)際工作需求與敦煌石窟海量數(shù)據(jù)的特性，集成本章之前所涉及的技術(shù)，解決敦煌壁畫數(shù)字化輸出傳輸產(chǎn)生的錯(cuò)誤，保障數(shù)據(jù)的完整性和有效性，本文設(shè)計(jì)的敦煌石窟海量數(shù)據(jù)無(wú)差錯(cuò)傳輸系統(tǒng)功能如圖6所示。

（1） 數(shù)據(jù)加載：加載并顯示需要傳輸?shù)臄?shù)據(jù)對(duì)象，計(jì)算每個(gè)文件對(duì)象的文件量大小，為閾值判斷提供文件量大小的信息;

（2） 預(yù)處理：判斷數(shù)據(jù)傳輸對(duì)象是否需要分塊傳輸，如果需要分塊傳輸，就要進(jìn)行數(shù)據(jù)分塊預(yù)處理、讀取文件擴(kuò)展名、生成信息摘要、閾值判斷;

（3） 數(shù)據(jù)傳輸：數(shù)據(jù)校驗(yàn)失敗的數(shù)據(jù)重新傳輸;

（4） 數(shù)據(jù)校驗(yàn)：?jiǎn)我晃捶謮K數(shù)據(jù)直接校驗(yàn)，分塊傳輸以MerkleTree數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)校驗(yàn)，多指紋模式對(duì)信息摘要的校驗(yàn);

（5） 數(shù)據(jù)校驗(yàn)合格后的數(shù)據(jù)在目的地磁盤中存儲(chǔ)。

4.2 系統(tǒng)功能設(shè)計(jì)

依據(jù)圖7所示，系統(tǒng)各個(gè)功能如下：

（1） 數(shù)據(jù)對(duì)象加載并顯示功能：數(shù)據(jù)加載數(shù)據(jù)的選取有兩種方式：第一種，通過(guò)文件路徑選取相應(yīng)的文件夾或者文件加載相應(yīng)的信息;第二種，支持文件夾拖拽，計(jì)算文件的文件量大小。

（2） 無(wú)效文件閾值判斷功能：為了解決壁畫數(shù)字化攝影采集中，由于閃光燈和快門未同步，造成采集到的圖像為純黑色，沒(méi)有任何信息。這類圖像在圖像處理時(shí)沒(méi)有任何意義，所以，數(shù)據(jù)拷貝過(guò)程中可直接過(guò)濾此類圖像，達(dá)到提高拷貝數(shù)據(jù)的有效性和工作效率?？紤]到軟件今后應(yīng)用在敦煌石窟數(shù)字化的不同領(lǐng)域，閾值的大小可根據(jù)實(shí)際工作任意設(shè)定，0代表不做閾值判斷，小于閾值的數(shù)據(jù)在傳輸時(shí)有提示功能，用戶根據(jù)實(shí)際情況選擇是否傳輸，類似事件可采用相同動(dòng)作功能;此功能排除對(duì)信息摘要的判斷。

（3） 文件分塊功能：為了提高數(shù)據(jù)傳輸完整性的效率，對(duì)大文件進(jìn)行分塊傳輸校驗(yàn)，設(shè)置文件分塊閾值和分塊大小設(shè)置功能，用戶可根據(jù)實(shí)際傳輸情況設(shè)定相應(yīng)的值。

（4） 生成信息摘要功能：每一個(gè)被傳輸?shù)臄?shù)據(jù)對(duì)象，采用哈希算法SHA-1生成相應(yīng)的信息摘要;信息摘要的命名如果與文件名相同，會(huì)出現(xiàn)同一級(jí)目錄下相同文件名的不同文件類型，產(chǎn)生相同命名的信息摘要的沖突，例如兩幅圖像分別為“壁畫.tiff”和“壁畫.psd”。為了解決這一沖突，信息摘要的命名規(guī)則為文件名和文件擴(kuò)張名的組合，例如“壁畫.tiff.sha1”和“壁畫.psd.sha1”。

（5） 信息摘要的冗余功能：為了將提高數(shù)據(jù)校驗(yàn)的準(zhǔn)確性，對(duì)針對(duì)數(shù)據(jù)生成的信息摘要，再生成信息摘要的信息摘要。

（6） 多路徑并行傳輸功能：首先判斷被傳輸?shù)膶?duì)象是否存在SHA-1值，如果不存在，提示生成SHA-1值，再進(jìn)行數(shù)據(jù)傳輸，避免用戶數(shù)據(jù)傳輸后再生成SHA-1值，達(dá)不到數(shù)據(jù)校驗(yàn)的目的。傳輸數(shù)據(jù)時(shí)，SHA-1值自動(dòng)和數(shù)據(jù)同時(shí)傳輸。

（7） 數(shù)據(jù)校驗(yàn)功能：未分塊數(shù)據(jù)直接進(jìn)行校驗(yàn);對(duì)分塊數(shù)據(jù)采用MerkleTree數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)校驗(yàn);對(duì)信息摘要進(jìn)行冗余校驗(yàn)。

（8） 數(shù)據(jù)重傳功能：如果數(shù)據(jù)校驗(yàn)失敗，針對(duì)相應(yīng)的數(shù)據(jù)進(jìn)行重傳直至數(shù)據(jù)校驗(yàn)成功。

（9） 數(shù)據(jù)存儲(chǔ)功能：對(duì)校驗(yàn)成功的數(shù)據(jù)保存。

（10） 文件及文件夾對(duì)比功能：對(duì)比源數(shù)據(jù)和目的數(shù)據(jù)文件數(shù)量，不同顏色顯示對(duì)比結(jié)果。

（11） 文件夾重命名功能：敦煌石窟壁畫數(shù)字化以石窟每一個(gè)壁面為存儲(chǔ)對(duì)象。例如：“東壁”為父文件夾，其子文件夾以每行拍攝的順序?yàn)槊簉ow001代表第一行拍攝，row002代表第二行拍攝，依此類推。為了用戶操作方便，首先對(duì)CF卡加載的文件夾修改文件名為row001、row002等，非常方便地將數(shù)據(jù)拷貝至電腦硬盤目的文件夾。

（12） 界面清除功能：為下一次拷貝數(shù)據(jù)提供全新的界面。

4.3 系統(tǒng)實(shí)現(xiàn)

本軟件的開(kāi)發(fā)應(yīng)用環(huán)境采用微軟公司推出的 Visual Studio2010[8]，程序設(shè)計(jì)語(yǔ)言采用visualC++。

（1）文件列表界面

數(shù)據(jù)傳輸首先需要選擇要拷貝的數(shù)據(jù)對(duì)象。數(shù)據(jù)對(duì)象可選擇文件夾也可以直接選擇文件，通過(guò)“選擇目錄”按鈕，瀏覽文件目錄，彈出“瀏覽文件夾”對(duì)話框，選擇需要操作的文件夾或文件，如圖8所示。

（2） 拷貝功能

拷貝功能是本軟件的核心部分，根據(jù)敦煌壁畫數(shù)字化工作流程和數(shù)字化的數(shù)據(jù)數(shù)量多、單個(gè)文件量大的特點(diǎn)，拷貝對(duì)象既可以是文件夾，也可以是單個(gè)文件。為了確保數(shù)據(jù)校驗(yàn)的有效性，數(shù)據(jù)拷貝之前必須對(duì)單個(gè)文件實(shí)體生成相應(yīng)的SHA-1值，否則無(wú)法拷貝數(shù)據(jù)。考慮到同一文件夾中文件名相同而文件格式不同的現(xiàn)象存在，例如利用佳能1DsMarkIII拍攝圖像時(shí)，同一目錄下除了RAW格式的文件存在外，還存在低精度的jpeg格式的文件，在生成單個(gè)文件實(shí)體的SHA-1值時(shí)，文件命名加入了文件類型，例如MG172Z1O1250.CR2格式的文件對(duì)應(yīng)的SHA-1值是MG172Z1O1250.CR2.sha1和MG172Z1O1250.jpg格式的文件對(duì)應(yīng)的SHA-1值是MG172Z1O1250.jpg.sha1。

另外，依據(jù)敦煌壁畫數(shù)字化單個(gè)文件量基本會(huì)大于4GB，一般的文件讀取方式無(wú)法實(shí)現(xiàn)，需要用到文件映射技術(shù)實(shí)現(xiàn)對(duì)大文件的讀寫操作。首先創(chuàng)建srcfile文件句柄和文件映射句柄，獲取文件大小，將srcfile對(duì)應(yīng)的srcfile.sha1文件傳送到目標(biāo)目錄，創(chuàng)建dstfile文件句柄和文件映射句柄，關(guān)閉srcfile和dstfile的文件句柄。然后獲取內(nèi)存分配粒度（也就是內(nèi)存一次能分配的最小字節(jié)數(shù)，一般為64K），每次處理一個(gè)塊大小的數(shù)據(jù)。如果塊大小設(shè)置為0，強(qiáng)制將塊大小設(shè)置為最小粒度，循環(huán)處理每一個(gè)塊，使用文件映射的方式讀取文件內(nèi)容。使用HashData函數(shù)計(jì)算源文件塊數(shù)據(jù)對(duì)應(yīng)的SHA-1值srcHashCode，使用memcpy函數(shù)將源文件的一塊數(shù)據(jù)拷貝到目的文件中去，計(jì)算剛剛拷貝完成的目的塊數(shù)據(jù)對(duì)應(yīng)的sha1值dstHashCode。比較srcHashCode和dstHashCode是否一致。如果不一致，這塊數(shù)據(jù)需要重新傳輸;如果一致，說(shuō)明本塊數(shù)據(jù)傳輸正確，使用hasher累積本塊的hash值，亦即構(gòu)造Merkle樹(shù)。取消源、目的文件映射，更新進(jìn)度條，整個(gè)文件傳輸完畢之后計(jì)算的sha1值（亦即Merkle樹(shù)的樹(shù)根）和源文件的sha1作比較，如果不相等，那么整個(gè)文件就要重新傳輸。

（3） 設(shè)置閾值

點(diǎn)擊設(shè)置閾值，彈出閾值設(shè)置對(duì)話框，如圖9所示。

破損文件閾值：當(dāng)某個(gè)文件大小低于此值時(shí)，文件名會(huì)顯示紅色;在文件拷貝過(guò)程中會(huì)被提示“此文件已損壞，是否繼續(xù)拷貝”。

文件分塊閾值：在文件拷貝過(guò)程中，如果某個(gè)文件大小低于此值，采取整個(gè)文件不分塊直接拷貝的策略。

分塊大小：如果拷貝文件量值高于“文件分塊閾值”設(shè)定值，那么在拷貝過(guò)程中，每次拷貝的數(shù)據(jù)量為“分塊大小”設(shè)定值。

通過(guò)文本輸入框設(shè)置“破損文件閾值”、“文件分塊閾值”、“分塊大小”相關(guān)參數(shù)，點(diǎn)擊“確定”之后，新的參數(shù)將會(huì)寫入“配置閾值.txt”文件，也可以手動(dòng)修改此文本文件。最后調(diào)用OnRefresh（）更新文件列表，主要是“破損文件閾值”會(huì)影響到文件列表的顏色。

4.4 系統(tǒng)實(shí)際應(yīng)用

依據(jù)數(shù)據(jù)傳輸?shù)哪Ｐ汀④浖到y(tǒng)功能，首先模擬一組數(shù)據(jù)進(jìn)行系統(tǒng)功能測(cè)試，選擇文件大小只有2.3MB的圖像數(shù)據(jù)，破損文件閾值設(shè)置20MB，拷貝時(shí)出現(xiàn)如圖10所示。

經(jīng)過(guò)多組數(shù)據(jù)模擬測(cè)試，敦煌石窟海量數(shù)據(jù)無(wú)差錯(cuò)傳輸軟件順利通過(guò)。2013年下半年開(kāi)始，由敦煌研究院數(shù)字中心工作人員分6組，在洞窟數(shù)字化現(xiàn)場(chǎng)利用工作數(shù)據(jù)實(shí)地應(yīng)用，目前軟件運(yùn)行效果較好。

5 展 望

隨著國(guó)家文化事業(yè)大發(fā)展、大繁榮的推進(jìn)和文物數(shù)字化行業(yè)標(biāo)準(zhǔn)的制定以及互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)等技術(shù)的不斷發(fā)展，在文物數(shù)字化行業(yè)中也將會(huì)產(chǎn)生海量的數(shù)據(jù)。文物數(shù)字化成果應(yīng)用領(lǐng)域的增加，必然增加數(shù)據(jù)的交換與共享，數(shù)據(jù)在傳輸過(guò)程中數(shù)據(jù)的完整性需要得到可靠的保障。

本文開(kāi)發(fā)的數(shù)據(jù)校驗(yàn)軟件，只是結(jié)合敦煌壁畫數(shù)字化工作流程的特性，有其獨(dú)特性和廣泛性，目前可以推廣至敦煌石窟數(shù)字化的各個(gè)領(lǐng)域，確保數(shù)據(jù)在產(chǎn)生、傳輸和存儲(chǔ)過(guò)程中的數(shù)據(jù)完整性。當(dāng)然隨著應(yīng)用領(lǐng)域的擴(kuò)大，軟件根據(jù)各領(lǐng)域的需求進(jìn)行改進(jìn)和完善。

下一步研究工作：

（1） 文物數(shù)字化面臨的一大難題是數(shù)字版權(quán)的控制，數(shù)據(jù)傳輸和下載的過(guò)程中除了驗(yàn)證數(shù)據(jù)的完整性外，還需要考慮加入身份驗(yàn)證，增加數(shù)據(jù)傳輸?shù)陌踩?，控制文物?shù)字化數(shù)據(jù)的任意流失。

（2） 將研究存儲(chǔ)在計(jì)算機(jī)中的數(shù)據(jù)定期進(jìn)行數(shù)據(jù)校驗(yàn)，主要考慮服務(wù)器的配置、穩(wěn)定性及I＼O能力。工作人員同時(shí)上傳數(shù)據(jù)，服務(wù)器的壓力過(guò)大，數(shù)據(jù)量越大、數(shù)據(jù)丟包的概率就會(huì)增加，所以，更加要求數(shù)據(jù)傳輸過(guò)程中數(shù)據(jù)的完整性校驗(yàn)。

（3） 未來(lái)隨著文物數(shù)字化數(shù)據(jù)急劇增加，文物數(shù)字化數(shù)據(jù)就需要考慮云存儲(chǔ)模式，在云存儲(chǔ)中對(duì)數(shù)據(jù)完整性校驗(yàn)的要求更高，這將是今后研究的重點(diǎn)之一。

參考文獻(xiàn)：

[1]樊錦詩(shī).敦煌石窟保護(hù)與展示工作中的數(shù)字技術(shù)應(yīng)用[J].敦煌研究，2009（6）：1-3.

[2]謝華成，張昆朋，范黎林，et al.基于文件分割的二進(jìn)制大對(duì)象存取算法[J].計(jì)算機(jī)應(yīng)用，2011（10）：2612-

2616.

[3]陳衛(wèi)衛(wèi)，吳海佳，胥光輝.分布式存儲(chǔ)中文件分割的最優(yōu)化模型[J].解放軍理工大學(xué)學(xué)報(bào)（自然科學(xué)版），

2010（4）：413-416.

[4]朱春花，張子彪，路新春.BLOB數(shù)據(jù)類型存取方法的研究及應(yīng)用[J].計(jì)算機(jī)應(yīng)用與軟件，2002（10）：52-5.

[5]李志敏.哈希函數(shù)設(shè)計(jì)與分析[D].北京：北京郵電大學(xué)，2009.

[6]MERKLE RALPH.Secrecy，Authentication and Public Key Systems[D].Stanford University，1979.

[7]劉芳.Merkle可信樹(shù)遍歷算法及在數(shù)字簽名上的應(yīng)用研究[D].北京：北京工業(yè)大學(xué)，2009.

[8]高陽(yáng).Visual Studio 2010架構(gòu)建模新特性[J].程序員，2010（4）：65-67.