基于MySQL的SDCORS數(shù)據(jù)庫自動(dòng)壓縮備份機(jī)制

杜珺,劉新,郭金運(yùn),姜英明

(山東科技大學(xué) 測(cè)繪科學(xué)與工程學(xué)院,青島 266590)

?

基于MySQL的SDCORS數(shù)據(jù)庫自動(dòng)壓縮備份機(jī)制

杜珺,劉新,郭金運(yùn),姜英明

(山東科技大學(xué) 測(cè)繪科學(xué)與工程學(xué)院,青島 266590)

通過編寫MySQL批處理壓縮備份腳本,設(shè)置Windows自動(dòng)定時(shí)服務(wù),利用MySQL導(dǎo)入導(dǎo)出工具mysqldump.exe實(shí)現(xiàn)SDCORS數(shù)據(jù)庫的自動(dòng)定時(shí)壓縮備份功能,采用不同的壓縮級(jí)別對(duì)133個(gè)SDCORS基準(zhǔn)站10天的觀測(cè)數(shù)據(jù)和解算數(shù)據(jù)進(jìn)行壓縮備份測(cè)試,通過比較選擇出最優(yōu)備份壓縮級(jí)別。

MySQL;SDCORS;數(shù)據(jù)庫;壓縮;自動(dòng);備份

0 引 言

隨著計(jì)算機(jī)網(wǎng)絡(luò)信息化的迅速發(fā)展,各種大中小型企業(yè)都構(gòu)建了企業(yè)的信息化系統(tǒng),這必然會(huì)涉及到數(shù)據(jù)存儲(chǔ)[1]。MySQL數(shù)據(jù)庫憑借其體積小、速度快、總體擁有成本低等突出的優(yōu)點(diǎn)迅速的占有中小型企業(yè)的信息化市場(chǎng)[2]。山東省衛(wèi)星定位連續(xù)運(yùn)行綜合應(yīng)用服務(wù)系統(tǒng)(SDCORS)由山東省國土資源廳和山東省氣象局合作建設(shè),系統(tǒng)整合了全省的已建CORS站點(diǎn),構(gòu)成了全省統(tǒng)一的高精度、高時(shí)空分辨率、高覆蓋率、實(shí)時(shí)快速的衛(wèi)星定位連續(xù)運(yùn)行綜合服務(wù)網(wǎng)[3]。SDCORS的數(shù)據(jù)具有種類多,容量大,保密性程度高等特點(diǎn)[4]?；诖?采用MySQL關(guān)系型數(shù)據(jù)庫對(duì)SDCORS數(shù)據(jù)進(jìn)行存儲(chǔ)與管理是比較可行的。但是任何數(shù)據(jù)庫在使用過程中都不可避免的存在一定的安全隱患,而對(duì)數(shù)據(jù)庫進(jìn)行定期備份是預(yù)防和盡可能降低數(shù)據(jù)損失的最有效方法,所以,對(duì)數(shù)據(jù)庫進(jìn)行備份,以備在出現(xiàn)意外時(shí)及時(shí)進(jìn)行恢復(fù)是非常必要的[5]。對(duì)于SDCORS數(shù)據(jù)庫而言,要實(shí)現(xiàn)數(shù)據(jù)解算的自動(dòng)化,減少人工工作量,同時(shí)要做好數(shù)據(jù)使用時(shí)的防護(hù)工作,提高時(shí)間和空間的綜合利用率,更需要建立一套完整的數(shù)據(jù)庫自動(dòng)壓縮備份與恢復(fù)機(jī)制。

目前國內(nèi)外針對(duì)海量數(shù)據(jù)庫系統(tǒng)備份較為成熟的技術(shù)包括數(shù)據(jù)庫本身提供的備份機(jī)制,應(yīng)用級(jí)備份,以及基于硬件的備份方式[6]。本文主要介紹通過MySQL數(shù)據(jù)庫本身提供的備份機(jī)制進(jìn)行備份時(shí)腳本的編寫。論文主要從SDCORS數(shù)據(jù)庫介紹、MySQL數(shù)據(jù)庫自動(dòng)備份策略、SDCORS數(shù)據(jù)庫備份驗(yàn)證、MySQL數(shù)據(jù)庫恢復(fù)策略等4個(gè)方面進(jìn)行闡述。

1 SDCORS數(shù)據(jù)庫

SDCORS數(shù)據(jù)庫管理信息系統(tǒng)作為SDCORS數(shù)據(jù)自動(dòng)化處理及分析系統(tǒng)的一個(gè)重要分支,集數(shù)據(jù)管理、數(shù)據(jù)預(yù)處理、數(shù)據(jù)解算、數(shù)據(jù)分析、數(shù)據(jù)備份與恢復(fù)于一體,是其數(shù)據(jù)處理的基礎(chǔ)[4]。SDCORS目前共有測(cè)站150余個(gè),每個(gè)測(cè)站每天均產(chǎn)生采樣頻率為1 s和30 s的觀測(cè)數(shù)據(jù),因此數(shù)據(jù)總量非常大。目前SDCORS數(shù)據(jù)庫共涉及41個(gè)結(jié)構(gòu)化數(shù)據(jù)表,其中主要的結(jié)構(gòu)數(shù)據(jù)表包括: 1) 站點(diǎn)信息表,用于記錄SDCORS測(cè)站的基本信息; 2) 觀測(cè)數(shù)據(jù)表,用于存放不同測(cè)站產(chǎn)生的觀測(cè)數(shù)據(jù); 3) 準(zhǔn)備文件表,用于存放解算所需要的精密星歷數(shù)據(jù),精密鐘差數(shù)據(jù)等; 4) 數(shù)據(jù)預(yù)處理結(jié)果表,用于存放經(jīng)數(shù)據(jù)預(yù)處理后的數(shù)據(jù)和質(zhì)量檢核結(jié)果數(shù)據(jù); 5) 基線解算結(jié)果表,用于存放經(jīng)基線解算后的測(cè)站之間基線長度及其結(jié)果文件; 6) 網(wǎng)平差結(jié)果表,用于存放經(jīng)網(wǎng)平差處理后的各測(cè)站坐標(biāo)信息及其結(jié)果文件; 7) 任務(wù)信息表,用于實(shí)時(shí)存放用戶提交的解算任務(wù)并實(shí)時(shí)更新解算狀態(tài);⑧用戶權(quán)限表,用于管理不同用戶所具有的不同權(quán)限。

SDCORS解算的一切數(shù)據(jù)均直接來源于其數(shù)據(jù)庫,解算得到的一切結(jié)果數(shù)據(jù)也均直接存放于數(shù)據(jù)庫中,并且CORS系統(tǒng)中的參考站坐標(biāo)數(shù)據(jù)等都涉及國家機(jī)密,因此SDCORS數(shù)據(jù)具有數(shù)據(jù)量大,數(shù)據(jù)種類多,數(shù)據(jù)保密程度高等特點(diǎn)[4]。在對(duì)SDCORS數(shù)據(jù)庫管理信息系統(tǒng)進(jìn)行設(shè)計(jì)時(shí)要充分考慮到各種可能的突發(fā)情況帶來的數(shù)據(jù)損壞、數(shù)據(jù)丟失等意外情況的發(fā)生,因此必須設(shè)計(jì)一套完整可行的數(shù)據(jù)庫備份機(jī)制。同時(shí)考慮到SDCORS的數(shù)據(jù)特點(diǎn),可以采用壓縮備份機(jī)制,以節(jié)約服務(wù)器占用內(nèi)存,提高程序運(yùn)行效率。

2 MySQL自動(dòng)備份策略

2.1 MySQL備份參數(shù)

mysqldump是mysql用于轉(zhuǎn)存儲(chǔ)數(shù)據(jù)庫的實(shí)用程序。它主要產(chǎn)生一個(gè)SQL腳本,通過腳本運(yùn)行實(shí)現(xiàn)數(shù)據(jù)庫備份。

通過批處理文件中的@ECHO OFF和@ECHO ON命名來設(shè)置腳本運(yùn)行過程中的顯示與否狀態(tài)。通常在腳本中需要設(shè)置若干個(gè)必備與可選的參數(shù),常用的必備參數(shù)有:

<1)，且各件產(chǎn)品是否為不合格品相互獨(dú)立．

dbhost:設(shè)置dbhost為主機(jī)名或IP地址;dbuser: 設(shè)置登陸mysql數(shù)據(jù)庫的用戶名;dbpwd: 設(shè)置登陸mysql的密碼;backupPath: 設(shè)置備份文件存放的路徑;backupName:設(shè)置備份文件的文件名;database: 設(shè)置需要備份的數(shù)據(jù)庫名稱;mySqlPath:設(shè)置MySQL安裝路徑。

常用的可選參數(shù)有:

backupFolderPrefix:設(shè)置備份文件夾前綴; deleteHistorySkips:設(shè)置刪除歷史備份文件,即刪除多少次備份之前的備份文件。如0表示不刪除歷史備份文件;1表示刪除1次以前的備份文件,2表示刪除2次以前的備份文件,以此類推。onErrorDeleteBackFile:設(shè)置備份時(shí)發(fā)生錯(cuò)誤是否刪除歷史備份文件,Yes表示刪除;no表示不刪除。enableCompress:設(shè)置是否啟用壓縮功能,yes表示開啟壓縮功能。No表示禁用壓縮功能。缺省狀態(tài)為禁用壓縮功能。compressType:設(shè)置壓縮備份的壓縮類型,cab表示系統(tǒng)內(nèi)置cab壓縮功能,rar表示啟用RAR壓縮功能,選用RAR壓縮功能需要安裝RAR壓縮軟件支持。compressLevel:設(shè)置WinRAR壓縮級(jí)別。取值0到5.0表示無壓縮;5表示最高壓縮比;默認(rèn)值為3.volumePackSize:設(shè)置分卷大小。0表示不分卷,1表示1k,1024表示1M,2048表示2M,默認(rèn)值:102400,表示100M; rarPath:設(shè)置WinRAR安裝路徑; rarPwd:設(shè)置壓縮密碼,{empty}表示沒有密碼,其他字符表示壓縮文件密碼。

2.2 MySQL備份腳本

2.2.1 創(chuàng)建MySQL備份腳本

使用mysqldump運(yùn)行備份腳本,腳本編寫方式為:

"%mySqlPath%mysqldump"--single-transactio "%database%"-h"%dbhost%"-u"%dbuser%"-p"%dbpwd%"> "% backupPath %\%backupName%.sql"

2.2.2 創(chuàng)建環(huán)境檢測(cè)腳本

1) 檢測(cè)MySQL是否安裝腳本

"%mySqlPath%mysql"--help> NUL

2) 驗(yàn)證數(shù)據(jù)庫連接腳本

"%mySqlPath%mysql"-h"%dbhost%"-u"%dbuser%"-p"%dbpwd%"> NUL

3) 檢查壓縮軟件配置腳本

IF %enableCompress%==no IF %enableCompress%==yes

4) 檢查壓縮級(jí)別腳本

findstr/be "[0-5]"> NUL

5) 檢查壓縮類型腳本

IF %compressType%==rar IF %compressType%==cab

6) 驗(yàn)證RAR配置目錄腳本

IF exist "%rarPath%Rar.exe"

2.2.3 創(chuàng)建壓縮處理機(jī)制

使用RAR壓縮方式編寫的備份腳本為:

SET rarCommand="%rarPath% ar.exe" a-r -ep1 -o+ -m%compressLevel%

IF NOT %volumePackSize%==0 SET rarCommand=%rarCommand%-v%volumePackSize%

IF NOT %rarPwd%=={empty} SET rarCommand=%rarCommand%-p%rarPwd%

SET rarCommand=%rarCommand% "%backupPath%\%backupName%.rar"

2.3 Windows自動(dòng)定時(shí)服務(wù)

啟動(dòng)MySQL自動(dòng)備份的最后一步是添加Windows自動(dòng)定時(shí)服務(wù),通過Windows系統(tǒng)工具中的任務(wù)計(jì)劃程序設(shè)置備份腳本的執(zhí)行周期和時(shí)間,實(shí)現(xiàn)SDCORS數(shù)據(jù)庫的定時(shí)自動(dòng)備份。

3 SDCORS數(shù)據(jù)庫備份

對(duì)數(shù)據(jù)庫進(jìn)行備份時(shí),備份耗時(shí)會(huì)根據(jù)服務(wù)器配置的不同而有所差異,SDCORS數(shù)據(jù)庫備份測(cè)試服務(wù)器采用Windows Server 2008 R2的64位操作系統(tǒng),Intel處理器,系統(tǒng)C盤總?cè)萘繛?6G. 測(cè)試總數(shù)據(jù)為133個(gè)SDCORS基準(zhǔn)站10天的全部觀測(cè)數(shù)據(jù)和解算數(shù)據(jù),數(shù)據(jù)共28GB.根據(jù)SDCORS數(shù)據(jù)庫測(cè)試服務(wù)器的配置,將MySQL備份腳本中的所需參數(shù)進(jìn)行設(shè)置,設(shè)置完成后分別對(duì)SDCORS數(shù)據(jù)庫進(jìn)行了壓縮程度為0、1、2、3、4、5的5次壓縮備份測(cè)試,對(duì)5次壓縮備份的備份耗時(shí)和備份文件大小進(jìn)行了統(tǒng)計(jì),統(tǒng)計(jì)結(jié)果如表1所示,性能對(duì)比圖如圖1所示。

表1 不同壓縮等級(jí)性能對(duì)比表

圖1 不同壓縮等級(jí)性能對(duì)比

由圖中可以看出,壓縮等級(jí)越高,備份文件越小,備份所耗費(fèi)的時(shí)間越多。當(dāng)壓縮等級(jí)達(dá)到第2級(jí)后,備份文件大小變化并沒有隨著壓縮等級(jí)的增加有顯著的減小。因此,綜合考慮備份耗時(shí)和文件大小,在SDCORS壓縮備份策略中將壓縮級(jí)別默認(rèn)設(shè)置為2.

4 MySQL恢復(fù)策略

對(duì)數(shù)據(jù)庫進(jìn)行備份就是為了避免在突發(fā)狀況時(shí)導(dǎo)致重要數(shù)據(jù)的損壞與丟失。因此在備份成功后提供一套完整可行的數(shù)據(jù)庫恢復(fù)策略也是至關(guān)重要的。通過數(shù)據(jù)庫恢復(fù),可以將備份好的數(shù)據(jù)庫文件恢復(fù)到損壞或丟失之前的狀態(tài)。MySQL數(shù)據(jù)庫恢復(fù)與備份一樣,采用編寫腳本的方式執(zhí)行,使用mysql工具對(duì)數(shù)據(jù)進(jìn)行恢復(fù),MySQL恢復(fù)的腳本如下:

mysql.exe-h"%dbhost%"-u"%dbuser%"-p"%dbpwd%" "%database%"<"% backupPath %\%backupName%.sql".

5 結(jié)束語

對(duì)SDCORS數(shù)據(jù)庫進(jìn)行定時(shí)備份是保護(hù)數(shù)據(jù)的重要手段,具有數(shù)據(jù)庫備份與恢復(fù)功能的系統(tǒng)才能是一個(gè)完整的數(shù)據(jù)庫管理信息系統(tǒng)。 數(shù)據(jù)備份時(shí)不同的參數(shù)設(shè)置會(huì)達(dá)到不同的備份效果。SDCORS數(shù)據(jù)庫備份方式的特點(diǎn)是實(shí)現(xiàn)了壓縮備份和自動(dòng)備份,通過壓縮備份將服務(wù)器的空間利用率得以提高,同時(shí)方便SDCORS數(shù)據(jù)的遷移,通過自動(dòng)備份減少了繁瑣的人工操作,同時(shí),各個(gè)備份參數(shù)獨(dú)立設(shè)置,便于備份腳本的修改,使得整個(gè)系統(tǒng)在空間利用率和時(shí)間利用率都得到提高。

[1] 許雪晶.MySQL自動(dòng)定時(shí)備份方式的實(shí)現(xiàn)[J].宜春學(xué)院學(xué)報(bào),2014,36(3):51-53.

[2] 趙志學(xué).MySQL數(shù)據(jù)庫備份與恢復(fù)[J].電腦學(xué)習(xí),2009(6):32-34.

[3] 姜英明,郭金運(yùn).利用SDCORS數(shù)據(jù)建立山東區(qū)域動(dòng)態(tài)坐標(biāo)參考框架[J].北京測(cè)繪,2015(5):31-34.

[4] 杜珺,劉新.區(qū)域CORS數(shù)據(jù)庫管理信息系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].全球定位系統(tǒng),2015,40(5):102-106.

[5] 田娟.淺談MYSQL數(shù)據(jù)庫的備份與恢復(fù)[J].電腦知識(shí)與技術(shù),2012,8(17):46-47.

[6] 何平.海量數(shù)據(jù)庫系統(tǒng)高性能備份的研究與實(shí)現(xiàn)[D]. 長沙:國防科學(xué)技術(shù)大學(xué),2005.

Automatic Compression and Backup Mechanism of SDCORS Database Based on MySQL

DU Jun, LIU Xin, GUO Jinyun, JIANG Yingming

(GeomaticsCollege，ShandongUniversityofScienceandTechnology,Qingdao266590,China)

By writing MySQL batch compress backup script, using import and export tools mysqldump.exe, setting the Windows automatic timing service, this paper makes SDCORS database automatic timing compress backup realized. This paper uses 133 SDCORS station observe data and calculate result data of 10 days for different compression levels tests. Finally, by comparing the efficiency of different tests, we chose the optimal level of backup compression.

MySQL; SDCORS； database; compress; automatic; backup

10.13442/j.gnss.1008-9268.2016.05.026

2016-03-30

國家自然科學(xué)基金(批準(zhǔn)號(hào):41374009); 山東省自然科學(xué)基金(批準(zhǔn)號(hào):ZR2013DM009)

P228.4

A

1008-9268(2016)05-0127-04

杜珺 (1990-),女,山西忻州人,碩士生,主要從事地理信息系統(tǒng)的應(yīng)用與開發(fā)。

劉新 (1969-),女,山東肥城人,博士后,副教授,主要從事空間信息處理等工作。

郭金運(yùn) (1969-),男,博士,教授,博導(dǎo),主要從事空間大地測(cè)量、海洋大地測(cè)量和物理大地測(cè)量等研究。

姜英明 (1991-),男,山東泰安人,碩士生,主要從事空間大地測(cè)量研究。

聯(lián)系人： 杜珺 E-mail: dujun_sx1990@163.com