我國(guó)省級(jí)工程建設(shè)項(xiàng)目審批管理系統(tǒng)中高可用MySql 架構(gòu)的部署與應(yīng)用討論

文｜宿遷市自然資源基礎(chǔ)信息中心 楊成飛

【關(guān)鍵字】工程建設(shè)項(xiàng)目審批制度改革；工程建設(shè)項(xiàng)目審批管理系統(tǒng)；高可用MySql 架構(gòu)；三級(jí)部署；數(shù)據(jù)實(shí)時(shí)共享

0.引言

基于改革要求下的工程建設(shè)項(xiàng)目審批體系對(duì)于城市審批數(shù)據(jù)傳輸?shù)膶?shí)時(shí)性要求很高，住房和城鄉(xiāng)建設(shè)部編制的《工程建設(shè)項(xiàng)目審批管理系統(tǒng)數(shù)據(jù)共享交換標(biāo)準(zhǔn)V2.0》要求“城市工程建設(shè)項(xiàng)目審批管理系統(tǒng)運(yùn)行產(chǎn)生的數(shù)據(jù)，在5 分鐘內(nèi)應(yīng)上傳到省級(jí)、國(guó)家級(jí)工程建設(shè)項(xiàng)目審批管理系統(tǒng)”。省級(jí)工程建設(shè)項(xiàng)目審批管理系統(tǒng)（以下簡(jiǎn)稱“省級(jí)系統(tǒng)”）處于工程建設(shè)項(xiàng)目審批數(shù)據(jù)三級(jí)上報(bào)體系的中間層，承擔(dān)著接收城市工程建設(shè)項(xiàng)目審批管理系統(tǒng)（以下簡(jiǎn)稱“城市系統(tǒng)”）數(shù)據(jù)以及向國(guó)家工程建設(shè)項(xiàng)目審批管理系統(tǒng)（以下簡(jiǎn)稱“國(guó)家系統(tǒng)”）推送數(shù)據(jù)的任務(wù)，因此，采用高可用的數(shù)據(jù)庫(kù)架構(gòu)，確保省級(jí)系統(tǒng)數(shù)據(jù)傳輸?shù)臅r(shí)效性和穩(wěn)定性，是實(shí)現(xiàn)整個(gè)工程建設(shè)項(xiàng)目審批數(shù)據(jù)體系實(shí)時(shí)共享的重要保障。

本文基于工程建設(shè)項(xiàng)目審批監(jiān)管數(shù)據(jù)的上報(bào)體系，介紹使用高可用MySQL 架構(gòu)保障省級(jí)系統(tǒng)實(shí)現(xiàn)工程建設(shè)項(xiàng)目審批數(shù)據(jù)上報(bào)持續(xù)性和實(shí)時(shí)性的案例。

1.審批數(shù)據(jù)三級(jí)上報(bào)體系

工程建設(shè)項(xiàng)目審批數(shù)據(jù)的上報(bào)為三級(jí)上報(bào)體系，由城市系統(tǒng)上報(bào)給省級(jí)系統(tǒng)，再由省級(jí)系統(tǒng)上報(bào)給國(guó)家系統(tǒng)。省級(jí)系統(tǒng)采用“前置機(jī)+通知接口”的方式接收城市系統(tǒng)推送的審批數(shù)據(jù)，為每個(gè)城市分配前置庫(kù)賬號(hào)和通知接口賬號(hào)。城市系統(tǒng)運(yùn)行產(chǎn)生的數(shù)據(jù)實(shí)時(shí)推送給省級(jí)系統(tǒng)前置機(jī)，同時(shí)調(diào)用省級(jí)系統(tǒng)的通知接口，省級(jí)系統(tǒng)接到通知后對(duì)城市系統(tǒng)的數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)，匯聚數(shù)據(jù)到正式庫(kù)，同時(shí)向國(guó)家系統(tǒng)推送審批數(shù)據(jù)。

各個(gè)地市系統(tǒng)的工程建設(shè)項(xiàng)目審批數(shù)據(jù)推送到省級(jí)系統(tǒng)的前置數(shù)據(jù)庫(kù)，為提升數(shù)據(jù)的時(shí)效性，在省級(jí)系統(tǒng)前置機(jī)中建立省級(jí)系統(tǒng)的正式數(shù)據(jù)庫(kù)，用于匯集地市系統(tǒng)的審批數(shù)據(jù)并開展校驗(yàn)。

從審批數(shù)據(jù)三級(jí)上報(bào)體系可以看出，審批數(shù)據(jù)要實(shí)現(xiàn)與國(guó)家系統(tǒng)的實(shí)時(shí)共享，省級(jí)系統(tǒng)的可用性對(duì)數(shù)據(jù)上報(bào)的持續(xù)性和實(shí)時(shí)性起著至關(guān)重要的作用。

2.高可用MySQL 架構(gòu)設(shè)計(jì)

由于各個(gè)地市系統(tǒng)的工程建設(shè)項(xiàng)目審批數(shù)據(jù)量大，對(duì)省級(jí)前置機(jī)的訪問(wèn)頻次高，前置數(shù)據(jù)庫(kù)服務(wù)器負(fù)載壓力大，一旦前置機(jī)出現(xiàn)故障，數(shù)據(jù)上報(bào)鏈路中斷，數(shù)據(jù)無(wú)法上報(bào)給省級(jí)系統(tǒng)和國(guó)家系統(tǒng)，將導(dǎo)致監(jiān)督考核統(tǒng)計(jì)結(jié)果不準(zhǔn)確，影響各級(jí)領(lǐng)導(dǎo)層的監(jiān)管決策。為保障數(shù)據(jù)上報(bào)持續(xù)性和實(shí)時(shí)性，減輕前置數(shù)據(jù)庫(kù)服務(wù)器的負(fù)載壓力，通過(guò)設(shè)計(jì)一套高可用的MySQL 數(shù)據(jù)庫(kù)架構(gòu)，利用主從備份、讀寫分離和雙機(jī)熱備技術(shù)，實(shí)現(xiàn)審批數(shù)據(jù)熱備份以及服務(wù)器故障后的自動(dòng)切換，從而確保數(shù)據(jù)上報(bào)的安全、可靠和持續(xù)性。

2.1 MySQL 主從同步

當(dāng)前廣泛使用的MySQL 數(shù)據(jù)庫(kù)的備份應(yīng)用中，“主從復(fù)制結(jié)構(gòu)”應(yīng)用已成為主流，其數(shù)據(jù)同步和實(shí)時(shí)性都很高，技術(shù)上可滿足省級(jí)系統(tǒng)數(shù)據(jù)傳輸高時(shí)效性的應(yīng)用需求。部署MySQL 主從同步，增加從服務(wù)器，實(shí)現(xiàn)主從服務(wù)器數(shù)據(jù)實(shí)時(shí)備份，可避免因服務(wù)器故障導(dǎo)致的數(shù)據(jù)丟失，并為實(shí)現(xiàn)讀寫分離奠定基礎(chǔ)，從而提升數(shù)據(jù)庫(kù)的性能。

Mysql 服務(wù)器集群之間的主從同步機(jī)制是基于二進(jìn)制日志，僅記錄所有數(shù)據(jù)庫(kù)表結(jié)構(gòu)變更以及表數(shù)據(jù)修改，而不會(huì)記錄SELECT 和SHOW 這類操作，數(shù)據(jù)保存的是二進(jìn)制數(shù)據(jù)。主服務(wù)器使用二進(jìn)制日志來(lái)記錄數(shù)據(jù)庫(kù)的變動(dòng)情況，從服務(wù)器通過(guò)讀取和執(zhí)行該日志文件來(lái)保持和主服務(wù)器的數(shù)據(jù)一致。通過(guò)主從同步機(jī)制，省級(jí)系統(tǒng)前置機(jī)主庫(kù)的所有變更或修改操作都會(huì)被記錄下來(lái)，然后從庫(kù)會(huì)接收到日志副本，并執(zhí)行日志中的語(yǔ)句，即可實(shí)現(xiàn)數(shù)據(jù)的同步。

圖1 審批數(shù)據(jù)三級(jí)上報(bào)體系圖

圖2 MySQL 主從同步示意圖

2.1.1 主從同步的原理

（1）Master 服務(wù)器將數(shù)據(jù)變更記錄到二進(jìn)制日志(binary log)中（這些記錄叫做二進(jìn)制日志事件，binary log events）。

（2）Slave 服務(wù)器將Master 服務(wù)器的binary log events 拷貝到它的中繼日志(relay log)。

（3）Slave 服務(wù)器執(zhí)行中繼日志中的事件，即實(shí)現(xiàn)與Master 服務(wù)器同步數(shù)據(jù)。

2.1.2 主從復(fù)制配置步驟：

1.3.2 觀察組 采取硝苯地平與鹽酸拉貝洛爾(江蘇迪賽諾制藥有限公司，國(guó)藥準(zhǔn)字：H32026120)聯(lián)合治療：予以鹽酸拉貝洛爾100 mg/次，3次/d，口服；硝苯地平用藥方法與對(duì)照組相同。兩組均持續(xù)治療2周。

（1）增加一臺(tái)服務(wù)器用作省級(jí)系統(tǒng)前置服務(wù)器的從庫(kù)。

（2）從省級(jí)系統(tǒng)前置機(jī)主庫(kù)中導(dǎo)出一份完整的結(jié)構(gòu)和數(shù)據(jù)，導(dǎo)入到從庫(kù)中，確保從數(shù)據(jù)庫(kù)與主數(shù)據(jù)庫(kù)里的結(jié)構(gòu)和數(shù)據(jù)完全一致。

（3）在主數(shù)據(jù)庫(kù)里創(chuàng)建一個(gè)同步賬戶授權(quán)給從數(shù)據(jù)庫(kù)使用。

（4）配合主數(shù)據(jù)庫(kù)，修改配置文件，啟用binlog 日志，設(shè)置服務(wù)器標(biāo)識(shí)符server-id 為2（必 須 比 從 庫(kù)id 大），重 啟Mysql 服務(wù)。

（5）配置從數(shù)據(jù)庫(kù)，修改配置文件，設(shè)置服務(wù)器標(biāo)識(shí)符server-id 為1,啟用中繼日志relay log，重啟Mysql 服務(wù)。

（6）配置并啟動(dòng)主從復(fù)制。

2.2 Mycat 實(shí)現(xiàn)讀寫分離

省級(jí)系統(tǒng)應(yīng)用服務(wù)器對(duì)前置機(jī)數(shù)據(jù)庫(kù)服務(wù)器的操作包括讀數(shù)據(jù)和寫數(shù)據(jù)，容易造成負(fù)載壓力過(guò)大，因此采用“讀寫分離”的方式來(lái)減少服務(wù)器壓力，將讀數(shù)據(jù)的操作全部交給從庫(kù)處理，減少對(duì)前置機(jī)服務(wù)器主庫(kù)的請(qǐng)求量，從而實(shí)現(xiàn)負(fù)載均衡。

Mycat 是一個(gè)廣受好評(píng)的數(shù)據(jù)庫(kù)中間件,在處理數(shù)據(jù)庫(kù)操作上已經(jīng)很成熟，在本方案中使用Mycat 來(lái)實(shí)現(xiàn)數(shù)據(jù)庫(kù)的讀寫分離。

省級(jí)系統(tǒng)讀寫分離的步驟：

（1）省級(jí)系統(tǒng)主庫(kù)與省級(jí)系統(tǒng)從庫(kù)實(shí)現(xiàn)主從復(fù)制功能。

（2）應(yīng)用端（MySQL 客戶端或應(yīng)用程序）發(fā)起讀寫請(qǐng)求。

（3）Mycat 服務(wù)器對(duì)讀寫請(qǐng)求進(jìn)行分發(fā)，將寫操作發(fā)送給省級(jí)系統(tǒng)主庫(kù)處理，讀操作發(fā)送給省級(jí)系統(tǒng)從庫(kù)處理。

Mycat 讀寫分離配置操作步驟：

（1）配置Mycat 賬號(hào)密碼和數(shù)據(jù)庫(kù)名（server.xml）；Mycat 作為數(shù)據(jù)庫(kù)的中間件，對(duì)于上層應(yīng)用來(lái)說(shuō)，它就是一個(gè)數(shù)據(jù)庫(kù)。因此需要配置數(shù)據(jù)庫(kù)的用戶名，密碼，數(shù)據(jù)庫(kù)名，以及讀寫權(quán)限。

（2）在 schema.xml 文件中配置讀寫分離，包括數(shù)據(jù)庫(kù)配置、分片配置、物理數(shù)據(jù)庫(kù)配置和讀寫服務(wù)器信息配置。

（3）啟動(dòng)Mycat，在配置文件server.xml 中設(shè)置全局sql 防火墻，將需要訪問(wèn)Mycat 的ip 加入到whitehost（IP 白名單）中。

2.3 雙機(jī)熱備+Keepalived 實(shí)現(xiàn)故障切換

在前文中通過(guò)Mycat 和MySQL 主從復(fù)制實(shí)現(xiàn)了數(shù)據(jù)庫(kù)的讀寫分離和數(shù)據(jù)備份，這種結(jié)構(gòu)很大程度保證了MySQL 的高可用，但是對(duì)于省級(jí)系統(tǒng)前置庫(kù)這種寫操作特別頻繁的服務(wù)器環(huán)境來(lái)說(shuō)，寫操作的要求很高，一旦主庫(kù)宕機(jī)，無(wú)法實(shí)現(xiàn)數(shù)據(jù)庫(kù)的自動(dòng)切換，同樣會(huì)造成數(shù)據(jù)上傳中斷，影響到實(shí)時(shí)性，因此需要部署雙主互備架構(gòu)，避免主節(jié)點(diǎn)故障造成寫操作失效。

本節(jié)主要介紹利用Keepalived+MySQL雙主來(lái)實(shí)現(xiàn) MySQL 數(shù)據(jù)庫(kù)故障自動(dòng)切換。在主從復(fù)制結(jié)構(gòu)的中，當(dāng)主庫(kù)出現(xiàn)故障時(shí)，從庫(kù)能識(shí)別并接管主庫(kù)的功能，快速將自身設(shè)置為主庫(kù)，繼續(xù)向外提供服務(wù)。絕大部分情況下，該過(guò)程可在5 秒內(nèi)可切換完成。待原主庫(kù)修復(fù)后，會(huì)自動(dòng)恢復(fù)從庫(kù)的備份角色，如此循環(huán)以保障應(yīng)用不間斷。

圖3 Mycat 部署讀寫分離部署示意圖

圖4 MySQL 雙機(jī)熱備+keepalived 部署示意圖

當(dāng)前，我國(guó)已有很多省份應(yīng)用了雙機(jī)熱備+Keepalived 實(shí)現(xiàn)故障切換，由省級(jí)系統(tǒng)將虛擬IP 和端口提供給地市工建系統(tǒng)，地市工建系統(tǒng)通過(guò)訪問(wèn)虛擬IP 和端口上傳數(shù)據(jù)，虛擬IP 通過(guò)keepalived 判斷雙主備份的服務(wù)器節(jié)點(diǎn)情況，自動(dòng)選擇處理的服務(wù)器，當(dāng)主節(jié)點(diǎn)服務(wù)器宕機(jī)時(shí)，自動(dòng)切換至備節(jié)點(diǎn)服務(wù)器，從而保障省級(jí)系統(tǒng)數(shù)據(jù)上傳持續(xù)性和實(shí)時(shí)性。

要基于Keepalived+MySQL 雙主來(lái)實(shí)現(xiàn)MySQL-HA，必須保證兩臺(tái)MySQL 數(shù)據(jù)庫(kù)的數(shù)據(jù)完全一樣，需要將兩臺(tái)MySQL互為主從關(guān)系，通過(guò)Keepalived 相互配置虛擬IP。在實(shí)際運(yùn)行過(guò)程中實(shí)現(xiàn)其中一臺(tái)MySQL 數(shù)據(jù)庫(kù)宕機(jī)后，應(yīng)用能夠立即切換到另外一臺(tái)MySQL 數(shù)據(jù)庫(kù)，持續(xù)提供服務(wù)，保證系統(tǒng)的高可用。

在雙主互備的基礎(chǔ)上加上keepalived，在其中一臺(tái)機(jī)器上綁定虛擬ip（VIP）。利用vip 統(tǒng)一對(duì)外服務(wù)，可以避免在兩個(gè)節(jié)點(diǎn)同時(shí)寫數(shù)據(jù)造成沖突。同時(shí)當(dāng)keepalived 主節(jié)點(diǎn)發(fā)生故障時(shí)，keeplived 會(huì)自動(dòng)將VIP切換到備節(jié)點(diǎn)上，從而實(shí)現(xiàn)主服務(wù)器的高可用。

MySQL 雙主互備+keepalived 架構(gòu)部署：

（1）增加一臺(tái)服務(wù)器用于與省級(jí)系統(tǒng)前置庫(kù)實(shí)現(xiàn)雙主互備，基于MySQL 主從復(fù)制，對(duì)每臺(tái)服務(wù)器都進(jìn)行同樣的主從設(shè)置。

（2）對(duì)兩臺(tái)服務(wù)器均安裝keepalived，并進(jìn)行相關(guān)的配置。

（3）對(duì)主節(jié)點(diǎn)keepalived 進(jìn)行配置，設(shè)置priority 為100，增加參數(shù)nopreempt，設(shè)置不搶占模式，配置對(duì)外的服務(wù)器IP（VIP）。

（4）對(duì)備節(jié)點(diǎn)keepalived 進(jìn)行配置，設(shè)置priority 為90，配置對(duì)外的服務(wù)器IP（VIP）。

（5）啟動(dòng)keepalived，通過(guò)故障模擬，測(cè)試VIP 的漂移情況（即主節(jié)點(diǎn)宕機(jī)后，是否能自動(dòng)切換至備節(jié)點(diǎn)）。

3.省級(jí)系統(tǒng)服務(wù)器架構(gòu)案例分析

在住房和建設(shè)部門業(yè)務(wù)領(lǐng)域中，工程建設(shè)項(xiàng)目涵蓋政府投資類的房屋建筑和市政工程項(xiàng)目、社會(huì)投資類的一般社會(huì)投資、小型社會(huì)投資和帶方案出讓社會(huì)投資項(xiàng)目以及工業(yè)類投資等項(xiàng)目，涉及范圍廣，審批業(yè)務(wù)復(fù)雜，涉及其他業(yè)務(wù)部門多，產(chǎn)生的審批業(yè)務(wù)數(shù)據(jù)量極大。省級(jí)工程項(xiàng)目審批管理系統(tǒng)作為一種評(píng)價(jià)改革成效的信息化手段，承載匯聚并校驗(yàn)行政區(qū)域內(nèi)各地級(jí)市的工程建設(shè)項(xiàng)目審批數(shù)據(jù)，具有對(duì)全省各地市工程建設(shè)項(xiàng)目審批制度改革效能的監(jiān)督和分析的功能，包括對(duì)各地市審批項(xiàng)目數(shù)、審批辦件數(shù)、審批逾期情況、審批用時(shí)等情況的分析。省級(jí)系統(tǒng)是三級(jí)上報(bào)體系的重要一環(huán)，保障省級(jí)系統(tǒng)數(shù)據(jù)架構(gòu)的高可用是對(duì)整個(gè)工程建設(shè)項(xiàng)目審批數(shù)據(jù)體系實(shí)時(shí)共享的重要保障。

圖5 某省級(jí)系統(tǒng)服務(wù)器部署示意圖

以某省級(jí)系統(tǒng)建設(shè)情況為例，該省級(jí)系統(tǒng)使用三臺(tái)數(shù)據(jù)庫(kù)服務(wù)器實(shí)現(xiàn)MySQL 的高可用架構(gòu)，一臺(tái)服數(shù)據(jù)庫(kù)服務(wù)器作為省級(jí)系統(tǒng)主庫(kù)，兩臺(tái)數(shù)據(jù)庫(kù)服務(wù)器作為省級(jí)系統(tǒng)從庫(kù)。省級(jí)系統(tǒng)主庫(kù)A 承擔(dān)省級(jí)系統(tǒng)前置數(shù)據(jù)庫(kù)的數(shù)據(jù)匯集和省級(jí)系統(tǒng)應(yīng)用的寫操作，兩臺(tái)數(shù)據(jù)庫(kù)服務(wù)器作為省級(jí)系統(tǒng)從庫(kù)，分別用于讀寫分離和雙機(jī)熱備。

省級(jí)系統(tǒng)從庫(kù)B 用來(lái)與省級(jí)系統(tǒng)主庫(kù)A 形成雙機(jī)熱備，使用VIP 對(duì)外提供服務(wù)，keepalived 監(jiān)測(cè)服務(wù)器情況，當(dāng)省級(jí)系統(tǒng)主庫(kù)A 出現(xiàn)故障時(shí)，省級(jí)系統(tǒng)從庫(kù)B 自動(dòng)接管主庫(kù)的操作。

省級(jí)系統(tǒng)從庫(kù)C 作為省級(jí)系統(tǒng)主庫(kù)A的備份庫(kù)，承擔(dān)省級(jí)應(yīng)用的讀操作和數(shù)據(jù)統(tǒng)計(jì)分析。省級(jí)系統(tǒng)訪問(wèn)數(shù)據(jù)庫(kù)服務(wù)時(shí)，通過(guò)中間件MyCat 實(shí)現(xiàn)讀寫分離將寫操作發(fā)送給省級(jí)系統(tǒng)主庫(kù)A 處理，讀操作發(fā)送給省級(jí)系統(tǒng)從庫(kù)C 處理，從而減輕對(duì)省級(jí)系統(tǒng)主庫(kù)A 的負(fù)載壓力。

4.結(jié)語(yǔ)

基于高可用MySql 架構(gòu)的部署建設(shè)的省級(jí)工程建設(shè)項(xiàng)目審批管理系統(tǒng)，具有高可用性和穩(wěn)定性的特點(diǎn)，能保障工程建設(shè)項(xiàng)目審批數(shù)據(jù)上報(bào)的穩(wěn)定性和實(shí)時(shí)性，為工程建設(shè)項(xiàng)目審批制度改革的成功提供了強(qiáng)有力的技術(shù)保障，能有效提升工程建設(shè)項(xiàng)目審批管理及服務(wù)水平，輔助政府智慧決策。隨著全國(guó)工程建設(shè)項(xiàng)目審批制度改革工作的持續(xù)推進(jìn)和深化，相信其信息化支撐系統(tǒng)建設(shè)將更加完善，發(fā)揮出更大效用，創(chuàng)造出更大的經(jīng)濟(jì)效益和社會(huì)效益。