浙江大學(xué)構(gòu)建高安全性的雙棧郵件系統(tǒng)

文/常曉潔 江肖強(qiáng)

浙江大學(xué)構(gòu)建高安全性的雙棧郵件系統(tǒng)

文/常曉潔 江肖強(qiáng)

近期，浙江大學(xué)對(duì)郵件系統(tǒng)進(jìn)行了軟硬件的整體升級(jí)，舊的郵件系統(tǒng)雖能滿(mǎn)足基本的收發(fā)郵件需求，但在日益增長(zhǎng)的用戶(hù)和數(shù)據(jù)量、快速發(fā)展移動(dòng)互聯(lián)環(huán)境，以及越來(lái)越復(fù)雜的網(wǎng)絡(luò)環(huán)境下無(wú)法滿(mǎn)足用戶(hù)隨時(shí)隨地安全快速訪問(wèn)郵件系統(tǒng)的需求，其中最為主要的問(wèn)題是：1.郵件系統(tǒng)安全性以及數(shù)據(jù)的可靠性不夠高，例如經(jīng)常會(huì)出現(xiàn)郵箱賬號(hào)被黑、電腦中毒等導(dǎo)致的濫發(fā)郵件情況、且無(wú)法阻攔，郵件數(shù)據(jù)丟失無(wú)法恢復(fù)問(wèn)題，災(zāi)難性系統(tǒng)故障，數(shù)據(jù)容災(zāi)的可靠性問(wèn)題等；2.隨著并發(fā)數(shù)和郵件數(shù)據(jù)的急劇增長(zhǎng)，系統(tǒng)擴(kuò)容非常困難，并且擴(kuò)容會(huì)影響業(yè)務(wù)的正常運(yùn)行；3.校外特別是海外訪問(wèn)速度過(guò)慢，另外由于國(guó)外存在郵件代理情況，因此經(jīng)過(guò)某些鏈路的郵件無(wú)法投遞導(dǎo)致郵件數(shù)據(jù)丟失以及系統(tǒng)不穩(wěn)定等。因此，針對(duì)上述問(wèn)題以及用戶(hù)的需求，浙江大學(xué)在對(duì)相關(guān)產(chǎn)品和方案進(jìn)行反復(fù)調(diào)研的基礎(chǔ)上，重新部署了一套大規(guī)模郵件系統(tǒng)，并針對(duì)性地設(shè)計(jì)了安全保障體系，從系統(tǒng)安全、數(shù)據(jù)安全、賬號(hào)安全多個(gè)層面進(jìn)行防護(hù)，實(shí)現(xiàn)了系統(tǒng)的容災(zāi)、網(wǎng)絡(luò)的容災(zāi)以及數(shù)據(jù)的可靠備份。

郵件系統(tǒng)安全體系設(shè)計(jì)

系統(tǒng)安全性

郵件系統(tǒng)的核心部分是數(shù)據(jù)庫(kù)，包括元數(shù)據(jù)MD（meta data）和用戶(hù)數(shù)據(jù)UD（user data）部分。浙江大學(xué)郵件系統(tǒng)在系統(tǒng)結(jié)構(gòu)上將MD和UD服務(wù)器置于校內(nèi)網(wǎng)，從物理結(jié)構(gòu)上斷絕了與外部的直接聯(lián)系。內(nèi)網(wǎng)用戶(hù)發(fā)送的認(rèn)證請(qǐng)求，由接收服務(wù)器（如web server或POP3 server）代理，通過(guò)內(nèi)網(wǎng)專(zhuān)有協(xié)議訪問(wèn)用戶(hù)數(shù)據(jù)庫(kù)，確保操作安全可靠。內(nèi)外網(wǎng)分開(kāi)的結(jié)構(gòu)也同時(shí)減輕了網(wǎng)絡(luò)流量負(fù)擔(dān)。如圖1是郵件系統(tǒng)的模塊架構(gòu)圖。

每個(gè)服務(wù)模塊都包括Heart-Beat同步信息端口以及服務(wù)監(jiān)視功能。若某一服務(wù)處理模塊出現(xiàn)故障，與之通信的模塊會(huì)自動(dòng)停止數(shù)據(jù)傳送，防止由于反復(fù)的連接嘗試造成此服務(wù)模塊的性能下降，保證系統(tǒng)其他模塊的正常運(yùn)作，不會(huì)因?yàn)楣收戏?wù)模塊產(chǎn)生連鎖反應(yīng)，待Heart-Beat信息同步正常，再自動(dòng)恢復(fù)數(shù)據(jù)通信；同樣若某服務(wù)程序模塊因故障下線(xiàn)，由于模塊具有服務(wù)監(jiān)視功能，將會(huì)自動(dòng)重起服務(wù)，并保存服務(wù)運(yùn)行日志，方便管理員查閱，增強(qiáng)系統(tǒng)運(yùn)行的可靠性。

無(wú)限制、固定、公開(kāi)的通信端口是主機(jī)安全運(yùn)行的隱患，有些黑客向通信端口發(fā)送大量非法數(shù)據(jù)，致使服務(wù)癱瘓。所以，支持隱蔽重要的服務(wù)端口、及時(shí)修改端口號(hào)、設(shè)置端口訪問(wèn)限制、主要系統(tǒng)內(nèi)部服務(wù)通信協(xié)議自行開(kāi)發(fā)設(shè)計(jì)、設(shè)計(jì)郵件系統(tǒng)的核心進(jìn)程由非超級(jí)用戶(hù)權(quán)限運(yùn)行等措施，是郵件系統(tǒng)確保安全的手段。

圖1 郵件系統(tǒng)模塊架構(gòu)

大規(guī)模郵件系統(tǒng)的中心是數(shù)據(jù)庫(kù)，浙江大學(xué)郵件系統(tǒng)的中心數(shù)據(jù)庫(kù)采用關(guān)系數(shù)據(jù)庫(kù)，并使用Cache技術(shù)，將經(jīng)常使用的用戶(hù)登錄信息緩沖到內(nèi)存中，提高系統(tǒng)訪問(wèn)數(shù)據(jù)庫(kù)的速度，也降低中心數(shù)據(jù)庫(kù)負(fù)載，提高系統(tǒng)的安全可靠性。

數(shù)據(jù)安全性

浙江大學(xué)郵件系統(tǒng)的郵件投遞面向事務(wù)處理。每封郵件從MTA接收投遞到用戶(hù)的郵箱中都產(chǎn)生Transaction Log。當(dāng)有系統(tǒng)網(wǎng)絡(luò)故障，系統(tǒng)斷電等緊急情況出現(xiàn)，服務(wù)程序重新啟動(dòng)后，會(huì)根據(jù)Transaction Log的記錄重新完成郵件投遞任務(wù)，保證用戶(hù)的郵件數(shù)據(jù)不丟失。

傳統(tǒng)郵件系統(tǒng)的存儲(chǔ)方法，是為每個(gè)用戶(hù)創(chuàng)建一個(gè)目錄，存放配置信息和郵箱，一個(gè)郵件一個(gè)文件。在用戶(hù)量很大時(shí)試圖對(duì)用戶(hù)信息進(jìn)行檢索備份幾乎不可能。龐大的目錄結(jié)構(gòu)和文件數(shù)量也迅速降低了磁盤(pán)I/O速度，增加系統(tǒng)開(kāi)銷(xiāo)、存儲(chǔ)碎片，最終導(dǎo)致文件系統(tǒng)錯(cuò)誤或磁盤(pán)損壞。浙江大學(xué)郵件系統(tǒng)將用戶(hù)信箱數(shù)據(jù)存儲(chǔ)與郵件數(shù)據(jù)存儲(chǔ)的徹底分離：將用戶(hù)的配置信息和郵件索引存放在User Data數(shù)據(jù)庫(kù)中，將用戶(hù)的郵件內(nèi)容存放在Message Storage中。同一用戶(hù)的郵件通常僅存在一個(gè)文件中，而用戶(hù)閱讀郵件目錄，或轉(zhuǎn)移郵件，

只是對(duì)User Data記錄的修改。這樣既減少了磁盤(pán)I/O提高了操作速度，同時(shí)也由于將用戶(hù)信息與郵件分離的結(jié)構(gòu)，使Message Storage和User Data的存儲(chǔ)分配更為靈活，多臺(tái)Message Storage和User Data間的存儲(chǔ)負(fù)荷由權(quán)重參數(shù)分配比例，并根據(jù)需要調(diào)整。如：原有MS1，MS2, 權(quán)重設(shè)置為10∶10 , 后增加新的MS3,希望新的郵件多發(fā)到MS3上，可將權(quán)重參數(shù)改為5∶5∶10 。

用戶(hù)注冊(cè)，修改信息都實(shí)時(shí)記錄在運(yùn)行數(shù)據(jù)庫(kù)和備份數(shù)據(jù)庫(kù)中。由于支持用戶(hù)賬號(hào)數(shù)據(jù)庫(kù)聯(lián)機(jī)熱備份，若運(yùn)行數(shù)據(jù)庫(kù)出現(xiàn)故障，系統(tǒng)自動(dòng)從備份數(shù)據(jù)庫(kù)中取得用戶(hù)信息，保證用戶(hù)可以登錄和收發(fā)郵件。同時(shí)，由于用戶(hù)賬號(hào)數(shù)據(jù)容量較小，可以進(jìn)行每日備份，備份時(shí)間短，恢復(fù)速度快。用戶(hù)郵件數(shù)據(jù)則以文件方式存放，由于采用二級(jí)索引、多郵件存于單文件的方式，大大減少文件數(shù)量，增加郵件備份速度和恢復(fù)速度。采用Sun Veritas文件系統(tǒng)，可以對(duì)文件系統(tǒng)進(jìn)行整體備份和增量備份。郵件數(shù)據(jù)還具有AutoRepair功能，打開(kāi)AutoRepair功能，用戶(hù)在登錄時(shí)系統(tǒng)自動(dòng)檢查用戶(hù)信息，在某些特殊情況下，如用戶(hù)郵件索引丟失等，重新生成郵件索引，使郵箱恢復(fù)到正常。

賬號(hào)安全性

為保護(hù)用戶(hù)Webmail郵箱的登錄安全，對(duì)用戶(hù)密碼設(shè)置開(kāi)啟弱密碼策略，可通過(guò)強(qiáng)制密碼強(qiáng)度等級(jí)，避免由于用戶(hù)登錄密碼過(guò)于簡(jiǎn)單而被猜測(cè)破解。系統(tǒng)定義密碼強(qiáng)度級(jí)別為不限制、普通、中級(jí)、高級(jí)四個(gè)等級(jí)。另外可定義一些弱密碼如11111、123456、和賬號(hào)相同的密碼等，在用戶(hù)登錄郵箱時(shí)檢測(cè)用戶(hù)密碼，若密碼未達(dá)到對(duì)應(yīng)級(jí)別或與定義的弱密碼相同，則提示用戶(hù)修改密碼并跳轉(zhuǎn)到修改密碼界面；當(dāng)非法登錄密碼出錯(cuò)到一定次數(shù)時(shí)系統(tǒng)開(kāi)啟自動(dòng)保護(hù)，如通過(guò)圖形驗(yàn)證，可避免遭受黑客網(wǎng)絡(luò)密碼字典攻擊。由此來(lái)降低用戶(hù)密碼被惡意軟件猜測(cè)獲取的概率，保護(hù)Webmail郵箱安全。

由于郵件系統(tǒng)支持其他系統(tǒng)通過(guò)SMTP端口自動(dòng)發(fā)送郵件，在發(fā)送SMTP交互命令auth login進(jìn)行驗(yàn)證USER和PASS時(shí)通過(guò)加密驗(yàn)證信息提高安全性，預(yù)防竊聽(tīng)。同時(shí)設(shè)定SMTP驗(yàn)證次數(shù)限制，當(dāng)驗(yàn)證失敗次數(shù)達(dá)到設(shè)定次數(shù)時(shí)對(duì)賬號(hào)進(jìn)行鎖定操作。以及通過(guò)對(duì)用戶(hù)端提交的

整體架構(gòu)部署

整個(gè)架構(gòu)分為主備兩個(gè)部分，為提高安全性將主備服務(wù)器分別置放在不同校區(qū)的兩個(gè)機(jī)房，以預(yù)防著火、停電等大范圍不可預(yù)計(jì)的安全隱患。

整個(gè)郵件系統(tǒng)MUA被分成兩個(gè)主要功能部分，分別部署在前端和后端服務(wù)器上，前端服務(wù)器安裝MUA中的SMTP/Webmail/ POP3/Anti-spam/Anti-virus等前端應(yīng)用模塊，主要提供登錄、收發(fā)、過(guò)濾郵件功能，可以通過(guò)硬件負(fù)載設(shè)備均衡訪問(wèn)請(qǐng)求，同時(shí)實(shí)現(xiàn)了單點(diǎn)故障；后端服務(wù)器主要安裝Mysql數(shù)據(jù)庫(kù)等，用來(lái)存儲(chǔ)賬號(hào)數(shù)據(jù)和郵件Cookies表單和登錄IP進(jìn)行檢測(cè)，以防止如反射式XSS攻擊等。

浙江大學(xué)郵件系統(tǒng)通過(guò)支持SSL協(xié)議增強(qiáng)用戶(hù)登錄密碼的安全性。SSL (Secure Sockets Layer 安全套接層) 協(xié)議位于傳輸層TCP/IP協(xié)議與各種應(yīng)用層協(xié)議之間，利用Encryption數(shù)據(jù)加密技術(shù)，確保數(shù)據(jù)在網(wǎng)絡(luò)傳輸過(guò)程中不會(huì)被截取及竊聽(tīng)，提高數(shù)據(jù)傳輸過(guò)程中的安全性。SSL中通過(guò)數(shù)字簽名和數(shù)字證書(shū)可實(shí)現(xiàn)瀏覽器和Web服務(wù)器雙方的身份驗(yàn)證，浙江大學(xué)購(gòu)買(mǎi)一些認(rèn)證機(jī)構(gòu)如GeoTrust的數(shù)字簽名和證書(shū)獲得了全球CA認(rèn)證。郵件系統(tǒng)通過(guò)SSL Proxy提供多種通訊（如Web、SMTP，POP3，IMAP服務(wù)）的SSL通信，用戶(hù)可以在Web登錄時(shí)選擇安全登錄或者使用具有SSL通信能力的客戶(hù)端（如OutLook）和SSL Proxy通信。數(shù)據(jù)，實(shí)現(xiàn)用戶(hù)的郵件索引、郵件存取及其Cache。同時(shí)為提高登錄速度和運(yùn)行效率，需要做負(fù)載均衡，因此各需要2臺(tái)以上的虛擬服務(wù)器。整體架構(gòu)如圖2所示。

圖2 郵件系統(tǒng)整體架構(gòu)部署

前端功能和后端數(shù)據(jù)分開(kāi)部署一方面提高系統(tǒng)運(yùn)行效率，實(shí)現(xiàn)資源分組；另一方面方便根據(jù)實(shí)際情況進(jìn)行局部擴(kuò)容或全局?jǐn)U容。局部擴(kuò)容是按需提高個(gè)別服務(wù)器的單機(jī)處理性能，進(jìn)行增加服務(wù)器資源、增加服務(wù)器或增加磁盤(pán)容量操作；全面擴(kuò)容是為提高整個(gè)系統(tǒng)的容量和處理性能，進(jìn)行按照系統(tǒng)發(fā)展計(jì)劃，批量增加服務(wù)器，或?yàn)楦鱾€(gè)模塊都增加服務(wù)器的操作。

服務(wù)器安全性保障

郵件系統(tǒng)部署在虛擬服務(wù)器上，對(duì)虛擬機(jī)的安全管理和防護(hù)將十分重要。虛擬機(jī)管理上配置對(duì)VMware ESX和ESXi的保護(hù)，如配置審計(jì)跡、深度防御、對(duì)一個(gè)目錄的訪問(wèn)控制權(quán)限等。VMware ESX和ESXi通常有四種網(wǎng)絡(luò)架構(gòu)：把管理工具相互連接起來(lái)的管理網(wǎng)、為ILO和DRAC等提供服務(wù)的控制網(wǎng)、VMotion網(wǎng)和存儲(chǔ)網(wǎng)。對(duì)于這四個(gè)網(wǎng)絡(luò)的任何訪問(wèn)都可能破壞到VMware ESX和ESXi的運(yùn)行環(huán)境，因此為更好地保護(hù)VMware ESX和ESXi需做到隔離管理網(wǎng)和其它的環(huán)境（包括控制網(wǎng)），并嚴(yán)格控制對(duì)管理網(wǎng)絡(luò)的訪問(wèn)；將虛擬中心和管理主機(jī)放置在管理網(wǎng)并配置防護(hù)；在ESXi管理設(shè)備和管理網(wǎng)之間配置防火墻。通過(guò)增強(qiáng)監(jiān)控和連接管理的能力更好地保護(hù)VMware ESX和ESXi，增加虛擬服務(wù)器的安全性。

圖3 網(wǎng)絡(luò)安全架構(gòu)設(shè)計(jì)

虛擬機(jī)的VMware VMotion技術(shù)可以在兩臺(tái)正在運(yùn)行的服務(wù)器之間進(jìn)行實(shí)時(shí)遷移，具有零停機(jī)性能，這樣將大幅度提高服務(wù)器的可用性，保證系統(tǒng)數(shù)據(jù)的完整性；VMotion能夠自動(dòng)優(yōu)化和分配資源庫(kù)，允許管理員在資源庫(kù)中不斷地自動(dòng)分配虛擬機(jī)、在不中斷業(yè)務(wù)運(yùn)作的情況下進(jìn)行各項(xiàng)維修工作；不需要預(yù)先設(shè)定停機(jī)時(shí)間；在服務(wù)器發(fā)生故障或者表現(xiàn)不佳之前，進(jìn)行遷移。

每一臺(tái)VMware ESX服務(wù)器配有一個(gè)HA代理，持續(xù)不斷地每隔五秒檢測(cè)集群中服務(wù)主機(jī)的心跳信號(hào)，若某臺(tái)ESX主機(jī)在連續(xù)15秒后都還沒(méi)有發(fā)出心跳信號(hào)，那么該主機(jī)就被默認(rèn)為發(fā)生了故障或者與網(wǎng)絡(luò)的連接出現(xiàn)了問(wèn)題，這時(shí)該主機(jī)上運(yùn)行的虛擬機(jī)就會(huì)自動(dòng)被轉(zhuǎn)移到群集中的其他主機(jī)。VMware HA能夠?qū)σ粋€(gè)群集中的多臺(tái)ESX服務(wù)器進(jìn)行故障轉(zhuǎn)移，這樣的修復(fù)并不會(huì)改變操作系統(tǒng)的狀態(tài)。此外，虛擬機(jī)中任何正在進(jìn)行的某一臺(tái)前端服務(wù)器down時(shí)系統(tǒng)仍能正常運(yùn)行。當(dāng)所有前端主機(jī)服務(wù)器都無(wú)法正常工作且不能在段時(shí)間內(nèi)恢復(fù)時(shí)，能夠通過(guò)負(fù)載均衡設(shè)備直接切換到校區(qū)二的備機(jī)，保障在最短時(shí)間內(nèi)恢復(fù)系統(tǒng)正常運(yùn)行。

圖4 系統(tǒng)容災(zāi)架構(gòu)

表1系統(tǒng)容災(zāi)

系統(tǒng)及數(shù)據(jù)容災(zāi)實(shí)現(xiàn)

為保障郵件數(shù)據(jù)容災(zāi)安全性在服務(wù)器上部署Double-Take實(shí)時(shí)備份和RecoverPoint磁盤(pán)連續(xù)性保護(hù)雙重備份策略，防止由于系統(tǒng)問(wèn)題、服務(wù)器問(wèn)題、數(shù)據(jù)邏輯問(wèn)題等不可預(yù)測(cè)原因?qū)е碌挠脩?hù)郵件數(shù)據(jù)丟失。容災(zāi)架構(gòu)如圖4所示。

Double-Take系統(tǒng)狀態(tài)與數(shù)據(jù)的實(shí)時(shí)復(fù)制、本地或遠(yuǎn)程備份服務(wù)器鏡像、集成VSS/CDP，隨時(shí)對(duì)任意點(diǎn)進(jìn)行恢復(fù)、通過(guò)一個(gè)磁盤(pán)存儲(chǔ)提供集中備份、按需恢復(fù)：本地或遠(yuǎn)程恢復(fù)、不同硬件恢復(fù)、支持 P2P, P2V, V2V與V2P。RecoverPoint負(fù)責(zé)郵箱用戶(hù)數(shù)據(jù)CDP連續(xù)保護(hù)，是存儲(chǔ)附屬功能，原理是在存儲(chǔ)上對(duì)生產(chǎn)卷復(fù)制鏡像卷，配合日志在鏡像卷還原數(shù)據(jù)。鏡像卷掛在郵件生產(chǎn)服務(wù)器或單獨(dú)恢復(fù)服務(wù)器上，被恢復(fù)歷史數(shù)據(jù)再次導(dǎo)入用戶(hù)在線(xiàn)數(shù)據(jù)。郵件系統(tǒng)出現(xiàn)故障及災(zāi)備切換情況見(jiàn)表1。

浙江大學(xué)郵件系統(tǒng)通過(guò)將前端應(yīng)用與后端數(shù)據(jù)分離提高的系統(tǒng)擴(kuò)容以及管理的靈活性；通過(guò)負(fù)載均衡、鏈路均衡、IPv4-IPv6雙棧提高Web訪問(wèn)速度和收發(fā)郵件速度、提高系統(tǒng)安全性與容災(zāi)的可靠性；通過(guò)郵件系統(tǒng)部署SSL、Cookies檢測(cè)、IP檢測(cè)以及弱密碼檢測(cè)等提高用戶(hù)賬號(hào)安全性；通過(guò)優(yōu)化過(guò)濾算法，并同國(guó)內(nèi)外反垃圾聯(lián)盟合作建立垃圾郵件指紋庫(kù)來(lái)提高垃圾郵件過(guò)濾率。業(yè)務(wù)也不會(huì)丟失，VMware HA的故障轉(zhuǎn)移幾乎完全透明的，一般不會(huì)出現(xiàn)任何停機(jī)的危險(xiǎn)，提高了郵件系統(tǒng)不間斷運(yùn)行的可靠性。

網(wǎng)絡(luò)架構(gòu)安全保障

為防御來(lái)自校園網(wǎng)內(nèi)部及Internet的網(wǎng)絡(luò)攻擊，提高郵件服務(wù)器的安全性能，在服務(wù)器集群前端部署了防火墻設(shè)備，所有來(lái)自Internet和校園網(wǎng)的流量均經(jīng)過(guò)防火墻設(shè)備，通過(guò)配置安全策略，保證只有經(jīng)過(guò)授權(quán)的流量才可以通過(guò)防火墻；同時(shí)在防火墻設(shè)備鏈路上串聯(lián)了入侵檢測(cè)和防御設(shè)備IDP，不僅可以與防火墻實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)，同時(shí)還能防御防火墻無(wú)法處理的服務(wù)器集群網(wǎng)絡(luò)內(nèi)部的攻擊。防火墻和IDP雙層防護(hù)，為浙江大學(xué)郵件系統(tǒng)服務(wù)器集群提供了良好的網(wǎng)絡(luò)安全保障。 網(wǎng)絡(luò)架構(gòu)如圖3所示。

圖3中網(wǎng)絡(luò)鏈路上還添加鏈路均衡和負(fù)載均衡設(shè)備，LinkProof外接電信、移動(dòng)、聯(lián)通、華數(shù)及教科網(wǎng)各條鏈路，內(nèi)接核心交換機(jī)，核心路由器上啟用針對(duì)前端郵件服務(wù)器IP地址和AppDirector VIP的策略路由將MAILPOP3SMTPIMAPSPAM等域名授權(quán)記錄指向LinkProof，由LinkProof實(shí)現(xiàn)智能解析。由此實(shí)現(xiàn)鏈路均衡，各條線(xiàn)路鏈接上來(lái)的鏈路均能達(dá)到最好網(wǎng)絡(luò)保障，并降低由于某條校園網(wǎng)出口造成的系統(tǒng)故障。鏈路均衡和負(fù)載均衡都需要配置為透?jìng)髂Ｊ剑驗(yàn)猷]件系統(tǒng)的郵件來(lái)源不能失去源地址，否則將無(wú)法運(yùn)行垃圾郵件過(guò)濾策略。

增加均衡設(shè)備一方面提高了用戶(hù)的登錄速度和系統(tǒng)處理能力，另一方面提高了系統(tǒng)的安全性，確保在外部某一條網(wǎng)絡(luò)斷掉或者

（作者單位為浙江大學(xué)圖書(shū)與信息中心）