HP服務(wù)器時(shí)間同步出Bug

引言： 最近，單位購(gòu)置了4臺(tái)HP DL5800 G9做集群，通過(guò)HP-V方式對(duì)單位業(yè)務(wù)提供支持，但因?yàn)榉?wù)器時(shí)間同步的Bug，導(dǎo)致系統(tǒng)癱瘓了一段時(shí)間。本文介紹故障排除過(guò)程。

網(wǎng)絡(luò)環(huán)境

單位原先的兩臺(tái)IBM3850與兩臺(tái)DS4800由于使用年限過(guò)久，即將退居二線以外非重要的業(yè)務(wù)使用，新購(gòu)了4臺(tái)HP DL5800 G9及兩套日立存儲(chǔ)。暫且命名4臺(tái)新設(shè)備為A,B,C,D機(jī)。裝Windows Server 2012系統(tǒng)，再用系統(tǒng)自帶的HP-V搭建虛擬化提供業(yè)務(wù)使用。單位有域控服務(wù)器（分主、備各一臺(tái)），基本所有服務(wù)器包括PC機(jī)都加入此域被管理。這4臺(tái)新購(gòu)的服務(wù)器也加入此域。

圖1 業(yè)務(wù)A系統(tǒng)時(shí)間日志更改記錄

整個(gè)架構(gòu)搭建好后運(yùn)行了一段時(shí)間基本正常，HP-V上也創(chuàng)建了2臺(tái)虛擬主機(jī)，各自裝了操作系統(tǒng)，并在里面各自安裝業(yè)務(wù)系統(tǒng)，命為業(yè)務(wù)A、業(yè)務(wù)B系統(tǒng)。

故障現(xiàn)象

一天，業(yè)務(wù)A、業(yè)務(wù)B系統(tǒng)出現(xiàn)問(wèn)題，經(jīng)描述了解到，操作者當(dāng)時(shí)在軟件上的操作記錄時(shí)間記錄到數(shù)據(jù)庫(kù)時(shí)與北京時(shí)間不匹配，相差甚多，跟北京時(shí)間相差8小時(shí)左右。該問(wèn)題很明顯與服務(wù)器操作系統(tǒng)時(shí)間有關(guān)，因操作人員在軟件上所操作的記錄時(shí)間是統(tǒng)一調(diào)取服務(wù)器時(shí)間再記錄到數(shù)據(jù)庫(kù)，而且當(dāng)時(shí)檢查操作者PC電腦本地時(shí)間也是正確的，由此，懷疑到業(yè)務(wù)A、業(yè)務(wù)B系統(tǒng)對(duì)應(yīng)的服務(wù)器操作系統(tǒng)時(shí)間存在錯(cuò)誤。

故障排查

登錄業(yè)務(wù)A、業(yè)務(wù)B的服務(wù)器上也發(fā)現(xiàn)，當(dāng)時(shí)服務(wù)器的時(shí)間存在8小時(shí)的誤差。

繼續(xù)查找有關(guān)影響時(shí)間的操作系統(tǒng)日志，發(fā)現(xiàn)如圖1所示信息，說(shuō)明操作系統(tǒng)時(shí)間確實(shí)是有過(guò)更改記錄，更改的時(shí)間范圍為8小時(shí)。

經(jīng)查了解到，由于業(yè)務(wù)A與業(yè)務(wù)B的服務(wù)器為HV-P所創(chuàng)建的虛擬主機(jī)，而虛擬主機(jī)的時(shí)間同步依賴于承載虛擬機(jī)的物理機(jī)（當(dāng)時(shí)買的A、B、C、D四臺(tái)HP DL5800 G9服務(wù)器）系統(tǒng)時(shí)間。分別查看承載兩臺(tái)虛擬主機(jī)的物理機(jī)中系統(tǒng)日志，找到如圖2及圖3所示記錄。

以上日志表明，由于兩臺(tái)物理主機(jī)長(zhǎng)時(shí)間無(wú)法聯(lián)系到原先的時(shí)間同步源（域控權(quán)威時(shí)間發(fā)布器）而被迫與本地CMOS時(shí)鐘進(jìn)行時(shí)間同步，但在CMOS同步時(shí)間后系統(tǒng)時(shí)間被調(diào)慢了8小時(shí)。再去查看域控服務(wù)器時(shí)發(fā)現(xiàn)是關(guān)機(jī)狀態(tài)。

經(jīng)測(cè)試，這幾臺(tái)操作系統(tǒng)一旦與CMOS時(shí)鐘進(jìn)行同步，會(huì)立即造成操作系統(tǒng)時(shí)區(qū)錯(cuò)亂，繼而發(fā)生系統(tǒng)時(shí)間被調(diào)慢了8小時(shí)的錯(cuò)誤現(xiàn)象，判斷是物理機(jī)的BIOS存在Bug。

故障原因

1.由于域控（權(quán)威時(shí)間發(fā)布源）服務(wù)器因硬件問(wèn)題發(fā)生了宕機(jī)。

圖2 A機(jī)系統(tǒng)日志

圖3 B機(jī)系統(tǒng)日志

2.在長(zhǎng)時(shí)間無(wú)法與域控（權(quán)威時(shí)間發(fā)布源）進(jìn)行聯(lián)系后，物理主機(jī)會(huì)跟自身CMOS時(shí)鐘同步造成系統(tǒng)時(shí)間發(fā)生錯(cuò)誤。

3.物理主機(jī)上的虛擬主機(jī)（業(yè)務(wù)A，業(yè)務(wù)B）數(shù)據(jù)庫(kù)同步了物理主機(jī)的錯(cuò)誤時(shí)間。

4.最后造成在業(yè)務(wù)A，業(yè)務(wù)B上發(fā)生的所有操作更新到數(shù)據(jù)庫(kù)時(shí)的時(shí)間字段都被提前了8小時(shí)。

故障解決

1.恢復(fù)域控服務(wù)器并重新制定可靠的時(shí)間發(fā)布源。

2.修改物理主機(jī)操作系統(tǒng)上的注冊(cè)表來(lái)解決操作系統(tǒng)與CMOS時(shí)間同步時(shí)的錯(cuò)誤問(wèn)題。修改命下：

經(jīng)驗(yàn)總結(jié)

現(xiàn)代信息技術(shù)越來(lái)越趨于專業(yè)化，軟件一個(gè)方向，硬件一個(gè)方向，越專業(yè)后不可避免的問(wèn)題就是兼容性。這次事件起因是時(shí)間發(fā)布源（主域控服務(wù)器）壞了，雖然有主備域控，但是時(shí)間發(fā)布源只能有一個(gè)。當(dāng)時(shí)間發(fā)布源無(wú)法聯(lián)系的時(shí)候，物理主機(jī)將于本機(jī)CMOS同步時(shí)間，恰巧HP DL5800 G9的BIOS存在Bug，以至于同步時(shí)操作系統(tǒng)的時(shí)間調(diào)慢了8小時(shí)，導(dǎo)致記錄到數(shù)據(jù)庫(kù)的時(shí)間相繼更改，發(fā)生了業(yè)務(wù)故障。在復(fù)雜的集成環(huán)境下分析問(wèn)題時(shí)更需耐心仔細(xì)，邏輯清晰才能慢慢找出源頭并解決。