排查服務(wù)器啟動失敗故障

河南 劉建臣

某單位的一臺服務(wù)器使用的是CentOS 6.X 系統(tǒng)，最近出現(xiàn)了無法啟動的故障，原因是該機(jī)上的某個服務(wù)無法正常啟動，技術(shù)員采取重新啟動的方式，試圖恢復(fù)該機(jī)的正常運(yùn)行。但是，該機(jī)卻出現(xiàn)了無法啟動的問題。

因?yàn)樵摍C(jī)安裝了OpenSSH 服務(wù)，筆者直接從客戶機(jī)上執(zhí)行“ssh root@xx.x.x”命令，想從遠(yuǎn)程連接該機(jī)進(jìn)行檢測。但是連接無法進(jìn)行，使用ping 命令，對該機(jī)進(jìn)行探測，發(fā)現(xiàn)該機(jī)沒有任何響應(yīng)。

筆者到機(jī)房直接開啟該機(jī)，發(fā)現(xiàn)屏幕出現(xiàn)了“/bin/chown:incalid user:'root:Ip'”，“invalid user:'rot:root '”之類的提示。

故障排查

根據(jù)以上信息，可以看到該機(jī)是因?yàn)闊o效的Root 用戶引發(fā)的。Root 用戶是系統(tǒng)的管理員，該用戶如果出現(xiàn)問題，自然無法進(jìn)行遠(yuǎn)程訪問。

筆者重新開始開機(jī)，當(dāng)系統(tǒng)啟動到Grub 引導(dǎo)界面時，點(diǎn)擊ESC 鍵，出現(xiàn)引導(dǎo)項(xiàng)目。選擇當(dāng)前系統(tǒng)使用的引導(dǎo)內(nèi)核選項(xiàng)，在編輯狀態(tài)中點(diǎn)擊上下箭頭鍵，選擇以“Kernel”開頭的項(xiàng)目，點(diǎn)擊“e”鍵，在其編輯欄尾部添加空格，輸入“single”，點(diǎn)擊回車鍵保存修改。之后點(diǎn)擊“b”鍵，讓系統(tǒng)引導(dǎo)到單用戶模式下，因?yàn)閱斡脩裟Ｊ街患虞d最基本的系統(tǒng)，便于進(jìn)行維護(hù)操作。

但是，系統(tǒng)仍然“固執(zhí)”的上述引導(dǎo)畫面中，很顯然無法進(jìn)入單用戶模式。無奈之下，只有使用CentOS 的鏡像優(yōu)盤或者光盤來引導(dǎo)了，這里使用光盤進(jìn)行引導(dǎo)，在歡迎界面中選擇“Rescue installed system”項(xiàng)，之后選擇語言和鍵盤布局，并啟動網(wǎng)絡(luò)配置，在“Rescue”窗口中點(diǎn)擊“Continue”按鈕，之后按照提示選擇“shell Start shell”項(xiàng)，進(jìn)入擁有讀寫功能的修復(fù)環(huán)境下，因?yàn)樵谠撃Ｊ较?，分區(qū)實(shí)際上掛載到了“/mnt/sysimage”路徑下。

然后執(zhí)行“vi/mnt/sysimage/etc/password”命令，查看所有用戶的屬性信息，奇怪的是，其中找不到Root 賬戶的蹤影。

繼續(xù)執(zhí)行“vi/mnt/sysimage/etc/shadow”命令，在Shadow 文件可以找到Root 賬戶信息，顯示Root 用戶處于永不過期狀態(tài)。

根據(jù)以上信息，可以看到這其實(shí)是因?yàn)檎`操作，導(dǎo)致Root 用戶信息丟失所引發(fā)的。

知道了原因，處理起來就簡單了，無非是在上述“/mnt/sysimage/etc/password”文件中加入“root:x:0:0root:/root:/bin/bash”行，即可修復(fù)該文件。

故障解決

之后重啟系統(tǒng)，原以為這下就萬事大吉了，但是新的問題又出現(xiàn)了，系統(tǒng)雖然可以順利引導(dǎo)，不再顯示上述錯誤信息，但是在依次加載各服務(wù)時，卻出現(xiàn)卡頓的情況，當(dāng)系統(tǒng)啟動了“Iptables”服務(wù)后就無法引導(dǎo)了，無法順利啟動。

反復(fù)啟動均如此，既然無法直接啟動，筆者只有重新進(jìn)入上述修復(fù)環(huán)境，來查找具體原因。

對于Linux 來說，其啟動時會先開機(jī)自檢，之后依次執(zhí)行MBR 引導(dǎo)，GRUB 菜單選擇，加載系統(tǒng)內(nèi)核，運(yùn)行INIT進(jìn)程，讀取“/etc/inittab”配置文件，執(zhí)行“/etc/rc.d/rc.sysinit”腳本，執(zhí)行“/etc/rc.d/rc”腳本，啟動mingetty 等進(jìn)入登錄界面等環(huán)節(jié)。對于INIT 內(nèi)核進(jìn)程來說，負(fù)責(zé)產(chǎn)生其他的進(jìn)程和服務(wù)。這些服務(wù)會按照一定的順序依次啟動，如果其中某個服務(wù)出現(xiàn)問題，就很容易導(dǎo)致系統(tǒng)啟動失敗。

Linux 系統(tǒng)提供了7 種運(yùn)行級別，常用的是第三種級別，即完全的的多用戶狀態(tài)，登錄后進(jìn)入控制臺命令行界面，在“/etc/rc.d/rc.3d”目錄下保存了一些符號鏈接文件，指向init.d 目錄下的Service 腳本文件。

在修復(fù)環(huán)境下進(jìn)入“/mnt/sysimage/etc/rc.d/rc.3d”目錄，執(zhí)行“l(fā)s -al”命令，來查看這些鏈接文件和其與特定服務(wù)的映射關(guān)系，發(fā)現(xiàn)在上述“IPtables”服務(wù)之后是Mysqld 服務(wù)，可能是因?yàn)镸ysqld 出現(xiàn)了問題，無法正常跟隨系統(tǒng)啟動的原因。

執(zhí) 行“chroot/mnt/sysimage”，“chkconfig--level 35 mysqld off”命令，禁止Mysld 服務(wù)開機(jī)自運(yùn)行。之后重啟系統(tǒng)，終于可以順利進(jìn)行了。

在客戶機(jī)上運(yùn)行“ssh root@x.x.x.x”命令，也可以順利連接到本機(jī)。因?yàn)樵摍C(jī)安裝了MySQL，那么其為何無法啟動呢？執(zhí)行“service mysqld start”命令，出現(xiàn)“MySQL Daemon failed to start.Starting mysqld:[FAILED]”的錯誤提示。造成MySQL 無法啟動。

為了便于查看錯誤日志，打開“my.cnf”文件，在其中添加“l(fā)og-error=/usr/local/mysql/mysql-error.log”行，配置MySQL 的錯誤日志。

再次啟動失敗后，執(zhí)行“tail -30/usr/local/mysql/mysql-error.log”命令，查看錯誤日志信息，發(fā)現(xiàn)MySQL 無法在“/tmp”目錄中創(chuàng)建文件。執(zhí)行“chmod -R 1777/tmp”命令，賦予其讀寫權(quán)限，之后執(zhí)行“service mysqld start”命令，可以順利啟動MySQL。