揚(yáng)州電視臺(tái)Linux服務(wù)器維護(hù)實(shí)例解析

崔冬明 經(jīng)國(guó)煒 揚(yáng)州廣播電視集團(tuán)（總臺(tái)）播出控制部

揚(yáng)州電視臺(tái)Linux服務(wù)器維護(hù)實(shí)例解析

崔冬明 經(jīng)國(guó)煒 揚(yáng)州廣播電視集團(tuán)（總臺(tái)）播出控制部

Linux服務(wù)器是以Linux操作系統(tǒng)為核心的服務(wù)器，其具有穩(wěn)定、安全、硬件升級(jí)容易、代碼開源免費(fèi)等優(yōu)勢(shì)，被各行業(yè)廣泛應(yīng)用。本文通過(guò)因inode耗盡而使制作網(wǎng)linux管理的SAN存儲(chǔ)文件讀寫失敗，導(dǎo)致非編網(wǎng)絡(luò)系統(tǒng)無(wú)法正常工作的故障實(shí)例進(jìn)行解析，探討linux服務(wù)器維護(hù)方法，為同行對(duì)Linux服務(wù)器運(yùn)維管理提供幫助。

linux服務(wù)器 文件系統(tǒng) Inode 非編網(wǎng)絡(luò)

一、引言

隨著計(jì)算機(jī)科學(xué)和互聯(lián)網(wǎng)技術(shù)的發(fā)展，linux服務(wù)器已越來(lái)越多得到應(yīng)用。揚(yáng)州廣播電視總臺(tái)近年來(lái)對(duì)技術(shù)系統(tǒng)不斷加大投入，全媒體新聞演播室、臺(tái)內(nèi)主干平臺(tái)、高清制作網(wǎng)、數(shù)字化播控系統(tǒng)、IP化集中收錄系統(tǒng)及云媒資系統(tǒng)等相繼投入使用，臺(tái)內(nèi)數(shù)字化、網(wǎng)絡(luò)化建設(shè)布局基本完成。linux服務(wù)器在電視臺(tái)網(wǎng)絡(luò)系統(tǒng)中得到廣泛應(yīng)用，如網(wǎng)絡(luò)和系統(tǒng)管理、存儲(chǔ)管理、數(shù)據(jù)庫(kù)管理、Web服務(wù)和虛擬化計(jì)算等。對(duì)于用戶和管理者來(lái)說(shuō)，如何維護(hù)、使用和管理好linux服務(wù)器，是一個(gè)重要的課題。

二、 Linux服務(wù)器概述

2.1 Linux簡(jiǎn)介

Linux操作系統(tǒng)誕生于1991，是一款性能穩(wěn)定的支持多線程、多任務(wù)和多處理器的多用戶網(wǎng)絡(luò)操作系統(tǒng)；是一套開源免費(fèi)使用的類Unix操作系統(tǒng)，繼承了Unix以網(wǎng)絡(luò)為核心的設(shè)計(jì)理念，它支持32位和64位硬件和多種網(wǎng)絡(luò)協(xié)議，能運(yùn)行主要的Unix應(yīng)用程序和工具軟件。Linux的基本思想有兩點(diǎn)：第一，秉承一切都以文件的思想；第二，每個(gè)軟件都有確定的用途。

2.2 Linux服務(wù)器簡(jiǎn)介

服務(wù)器是一種配置功能強(qiáng)大的超級(jí)電腦。核心系統(tǒng)以Linux系統(tǒng)為主的服務(wù)器，我們可以稱為L(zhǎng)inux服務(wù)器，通?？梢愿鶕?jù)我們的喜好和操作習(xí)慣來(lái)選擇。Linux服務(wù)器設(shè)計(jì)用來(lái)處理的業(yè)務(wù)應(yīng)用有：網(wǎng)絡(luò)和系統(tǒng)管理，存儲(chǔ)管理，F(xiàn)TP服務(wù)、數(shù)據(jù)庫(kù)管理和Web服務(wù)和及虛擬化計(jì)算等，是具備高性能和開源性的一種服務(wù)器。

2.3 Linux服務(wù)器的優(yōu)勢(shì)

（1）穩(wěn)定性

服務(wù)器系統(tǒng)崩潰會(huì)對(duì)企業(yè)業(yè)務(wù)產(chǎn)生很大影響。Linux系統(tǒng)是眾所周知最具穩(wěn)定性的系統(tǒng)。事實(shí)上，Linux處理不運(yùn)行的進(jìn)程的能力遠(yuǎn)高于windows；

（2）安全性

Linux是基于Unix所發(fā)展的，無(wú)論在管理上還是在安全上都更加規(guī)范。在Linux服務(wù)器上具有管理權(quán)限，系統(tǒng)管理員訪問(wèn)內(nèi)核，對(duì)所有的可見(jiàn)文件，始終處于受控狀態(tài)。這樣的設(shè)計(jì)使得Linux更具安全性。

（3）可擴(kuò)展性

Linux服務(wù)器無(wú)論何種架構(gòu)處理器都有很好的兼容，可滿足不斷增加的資源需求，也很容易對(duì)Linux服務(wù)器進(jìn)行重新配置。無(wú)論用戶選擇什么樣的業(yè)務(wù)，都可以用Linux系統(tǒng)對(duì)業(yè)務(wù)進(jìn)行更加自由的開發(fā)。

三、非編制作網(wǎng)Linux服務(wù)器維護(hù)實(shí)例分析

3.1 揚(yáng)州臺(tái)新聞制作網(wǎng)簡(jiǎn)介

揚(yáng)州電視臺(tái)新聞制作網(wǎng)以高安全性、高穩(wěn)定性、高可用性為設(shè)計(jì)原則。采用成熟的光纖加以太雙網(wǎng)架構(gòu)，新聞制作網(wǎng)SAN核心存儲(chǔ)雙網(wǎng)架構(gòu)實(shí)現(xiàn)鏡像備份，存儲(chǔ)容量40T，核心存儲(chǔ)采用兩臺(tái)HDS 130 光線陣列。網(wǎng)絡(luò)遵循核心設(shè)備無(wú)單點(diǎn)故障的設(shè)計(jì)，關(guān)鍵設(shè)備的主備備份機(jī)制采用弱耦合方式。核心存儲(chǔ)使用StroeNext存儲(chǔ)管理軟件，交換機(jī)選擇了2 臺(tái)H3C 5500，光纖交換機(jī)為2 臺(tái)博科5140，網(wǎng)絡(luò)設(shè)計(jì)規(guī)模為有卡站13臺(tái)，無(wú)卡站18臺(tái)，配音站2臺(tái)，編輯軟件使用大洋 Post Pack，系統(tǒng)中關(guān)鍵節(jié)點(diǎn)的服務(wù)器都設(shè)計(jì)了主備工作方式。新聞網(wǎng)系統(tǒng)拓?fù)湟?jiàn)圖1

制作網(wǎng)核心存儲(chǔ)和MDS服務(wù)器采用8Gb光纖連接，其他功能服務(wù)器采用千兆以太連接（同步遷移服務(wù)器可視情況采用萬(wàn)兆接入），所有編輯站點(diǎn)（除配音站點(diǎn)外）均采用4Gb光纖加千兆以太網(wǎng)連接到交換機(jī)。新聞制作網(wǎng)MDS服務(wù)器安裝系統(tǒng)版本為：RedHat Linux Enterprise Server 5.8_64bit紅帽子linux企業(yè)版 操作系統(tǒng) 。在網(wǎng)絡(luò)應(yīng)急狀態(tài)下切換到備用存儲(chǔ)狀態(tài)時(shí)，能提供標(biāo)清50M，高清100M的制作能力，也可使用MPEG2 IBP、H.264等代理碼率進(jìn)行制作，并確保應(yīng)急制作狀態(tài)下，電視節(jié)目畫面質(zhì)量接近或達(dá)到標(biāo)清播出質(zhì)量。

3.2 制作網(wǎng)故障實(shí)例

新聞網(wǎng)故障現(xiàn)象： 某日下午發(fā)現(xiàn)新聞制作網(wǎng)所有站點(diǎn)不能訪問(wèn)SAN存儲(chǔ)陣列X盤，但陣列Y盤正常，陣列X、Y盤互為鏡像備份。此時(shí)在linux服務(wù)器端看到X盤可以連接（mount）上，但是客戶端不能進(jìn)入文件系統(tǒng)，大洋編輯軟件不能訪問(wèn)素材，StoreNext文件系統(tǒng)無(wú)任何報(bào)錯(cuò)提示。重啟管理X盤的MDS1、MDS2服務(wù)器，故障依舊。然后重啟SAN存儲(chǔ)陣列X盤，依然不能訪問(wèn)。

登陸MDS服務(wù)器查看磁盤空間：

[root@MDS02~]# df -h

圖1 新聞網(wǎng)系統(tǒng)拓?fù)?/p>

Filesystem Siza Used Avail Use% Mounted on

/dev/sda8 996M 429M 516M 46% /

/dev/sda9 227G 4.8G 210G 3% /usr

/dev/sda7 3.9G 73M 3.7G 2% /tmp

/dev/sda6 3.9G 429M 3.3G 12% /var

/dev/sda3 7.8G 552M 6.9G 8% /home

/dev/sda2 20G 173M 19G 1% /opt

/dev/sda1 190M 13M 169M 7% /boot

tmpfs 1.9G 0 1.9G 0% /dev/shm

/dev/cvfsctl1_yztvedit1 40T 36T 5T 90% / yztvedit1

/dev/cvfsctl1_yztvedit2 42T 32T 11T 75% / yztvedit2

發(fā)現(xiàn)/yztvedit1磁盤空間使用率90%，并沒(méi)有用完，還有使用空間，然后用df -hi命令查看

[root@MDS02~]# df -hi

Filesystem Inodes IUsed IFree IUse% Mounted on

/dev/sda8 258k 5.8k 252k 3% /

/dev/sda9 59M 177k 59M 1% /usr

/dev/sda7 1.0M 72 1.0M 1% /tmp

/dev/sda6 1.0M 1.4k 1023k 1% /var

/dev/sda3 2.0M 2.1k 2.0M 1% /home

/dev/sda2 5.1M 11 5.1M 1% /opt

/dev/sda1 50k 34 49k 1% /boot

tmpfs 484K 1 484K 1% /dev/shm

/dev/cvfsctl1_yztvedit1 1.5M 1.5M 3 100% / yztvedit1

/dev/cvfsctl1_yztvedit2 1.5M 1.4M 17k 99% /yztvedit2

由輸出可知，果然是inode節(jié)點(diǎn)/yztvedit1耗盡已使用100%，導(dǎo)致X盤無(wú)法寫數(shù)據(jù)。由于inode全部被用完，雖然還有可用磁盤空間，但是文件系統(tǒng)已經(jīng)無(wú)法再在這些空余空間記錄數(shù)據(jù)，因此工作站點(diǎn)就不能再創(chuàng)建新文件或文件夾了。由于維護(hù)很少涉及到inode，因此接下來(lái)對(duì)Linux中inode進(jìn)行解析。

3.3 Linux服務(wù)器文件系統(tǒng)中inode解析

Inode翻譯為I節(jié)點(diǎn)，在Linux操作系統(tǒng)中稱為索引節(jié)點(diǎn)，文件系統(tǒng)中的每個(gè)文件或者目錄都有唯一的I節(jié)點(diǎn)，可以理解為文件唯一的身份標(biāo)識(shí)，inode的數(shù)量決定文件的數(shù)量。系統(tǒng)通過(guò)I節(jié)點(diǎn)來(lái)對(duì)具體文件進(jìn)行操作和管理。Linux系統(tǒng)一切以文件為思想，硬件設(shè)備也當(dāng)作文件來(lái)處理。

圖2 虛擬文件系統(tǒng)和實(shí)際文件系統(tǒng)的關(guān)系

Linux操作系統(tǒng)具有三個(gè)主要部分：?jiǎn)?dòng)引導(dǎo)、內(nèi)核、根文件系統(tǒng)，一個(gè)穩(wěn)定優(yōu)良的文件系統(tǒng)關(guān)系到用戶在使用操作系統(tǒng)時(shí)主觀體驗(yàn)以及系統(tǒng)穩(wěn)定性。Linux系統(tǒng)可以掛載多個(gè)不同文件系統(tǒng)存儲(chǔ)設(shè)備，是一個(gè)支持多種格式文件系統(tǒng)的操作系統(tǒng)，例如:Ext2/3、FAT、NTFS、NFS、CVFS、YAFFS、MNIX,、JFFS、SYSV等。不同格式的文件系統(tǒng)在Linux系統(tǒng)中訪問(wèn)的原理大致相同，Linux把文件系統(tǒng)分成兩大部分，第一部分是虛擬文件系統(tǒng)(VFS)，第二部分是具體文件系統(tǒng)。兩者的關(guān)系如圖2所示。

虛擬文件系統(tǒng)(VFS)為上層操作提供了統(tǒng)一接口，主要作用是屏蔽系統(tǒng)訪問(wèn)不同文件系統(tǒng)時(shí)的差異，實(shí)現(xiàn)了多種格式文件系統(tǒng)在Linux系統(tǒng)中共存和各自數(shù)據(jù)共享。揚(yáng)州電視臺(tái)新聞制作網(wǎng)SAN存儲(chǔ)中采用Stornext共享文件系統(tǒng)，文件格式CVFS，掛載在Linux服務(wù)器上，該服務(wù)器稱做MDS（MasterDate Server）元數(shù)據(jù)服務(wù)器，對(duì)所有的存儲(chǔ)設(shè)備節(jié)點(diǎn)進(jìn)行管理數(shù)據(jù)訪問(wèn)。Linux系統(tǒng)一切以文件為思想，文件系統(tǒng)中的文件是數(shù)據(jù)的集合，Inode當(dāng)磁盤分區(qū)時(shí)文件系統(tǒng)即被創(chuàng)建，按照目錄和文件形式(支持硬件設(shè)備)來(lái)存儲(chǔ)和組織數(shù)據(jù)的使用。

例如Linux系統(tǒng)使用最多的是Ext2格式的文件系統(tǒng)，在Ext2格式的文件系統(tǒng)中，將磁盤劃分成固定大小的塊組；塊組中除存放具體數(shù)據(jù)外，還將文件、目錄、軟連接及文件保護(hù)信息等相關(guān)信息都存儲(chǔ)在其中，而且這些信息是被重復(fù)存放在每一個(gè)塊組中。文件系統(tǒng)結(jié)構(gòu)示意圖見(jiàn)圖3。

引導(dǎo)塊：通常為一個(gè)扇區(qū)，在文件系統(tǒng)的開頭，用于啟動(dòng)操作系統(tǒng)并讀入引導(dǎo)程序；

超級(jí)塊：用于記錄文件系統(tǒng)的管理信息，特定的文件系統(tǒng)在超級(jí)塊定義；

inode區(qū)（索引節(jié)點(diǎn)）：一個(gè)文件或目錄占據(jù)一個(gè)索引節(jié)點(diǎn)。第一個(gè)索引節(jié)點(diǎn)是該文件系統(tǒng)的根節(jié)點(diǎn)。利用根節(jié)點(diǎn)，可以把一個(gè)文件系統(tǒng)掛在另一個(gè)文件系統(tǒng)的非葉節(jié)點(diǎn)上；

圖3 文件系統(tǒng)結(jié)構(gòu)示意圖

數(shù)據(jù)區(qū)：用于存放文件數(shù)據(jù)或者設(shè)備管理數(shù)據(jù)。

在Linux系統(tǒng)中，文件由數(shù)據(jù)塊和元數(shù)據(jù)組成，數(shù)據(jù)塊是多個(gè)連續(xù)性的扇區(qū)sector，是文件存取的最小單位。“塊”的大小在創(chuàng)建分區(qū)時(shí)可以設(shè)定，最常見(jiàn)的是4KB。八個(gè)連續(xù)扇區(qū)sector組成一個(gè)塊block。而元數(shù)據(jù)用來(lái)記錄文件的創(chuàng)建者、文件的創(chuàng)建日期、文件的大小等信息，這種存儲(chǔ)文件元數(shù)據(jù)信息的區(qū)域叫做inode，或者稱為“索引節(jié)點(diǎn)”。

例如Stornext共享文件系統(tǒng)在磁盤格式化的時(shí)候，會(huì)自動(dòng)將SAN存儲(chǔ)分成三個(gè)區(qū)域：一個(gè)是Metadate區(qū)，存放包含inode的元數(shù)據(jù)信息，一個(gè)是Jurnal區(qū)，存放日志文件數(shù)據(jù)，另一個(gè)是Usrdate區(qū)，存放用戶文件數(shù)據(jù)。

由于inode也是用來(lái)存儲(chǔ)文件相關(guān)屬性信息的元數(shù)據(jù)，因此inode的數(shù)量不是越大越好，它也會(huì)消耗硬盤空間。每個(gè)inode節(jié)點(diǎn)的大小，一般是128字節(jié)或256字節(jié)。inode節(jié)點(diǎn)的總數(shù)在格式化文件系統(tǒng)時(shí)已經(jīng)確定，可以通過(guò)dumpe2fs命令查看某個(gè)磁盤分區(qū)inode的總數(shù)：

[root@MDS02~]# # dumpe2fs -h/dev/sda9

dumpe2fs 1.39(29-May-2006)

inode count: 5244736

另外，每個(gè)inode都有一個(gè)號(hào)碼，操作系統(tǒng)inode號(hào)碼用來(lái)區(qū)分不同的文件。通過(guò)“is -i”命令，可以查看文件名對(duì)應(yīng)的inode號(hào)，例如：

[root@MDS02~]# ls -i install.log

325762 install.log

如果要查看這個(gè)文件更詳細(xì)的inode信息，可以通過(guò)stat命令實(shí)現(xiàn)。

3.4 inode耗盡解決方法

知道了產(chǎn)生這個(gè)故障由inode導(dǎo)致，接下來(lái)要查看為何耗盡了indoe。通過(guò)檢查X盤發(fā)現(xiàn)../graphic/這個(gè)子目錄里面的空文件和文件夾有600多萬(wàn)個(gè)，Inode的數(shù)量在文件系統(tǒng)創(chuàng)建就已確定，電視臺(tái)制作系統(tǒng)中視頻文件數(shù)據(jù)占較大存儲(chǔ)空間，一般情況下不會(huì)出現(xiàn)空間沒(méi)有用完，而Inode的數(shù)量已耗盡的情況。至于產(chǎn)生的原因，分析后認(rèn)為是由非編制作系統(tǒng)的軟件版本Bug導(dǎo)致的。因?yàn)楫?dāng)故事版引用多個(gè)人的素材，字幕特效等，當(dāng)刪除后，會(huì)自動(dòng)在../ graphic/這個(gè)子目錄里產(chǎn)生大量的鏈接空文件夾，這正是消耗inode數(shù)量的原因，日積月累，此目錄下的小文件會(huì)越來(lái)越多。

解決的方法就是刪除這些沒(méi)用的文件和文件夾，解決方法如下：

在Linux開啟Samba服務(wù)

Samba是一種在Linux環(huán)境下實(shí)現(xiàn)SMB協(xié)議的免費(fèi)軟件。SMB（Server Message Block，服務(wù)信息塊）協(xié)議可以看作是局域網(wǎng)上共享文件的一種協(xié)議，在Linux和Windows之間的文件共享，而避開Linux的元數(shù)據(jù)區(qū)，不受inode元數(shù)據(jù)的限制。使用下面命令可以啟動(dòng)這兩個(gè)進(jìn)程，Samba服務(wù)，當(dāng)然Linux服務(wù)器中，Samba配置之前已配好。

[root@MDS02~]#/etc/rc.d/init.d/smb start

[root@MDS02~]#/usr/sbin/samba start

接下來(lái)找一臺(tái)工作站點(diǎn)，將光纖拔掉，用以太網(wǎng)映射Samba服務(wù)地址，如192.168.20.5，在工作站W(wǎng)IN7系統(tǒng)資源管理器中查找無(wú)用的文件，發(fā)現(xiàn)/graphic/目錄所占的空間并不大，只有100G，將其刪除之，inode數(shù)降到了75%，非編系統(tǒng)正常使用，之后升級(jí)大洋軟件版本。

3.5 Linux環(huán)境下文件系統(tǒng)維護(hù)

運(yùn)行Stornext文件系統(tǒng)管理程序，進(jìn)入管理控制臺(tái)，查看文件系統(tǒng)使用狀態(tài)用以下命令: [root@MDS02~]#/usr/cvfs/bin/cvadmin維護(hù)使用檢查文件系統(tǒng)程序命令如下：[root@MDS02~]#/usr/cvfs/bin/cvfsck

顯示該文件系統(tǒng)中一般性的信息和狀態(tài)，包括block size，stripe group的數(shù)量以及磁盤的數(shù)量； 整個(gè)文件系統(tǒng)包含的所有block的數(shù)量、以及剩余block的數(shù)量，命令如下：

[root@MDS02~]#/stat

對(duì)Linux環(huán)境下掛載的其它文件系統(tǒng)的小文件查找。大量小文件分布有兩種可能，一是只有一個(gè)或少量目錄下存在大量小文件，這種情況我們可以使用如下命令來(lái)找出這個(gè)異常目錄：

find / -type d -size +20M

此命令作用是找出大小大于20M的目錄（目錄數(shù)越大，表示目錄下的文件越多）。

第二種可能是，大量的小文件分布在大量的目錄下，這時(shí)候上面的命令可能找不出異常的目錄，需要以下命令：

[root@MDS01~]# cd /

[root@MDS01~]# find */ ！ -type l | cut -d / -f 1 | uniq -c

此命令作用是找出目錄下文件總數(shù)，可能需要執(zhí)行多次，直到找出具體的目錄。例如/data/目錄下還有很多目錄，這時(shí)候我們還需要繼續(xù)執(zhí)行：

[root@MDS01~]#cd /data

[root@MDS02~]#find */ ！ -type l | cut -d / -f 1 | uniq -c

直到找出具體的目錄。例如刪除/var/data/clientdev/目錄下的文件，刪除命令如下：

[root@MDS02~]#find/var/data/clientdev/-name"*"-exec rm -rf{};

3.6 實(shí)例維護(hù)總結(jié)

這次故障并不是因?yàn)橄到y(tǒng)硬件服務(wù)器宕機(jī)而導(dǎo)致，也不是因?yàn)椴僮飨到y(tǒng)崩潰而使非編制作網(wǎng)SAN存儲(chǔ)不可使用，揚(yáng)州電視臺(tái)非編制作網(wǎng)的SAN核心存儲(chǔ)掛接在Linux服務(wù)器上，雖然存儲(chǔ)空間水位線受大洋制作系統(tǒng)管理軟件控制，制作存儲(chǔ)空間控制在90%以下，但鏈接文件和空文件夾耗盡了inode數(shù)量，而使文件系統(tǒng)沒(méi)有能創(chuàng)建文件的句柄。因此對(duì)inode占用進(jìn)行監(jiān)控，并且查看到inode告警時(shí)應(yīng)及時(shí)使用以上方法來(lái)定位問(wèn)題，并及時(shí)反饋給相應(yīng)人員從根源解決。

四、結(jié)束語(yǔ)

我臺(tái)在電視業(yè)務(wù)系統(tǒng)中部署了linux服務(wù)器之后，維護(hù)的工作也隨之增加。文件系統(tǒng)是操作系統(tǒng)的重要組成部分，是直接與用戶接觸的一層，通過(guò)這個(gè)實(shí)例告訴我們，了解linux服務(wù)器操作系統(tǒng)對(duì)文件的訪問(wèn)過(guò)程和原理是很有必要。linux服務(wù)器雖然因發(fā)行版本的不同，而又會(huì)遇到簡(jiǎn)短的維護(hù)周期，但工作原理是相同的，維護(hù)方法可以優(yōu)化和借鑒