皮宗輝,王樹國,簡 明
(1.喀什大學(xué)網(wǎng)絡(luò)與信息管理中心,新疆喀什 844000;2.新疆億網(wǎng)科技有限公司,烏魯木齊 830099)
隨著高校信息化建設(shè)不斷升級,校園基礎(chǔ)網(wǎng)絡(luò)建設(shè)水平也不斷提升,校園網(wǎng)正處在從有線覆蓋到有線無線全覆蓋、從網(wǎng)絡(luò)校園到智慧校園的建設(shè)中,因此,基礎(chǔ)網(wǎng)絡(luò)建設(shè)至關(guān)重要.在校園網(wǎng)絡(luò)建設(shè)實施過程中經(jīng)常出現(xiàn)現(xiàn)實性能與設(shè)計性能存在偏差的問題,需要不斷對網(wǎng)絡(luò)的配置策略進(jìn)行優(yōu)化和調(diào)整,提高網(wǎng)絡(luò)的穩(wěn)定性和可靠性,提升師生使用校園網(wǎng)絡(luò)的體驗感.
喀什大學(xué)新校區(qū)于2018 年底建成并投入使用,校園網(wǎng)(新老校區(qū)校園網(wǎng))統(tǒng)一規(guī)劃,建設(shè)涉及有線網(wǎng)、無線網(wǎng)、數(shù)據(jù)中心網(wǎng)絡(luò)、網(wǎng)絡(luò)安全、校區(qū)互聯(lián)、統(tǒng)一認(rèn)證等.在功能上可分為主干區(qū)、接入?yún)^(qū)、數(shù)據(jù)中心區(qū)、安全管理區(qū)、運維管理區(qū)五大區(qū)域.新校區(qū)擁有一個10G 電信鏈路出口和一個100M 教育網(wǎng)鏈路出口.校園網(wǎng)網(wǎng)絡(luò)架構(gòu)如圖1 所示.
校園網(wǎng)絡(luò)架構(gòu)設(shè)計要求按照萬兆主干、千兆到桌面的架構(gòu)建設(shè),分成3 層架構(gòu):核心、匯聚和接入.架構(gòu)采用雙核心配置,結(jié)合虛擬化技術(shù)提高可靠性.考慮到校園面積大并且單體樓分散,共設(shè)置四個匯聚間部署匯聚交換機(jī),分別位于宿舍樓2 棟、宿舍樓5 棟、計算機(jī)學(xué)院以及后勤樓.匯聚交換下聯(lián)各單體樓樓宇匯聚交換機(jī),接入層設(shè)置在各單體樓的弱電管理間.
圖1 校園網(wǎng)拓?fù)鋱D
新老校區(qū)采用電信裸纖互聯(lián),校區(qū)核心交換機(jī)之間使用40 km 單模萬兆光模塊互聯(lián).老校區(qū)優(yōu)先使用新校區(qū)出口,在校區(qū)互聯(lián)鏈路故障時,可使用老校區(qū)出口.兩個校區(qū)各部署了一套認(rèn)證計費系統(tǒng),數(shù)據(jù)同步.
核心由兩臺S12710 組成,使用堆疊技術(shù)虛擬化成一臺設(shè)備.核心上聯(lián)認(rèn)證計費,下聯(lián)接入?yún)^(qū)的4 臺匯聚交換和數(shù)據(jù)中心區(qū)的云業(yè)務(wù)交換;核心交換X 系列板卡集成了無線AC 控制器,部署了無線網(wǎng)的網(wǎng)關(guān)和DHCP 池.
認(rèn)證計費網(wǎng)關(guān)三層模式串聯(lián)部署在核心之上,是有線網(wǎng)的網(wǎng)關(guān)兼Bras,支持PPPOE 撥號、客戶端撥號和Web 三種認(rèn)證方式,所有有線、無線用戶包括核心之下的設(shè)備、服務(wù)器等上網(wǎng)流量都需要經(jīng)過認(rèn)證計費,只有完成認(rèn)證才能上網(wǎng).特殊設(shè)備可通過白名單免認(rèn)證通過.
4 臺匯聚S7710 設(shè)備分別管理宿舍區(qū)、教學(xué)樓及學(xué)院、行政樓、配套樓,有線網(wǎng)、無線網(wǎng)分別使用獨立的接入交換機(jī)和上行光鏈路,采用萬兆上行匯總至匯聚交換.由于新老校區(qū)相隔20 公里,新老校區(qū)租用電信12 芯裸光纖,通過光纖連接老校區(qū)變?yōu)樾滦^(qū)的一個匯聚.
考慮到宿舍區(qū)學(xué)生用戶多流量較大,有線、無線分別配置了的S5720-EI 增強(qiáng)型交換作為小匯聚,具備萬兆上行能力.宿舍區(qū)使用了中心AP 加面板的模式,每間宿舍一個面板,保障無線信號覆蓋.宿舍區(qū)有線的接入連接方式為:電腦—S628(接入)—S5720(有線小匯聚)—S7710(匯聚).宿舍區(qū)無線的接入連接方式為:移動終端—RD250(面板)—AD9431/S628-PWR(POE 接入)—S5720(無線小匯聚)—S7710(匯聚).S628-PWR與AD9431 配對使用,電口級聯(lián),AD9431 級聯(lián)使用光口;各配電間獨立上行至匯聚交換.
有線網(wǎng)使用了QinQ 技術(shù),每臺接入交換機(jī)配置了一個內(nèi)層Vlan,端口隔離;在匯聚交換的下行口上配置靈活QinQ,給進(jìn)入該接口的流量打上統(tǒng)一外層Vlan 標(biāo)簽,配合隔離配置,減小廣播風(fēng)暴對網(wǎng)絡(luò)的影響.有線業(yè)務(wù)地址通過認(rèn)證計費DHCP 獲得.接入交換下行口全部配置端口隔離,同時開啟dhcp snooping 功能.
核心交換作為無線網(wǎng)AC 控制器,AP 管理Vlan10,轉(zhuǎn)發(fā)模式為隧道模式,POE 接入至匯聚只需透傳管理Vlan;無線業(yè)務(wù)地址通過核心DHCP 獲得;配置無線用戶二層隔離.
eSight 網(wǎng)管平臺,部署在一臺華為RH2288 V5 服務(wù)器上,添加了所有校園網(wǎng)交換機(jī)設(shè)備.通過拓?fù)鋱D和設(shè)備列表,可以實時值觀的了解到目前的網(wǎng)絡(luò)故障點、鏈路負(fù)載、設(shè)備負(fù)載,查看設(shè)備故障記錄;eSight 可對設(shè)備做批量修改配置,方便運維.
eSight 服務(wù)器管理平臺部署在云平臺虛擬機(jī)上,已添加了云平臺的13 臺服務(wù)器和2 臺存儲,主要用于查看服務(wù)器和存儲的告警信息、資源使用情況.
喀什大學(xué)校園網(wǎng)于2019 年5 月基本建設(shè)完成,進(jìn)入試運行階段.運行階段初期校園網(wǎng)絡(luò)用戶只有3000左右,系統(tǒng)運行平穩(wěn).2020 年4 月份,由于受疫情影響,部分學(xué)生返校學(xué)習(xí),教師利用校園網(wǎng)絡(luò)平臺進(jìn)行線上教學(xué),學(xué)生利用校園網(wǎng)絡(luò)在線學(xué)習(xí),還有教學(xué)單位和部門利用騰訊會議、釘釘平臺進(jìn)行視頻會議.校園網(wǎng)絡(luò)用戶增到并發(fā)6000 左右,校園出口即時流量高峰期達(dá)3.5 G 左右.校園網(wǎng)網(wǎng)部分用反映,在連接無線網(wǎng)絡(luò)利用騰訊會議召開視頻會議時偶爾出現(xiàn)卡頓現(xiàn)象,也有用戶反映網(wǎng)絡(luò)有掉線的現(xiàn)象.這主要是兩個方面原因造成的.
登陸宿舍匯聚交換機(jī),發(fā)現(xiàn)所有連接無線樓宇小匯聚的帶寬利用率均在80%左右,上行接口發(fā)送流量達(dá)800M,下行數(shù)量流量還不到200M.交換進(jìn)出流量嚴(yán)重不匹配(見圖2).登陸Esight 網(wǎng)管平臺,觀察各下行接口的24 小時流量波形圖(圖3 和圖4),發(fā)現(xiàn)流量波形基本相同.基于這些流量特點判斷宿舍區(qū)匯聚上產(chǎn)生了大量下行組播流量,而校園網(wǎng)并無配置組播業(yè)務(wù),產(chǎn)生的組播流量可能為核心AC 對大量無用檢測所致.
圖2 無線樓宇小匯聚接口流量
圖3 下行接口的24 小時流量波形圖1
圖4 下行接口的24 小時流量波形圖2
宿舍樓宇反映,部分宿舍學(xué)生連接無線網(wǎng)絡(luò)后無法通過DHCP 獲得地址,出現(xiàn)問題的宿舍并不固定,更換無線面板后問題并沒有消失,檢查無線網(wǎng)關(guān)DHCP池發(fā)現(xiàn)地址充足.于是決定派人持手機(jī)到問題宿舍,手機(jī)MAC 地址為90ad-f7c4-8667,從接入層開始逐級向上追蹤該MAC 地址的信息.在樓宇無線小匯聚上追蹤得到DHCP 不可用的信息
進(jìn)一步在上級宿舍區(qū)匯聚S7710 上沒有該MAC地址.
登錄核心交換機(jī)查看,發(fā)現(xiàn)CPU 占用率一般在65%附件,高峰期偶爾達(dá)到95%,持續(xù)1-2 分鐘后下降到60%左右(見圖5).CPU 使用率過大導(dǎo)致核心交換機(jī)處理能力不足而造成網(wǎng)絡(luò)斷網(wǎng)現(xiàn)象.
圖5 核心交換機(jī)cpu 占用率
由于無線AC 集成在核心交換機(jī)的板卡上,核心與AP 之間采用隧道模式,造成核心既要轉(zhuǎn)發(fā)業(yè)務(wù)數(shù)據(jù),還要承擔(dān)管理3600 多個無線APSSID、認(rèn)證、信道、流控等管理功能,導(dǎo)致核心壓力很大,在AC 與AP 執(zhí)行管理功能時,cpu 占用率急劇升高.
由于網(wǎng)絡(luò)側(cè)有大量異常組播流量涌入,造成無線空口擁堵,終端上網(wǎng)速率慢.為了減小組播報文對無線網(wǎng)絡(luò)造成的沖擊,配置組播抑制功能[1].
[XYW-Core-S12710]wlan //進(jìn)入流量模板
[XYW-Core-S12710-wlan-view]traffic-profile name default
[XYW-Core-S12710-wlan-traffic-prof-default]
traffic-optimize multicast-suppression packets 200// 限制整個無線網(wǎng)絡(luò)的最大組播流量閾值為200 pps.
學(xué)生公寓樓宇無線AP 接入交換機(jī)上:
經(jīng)過以上修改,宿舍區(qū)匯聚S7710 的各下行端口流量恢復(fù)正常,交換機(jī)進(jìn)出流量基本平衡,抑制異常無線流量后對正常無線流量無任何影響.
圖6 宿舍區(qū)匯聚S7710 端口流量
為了防范各種DHCP 攻擊或是路由器WLAN 口接入私發(fā)地址,通常在接入層開啟DHCP Snooping 功能,該功能保證DHCP 客戶端從合法的DHCP 服務(wù)器獲取IP 地址,并記錄DHCP 客戶端IP 地址與MAC 地址等參數(shù)的對應(yīng)關(guān)系,防止網(wǎng)絡(luò)上針對DHCP 攻擊.由于在宿舍區(qū)小匯聚上也開啟了一個DHCP Snooping 功能,一個樓的接入用戶近千人,超過了DHCP Snooping 記錄客戶端IP 和MAC 對應(yīng)關(guān)系表的上限.當(dāng)對應(yīng)表滿時,后續(xù)進(jìn)行DHCP 的用戶由于沒有在關(guān)系表中,其DHCP 包被交換機(jī)攔截.因此在樓宇無線小匯聚上關(guān)閉DHCP Snooping 功能,順利解決了部分用戶無法獲得DHCP 的問題
[S628-PWR-1]undo dhcp enable.
五個匯聚交換機(jī)上啟用三層功能,把無線地址池從核心下放到匯聚,無線AP 上的接入用戶從上聯(lián)匯聚交換機(jī)上獲取到IP 地址和網(wǎng)關(guān).減少核心交換機(jī)壓力.
無線AP 的數(shù)據(jù)流量由隧道轉(zhuǎn)發(fā)模式調(diào)整為直接轉(zhuǎn)發(fā)模式,提高報文轉(zhuǎn)發(fā)效率,減輕核心的壓力.修改核心和無線AP 接入配置如下:
在進(jìn)入核心的vap-profile name ksu-wlan 模板下
輸入 undo forward-mode tunnel// 刪除隧道模式,系統(tǒng)默認(rèn)為直接轉(zhuǎn)發(fā)模式;
無線AP 接入交換機(jī)上用戶接口上透傳業(yè)務(wù)vlan,修改配置如下[2]:
Esight 網(wǎng)管平臺中配置WLAN 相關(guān)的輪詢參數(shù)后,ESight 會定時的去查詢和獲取設(shè)備上的相關(guān)參數(shù),保證網(wǎng)管和設(shè)備上信息的一致性.在主菜單中選擇“系統(tǒng)> 系統(tǒng)設(shè)置> 南向設(shè)備設(shè)置”,在左側(cè)導(dǎo)航樹中選擇“網(wǎng)絡(luò)設(shè)備輪詢設(shè)置”頁面中,優(yōu)化輪巡配置[3].鏈路接口輪詢間隔調(diào)整為60 分鐘,關(guān)閉IP 地址輪詢時間、WLAN 數(shù)據(jù)輪詢、虛擬系統(tǒng)數(shù)據(jù)輪詢、接入用戶輪詢等功能.
經(jīng)上面優(yōu)化調(diào)整后,核心交換機(jī)CPU 占有率恢復(fù)到30%(如圖7).
圖7 核心交換機(jī)CPU 占有率
喀什大學(xué)校園網(wǎng)絡(luò)經(jīng)以上一系列措施優(yōu)化后,設(shè)備運行更加穩(wěn)定、可靠,用戶上網(wǎng)速度明顯加快,師生對校園網(wǎng)的滿意度明顯提高.目前,校園網(wǎng)高峰期并發(fā)用戶達(dá)到8000 左右,出口流量最高達(dá)8G,網(wǎng)絡(luò)運行平穩(wěn).今后,我們將繼續(xù)觀察校園網(wǎng)運行過程中存在的不足,通過技術(shù)手段,優(yōu)化調(diào)整校園網(wǎng)策略,保障校園網(wǎng)絡(luò)高效、安全、穩(wěn)定運行,提高網(wǎng)絡(luò)服務(wù)質(zhì)量,為高校數(shù)字化建設(shè)提供必備的前提和保障.