湖北工業(yè)大學：利用QinQ&PPPoE扁平化改造校園網

文/黃學松 范凱 周昕

湖北工業(yè)大學校園網扁平化改造中采用的主要技術是QinQ&PPPoE。本文介紹了基本思路，選型過程及實施效果。改造后的校園網傳輸速率提高，技術維護節(jié)省。

建設背景

高校校園網一般采用VLAN 技術。湖北工業(yè)大學校園網也經歷了802.1X、PORTAL認證、PPPoE認證三個階段。校園網早期（2004年）建設時，考慮過PPPoE模式，但由于缺少實際案例，技術成本較高而擱置，當時選擇了比較成熟適用的802.1X方案。采用的認證計費系統(tǒng)是交換機廠家免費贈送。后續(xù)由于廠家對802.1X標準做了大量擴展，需要配合該獨家的交換機及客戶端才能使用，設備采購存在較大麻煩。為此我們將計費更換為當時也較流行的網關計費方案。該方案與交換機廠家無關，部署、使用都非常簡便，因此在較長時間里滿足了學校校園網運營和管理需要。

但隨著校園網的發(fā)展，用戶數(shù)量不斷增加（用戶數(shù)3萬），出口帶寬越來越大（4G），P2P應用大量存在，網內流量也增長迅速。網關式認證計費方案（X86架構）的弱點就逐步顯現(xiàn)出來，流量超過700M時會出現(xiàn)明顯的延時甚至丟包，需要考慮更換認證計費的新方案。

建設思路

計費認證方案的總需求是：避免IP網絡的一些問題，減輕維護人員的工作量。以前校園網中管理存在的主要困難有：

有效避免用戶私接困難；用戶上網行為審計困難；同VLAN用戶量太大,可能導致廣播流量泛濫，占用帶寬，影響業(yè)務開展；某用戶中毒對交換機及同VLAN用戶影響大；面積查障/排障困難。

基于這一需求，PPPoE方案又被提上議程。PPPoE方案所需要的BRAS價格較高，早期PPPoE方案還存在著一定的技術局限性：

PPP協(xié)議和Ethernet在技術本質上存在差異。傳統(tǒng)以太網不具備詳細的用戶管理功能。PPP協(xié)議需要被再次封裝到以太幀中，增加了封裝開銷，導致效率降低；增加了分片處理的開銷；PPPoE在發(fā)現(xiàn)階段會產生大量的廣播流量，對網絡性能可能產生較大的影響，導致網絡性能降低的矛盾卻越來越突出。如何最大限度地限制廣播流量，是需要考慮的問題；組播業(yè)務開展困難，而視頻業(yè)務大部分是基于組播的；為了方便管理和維護，需要為每個用戶設定一個VLAN，這樣就需要接入交換機、匯聚交換機和核心交換機都能夠支持QinQ功能。經過PPPoE封裝以后的幀又要經過QinQ封裝，幀會加大(達1526Byte)，需要接入、匯聚和核心交換機都能夠支持巨幀傳送。

在PPPoE模式下，每個用戶的帶寬都是受限的（學校分配策略：非高峰時段每用戶6M，高峰時段為2M），這種策略不僅限制了訪問外網的帶寬，也限制了內網P2P應用，如文件傳送等，也存在著較大的限制。

什么是QinQ&PPPoE技術？

QinQ技術。IEEE802.1Q中定義的VLAN Tag域中用12個比特位表示VLAN ID，最多支持4094個VLAN。而在大型校園網中，需要大量VLAN隔離用戶，這個數(shù)量遠遠不能滿足需求。QinQ能夠解決這個問題。QinQ在802.1Q封裝的報文Tag嵌套一個Tag，以增加Tag數(shù)量。它將私網VLAN Tag封裝在公網VLAN Tag中，報文帶著兩層Tag穿越網絡（二層VPN隧道）。QinQ分為基本QinQ和靈活QinQ?；綫inQ通常以物理端口來隔離用戶（或用戶網絡），是簡單二層VPN應用。靈活QinQ根據(jù)用戶報文的Tag或其他特征（IP/MAC等），給用戶報文打上相應的外層Tag，以區(qū)分用戶（或應用）。如內層標簽代表用戶，外層標簽代表業(yè)務，有效實現(xiàn)用戶定位和業(yè)務分流。

PPPoE技術。PPP（Point-to-Point Protocol點到點協(xié)議）是工作數(shù)據(jù)鏈路層的協(xié)議，實現(xiàn)同等單元之間的數(shù)據(jù)包傳輸。這種鏈路提供全雙工操作，并按照順序傳遞數(shù)據(jù)包。設計目的主要是用來通過撥號或專線方式建立點對點連接發(fā)送數(shù)據(jù)，使其成為各種主機、網橋和路由器之間簡單連接的一種共通的解決方案。而PPPoE（Point-to-Point Protocol over Ethernet）協(xié)議允許通過一個連接客戶的簡單以太網橋啟動一個PPP 對話。PPPoE 以其良好的網絡管理效率，獲得了廣大網絡運營商的認可和應用。

技術選型

隨著技術的進步，PPPoE的上述局限性得到解決。某運營商BRAS采購及方案論證過程中，對市面上幾乎所有廠家的BRAS設備進行了非常詳細的測試。測試表明：上述PPPoE的技術局限問題在REDBACK、華為、Juniper的最新BRAS設備中，都有針對性地進行了解決和優(yōu)化。例如，組播幾乎所有送測設備都能很輕松地應對5000～10000并發(fā)的組播需求；PPP協(xié)議帶來的封裝延遲用戶也幾乎無法感知。傳統(tǒng)以太網數(shù)據(jù)幀被重新封裝成PPPoE幀，所有流量都經過PPPoE服務端，雖效率稍有降低但卻實現(xiàn)了強大的流量控制和用戶上網行為管理功能。傳統(tǒng)網絡結構中被IP地址管理、ARP攻擊、接入層網絡環(huán)路等搞得焦頭爛額的管理員們，發(fā)現(xiàn)這些在PPPoE面前不是問題（傳統(tǒng)網絡架構面對這些卻完全無能為力）。

PPPoE技術局限性的解決得益于QinQ的巧妙運用。QinQ 將用戶私網VLAN Tag封裝在公網VLAN Tag中，報文帶著兩層VLAN Tag穿越網絡。公網中只根據(jù)外層VLAN Tag傳送，私網VLAN Tag被屏蔽（內層Tag 透明傳送）。這樣，不僅對數(shù)據(jù)流進行了區(qū)分，而且由于私網VLAN Tag被透明傳送，不同的用戶VLAN Tag 可以重復使用，只需要外層VLAN Tag 在公網上的惟一即可，實際上也擴大了可利用的VLAN Tag 數(shù)量。根據(jù)這個原理，采用雙層VLAN Tag技術構造多個VLAN ，實現(xiàn)用戶認證前端口隔離和VLAN 隔離，從而達到有效減少廣播流量的目的。

另外，送檢的BRAS設備都完全通過了IPv6的所有項目測試，包括認證、接入控制、IPv6地址下發(fā)、IPv4/IPv6雙棧接入及流量區(qū)別計費等。測試時間長達半年，對設備的幾乎所有功能都進行了完整測試，測試結果堅定了學校校園網進行扁平化改造的決心。

除此之外，采用PPPoE模式以后，BRAS設備以下的所有設備都工作在二層，大大降低了這些設備的負荷，以前接入層交換機和樓棟匯聚交換機既需要處理基本的三層路由交換任務，還需要啟用一部分ACL、STP等安全功能，這些功能也大大消耗了交換機本身的CPU和內存等資源。幾年來學校校園網運行表明，片區(qū)匯聚交換機和核心交換機的負荷非常小（CPU很少超過20%），但樓棟匯聚交換機卻負荷較大。如果樓棟內的環(huán)路較多，上網用戶較多時，樓棟交換機的CPU的使用甚至會達到100%，大大影響了該樓宇的網絡性能和用戶體驗。

經過測試得出：采用QinQ&PPPoE技術進行網絡扁平化改造是可行的。在BRAS強大的吞吐性能及PPPoE完善的流量控制與用戶行為管理機制支撐下，完全能夠構建一張沒有性能瓶頸的無阻塞校園網，并大大降低網絡管理和維護工作量。

建設方案

圖1 湖北工業(yè)大學校園網拓撲圖

湖北工業(yè)大學校園網改造方案是一攬子方案。經過合法的招投標程序和精細比較，學校全網改造最終采取以下建設方案。部分拓撲如圖1所示。

兩臺某廠商ME60-X8作為全網的認證和路由管理網關，三臺S9312構建二層環(huán)網作為全網核心層，樓棟匯聚采用S5700系列交換機，接入采用S2700系列交換機，采用扁平化架構，利用QinQ技術實現(xiàn)二層隔離，有效避免了廣播風暴等網絡問題，實現(xiàn)用戶流量到網關都由ME60統(tǒng)一管理。ME60可按每用戶組播或者基于VLAN組播，考慮到未來網絡應用不斷豐富和無線校園網等應用可能導致的并發(fā)用戶激增，容易出現(xiàn)峰值接入認證的情況，采用高性能的ME60-X8，而沒有選用目前所用的ME60-X3，充分考慮性能的冗余，而且ME60-X8具備獨立的路由處理引擎，相對于ME60-X3具備更加強大的路由處理能力。整個網絡結構簡單、清晰，高性能和高可靠并存，用戶安全隔離，流量模型清晰可控，能夠支持IPoE/PPPoE/PORTAL等多種認證接入方式，具備非常好的可擴展性，能夠滿足未來一個時期的業(yè)務增長需求。

這種網絡構架，BRAS以下的所有設備都只能工作在二層，又給網絡規(guī)劃帶來新挑戰(zhàn)：隨著IP網絡向承載多業(yè)務方向發(fā)展，3G、NGN、IPTV等業(yè)務對于網絡的可靠性、QoS要求越來越高。在三層網絡中，可以通過路由快速收斂來保證，如可以通過OSPF、VRRP等協(xié)議，實現(xiàn)交換機和鏈路的冗余和故障的快速切換，提高核心網絡的穩(wěn)定和健壯，但不論是OSPF還是VRRP都是工作在三層的，在PPPoE組網模式下，傳統(tǒng)技術不能滿足快速收斂、鏈路切換的要求，當然也就無法通過這類協(xié)議來實現(xiàn)核心交換機的故障轉移和鏈路切換。對于這一問題，如果核心交換機只有兩臺，可簡單地使用S9312等核心交換設備支持的CSS集群技術，通過構建高性能交換機集群，使用跨框鏈路聚合提高鏈路利用率和網絡可靠性。而像我校使用三臺以上S9312交換機構件核心層的用戶，可以采用智能以太環(huán)網解決方案，能夠將三臺以上的S9312等核心設備組建一個二層的以太環(huán)網，通過SEP為二層以太網絡提供高可靠性和服務質量保證，可以防止環(huán)路上的廣播風暴，鏈路故障時可以提供快速收斂，從而實現(xiàn)鏈路的快速切換。

經過近一年的運行實踐表明：全網運行穩(wěn)定，設備運行良好，用戶體驗改善，運維人員工作量減輕，故障處置簡單、及時，全網改造達到了建設預期。監(jiān)控表明：所有的樓宇匯聚交換機和接入交換機，CPU的負荷最高只達到了32%（正常情況下基本都穩(wěn)定在20%以下，遠優(yōu)于改造前）；而核心交換機的CPU更是穩(wěn)定在15%左右；負荷最大的BRAS設備的CPU最高也沒有超過30%，所有設備運行穩(wěn)定。