摘 要：采用硬件冗余和軟件容錯相結(jié)合、熱備與雙工相結(jié)合的工作方式代替?zhèn)鹘y(tǒng)的容錯熱備份方式，提出了一種適于核心路由器主控系統(tǒng)的容錯設(shè)計方案。分析了主控容錯系統(tǒng)設(shè)計中的基本問題，并針對這些問題提出了了該容錯系統(tǒng)的具體實(shí)現(xiàn)方案。測試結(jié)果表明，采用了該設(shè)計方案的主控軟件系統(tǒng)具有很好的容錯性能和故障恢復(fù)能力，能夠滿足核心路由器對主控軟件系統(tǒng)的高可用性要求。 關(guān)鍵詞：主控系統(tǒng);核心路由器;容錯;熱備份;硬件冗余 [b][align=center]One Kind of Fault-Tolerant Design Proposal Suitable for the Core Router Muster Control System Wang Xin-min[/align][/b] Abstract: With the hardware redundancy and software fault-tolerant unifies, hot backup and the duplex working ways which replaced the traditional the fault-tolerant hot backup ways, proposed one kind of fault-tolerant design proposal suitable for the core router muster control system. Analyzed the basic question of muster control system in the fault-tolerant design, and aimed at these questions to propose this fault-tolerant system concrete realization plan. The test result indicated that, used this design proposal ,the muster control software system has good fault-tolerant performance and the breakdown restores ability, could satisfy the high usability request of the muster control software system in core router. Keyword: muster control ;core router; fault tolerant; hot backup; hardware redundancy 1 前言 　　隨著高速網(wǎng)絡(luò)的迅速發(fā)展以及人們對網(wǎng)絡(luò)的依賴性越來越來高，主干網(wǎng)絡(luò)的可靠性顯得尤為重要。并且隨著國家對網(wǎng)絡(luò)基礎(chǔ)建設(shè)的投入不斷加大力度，以及對網(wǎng)絡(luò)核心設(shè)備國產(chǎn)化的堅定決心，促使了網(wǎng)絡(luò)核心設(shè)備的研發(fā)在國內(nèi)獲得了迅速發(fā)展，并取得了一定的研究成果。但與國外一些知名廠商和研究機(jī)構(gòu)設(shè)計的設(shè)備還是有一定差距，這種差距不僅僅是在功能上，更多的是體現(xiàn)在諸如可靠性、容錯性、擴(kuò)展性等等這些方面，而這些方面恰恰能影響到該設(shè)備所能提供的服務(wù)質(zhì)量。因此本文針對網(wǎng)絡(luò)核心設(shè)備——核心路由器上主控系統(tǒng)高容錯性設(shè)計做了一定研究與探討，并提出了一種適于核心路由器主控系統(tǒng)的高容錯性實(shí)現(xiàn)方案。 2 高可靠性技術(shù) 　　高可靠性是指可持續(xù)的、具有一致性和完整性的數(shù)據(jù)訪問。高可用性系統(tǒng)通過提高服務(wù)器可靠性、磁盤可靠性、應(yīng)用程序可靠性來達(dá)到高可用性的要求。具體實(shí)現(xiàn)可以通過共享磁盤陣列來提高磁盤可靠性，使用冗余網(wǎng)絡(luò)來提高網(wǎng)絡(luò)可靠性，使用合作的服務(wù)器來提高服務(wù)器的可靠性，通過應(yīng)用程序的探測與有效恢復(fù)來提高應(yīng)用程序的可靠性。 　　路由器作為計算機(jī)網(wǎng)絡(luò)的核心設(shè)備，其高可用性至關(guān)重要。對于路由器來說要實(shí)現(xiàn)高可用性，從硬件來看，要有一個很好的體系結(jié)構(gòu)，各種冗余非常完善。關(guān)鍵部件如路由引擎和交換矩陣要有冗余。從軟件來看，其自身要強(qiáng)壯，另外在遇到更換硬件、系統(tǒng)升級、增加板卡和改變鏈路等網(wǎng)絡(luò)調(diào)整時，軟件要有能力保證整個網(wǎng)絡(luò)業(yè)務(wù)不受局部調(diào)整的影響，讓整個網(wǎng)絡(luò)體現(xiàn)出非常高的可用性，它要保證路由引擎進(jìn)行不丟包的切換。主引擎發(fā)生故障，切換到副引擎時不丟包，平滑切換，否則硬件的冗余就沒有意義，是假冗余。另外還要保證平穩(wěn)重啟。通常當(dāng)路由重啟時，由此產(chǎn)生的路由重新計算和網(wǎng)絡(luò)范圍的路由更新會消耗掉處理資源，并有可能出現(xiàn)黑洞或瞬時轉(zhuǎn)發(fā)循環(huán)形式的非預(yù)期網(wǎng)絡(luò)行為。而平穩(wěn)重啟會避免這種情況的發(fā)生。 　　對于網(wǎng)絡(luò)設(shè)備可用性的研究，目前主要集中在設(shè)備生產(chǎn)廠家進(jìn)行，技術(shù)專用性和保密性強(qiáng)，可參考的設(shè)計細(xì)節(jié)不多。不過對于可維修的系統(tǒng)，衡量其可靠性的指標(biāo)叫做可用度，相應(yīng)的理論又叫做可用性理論。核心路由器就是一個可維修的系統(tǒng)。根據(jù)系統(tǒng)的可靠度，從高到低可以分為四個檔次：連續(xù)可用性系統(tǒng)（Continuous Availability System），容錯系統(tǒng)（Fault Tolerance Syetem），高可用系統(tǒng)（High Availability System），容災(zāi)系統(tǒng)（Disaster Tolerance System）。前兩種一般用于航天和軍工等領(lǐng)域，對于核心路由器，要求達(dá)到高可用系統(tǒng)。系統(tǒng)可用性是指在容許的極限故障數(shù)目內(nèi)，系統(tǒng)按規(guī)范成功運(yùn)行的概率。 　　可用性理論的研究主要包括兩個范疇：提高元部件可靠性達(dá)到系統(tǒng)可靠的避錯技術(shù)和使用給定器件構(gòu)成高可靠性系統(tǒng)的容錯技術(shù)。目前元部件的可靠性研究已十分成熟，并在工業(yè)中廣泛采用。而且對于一個系統(tǒng)，無論采用多少避錯設(shè)計方法，總不能保證永遠(yuǎn)不出錯。所以容錯技術(shù)成為了提高系統(tǒng)可用性的研究熱點(diǎn)。目前，核心路由器的可靠性實(shí)現(xiàn)就普遍采用了這種技術(shù)。 3 核心路由器的主控系統(tǒng)容錯系統(tǒng)設(shè)計 　　3.1主控系統(tǒng)容錯系統(tǒng)設(shè)計中的基本問題 　　基于容錯需求的考慮，當(dāng)主控系統(tǒng)出現(xiàn)軟硬件故障時路由器仍要正常工作，故硬件配置方面采用1+1冗余設(shè)計，配備主用（Active）和備用（Standby）兩塊主控板，構(gòu)建雙主控?zé)醾淙蒎e系統(tǒng)。當(dāng)主用主控板發(fā)生故障，系統(tǒng)自動進(jìn)行主備切換，由備用主控板接替主用板工作，保證業(yè)務(wù)的正常運(yùn)行。當(dāng)主用模塊發(fā)生嚴(yán)重故障或主用復(fù)位時，將觸發(fā)自動倒換方式，及時倒換到備用板。這種1+1冗余設(shè)計可擴(kuò)展到N+1冗余設(shè)計。 　　整個切換過程要保證對用戶是透明的，需要考慮的重點(diǎn)和實(shí)現(xiàn)的難點(diǎn)在于主備系統(tǒng)間數(shù)據(jù)庫一致性問題、平滑切換技術(shù)的實(shí)現(xiàn)和故障監(jiān)測機(jī)制。 　　l 數(shù)據(jù)庫一致性問題 　　路由器主控板上有系統(tǒng)實(shí)時運(yùn)行記錄的數(shù)據(jù)，因此正常工作過程中需要進(jìn)行實(shí)時的系統(tǒng)數(shù)據(jù)備份，以保證做到主用和備用上的數(shù)據(jù)庫一致，否則在主備切換時，備用就不能正常接替主用。針對該問題，在高可用性模塊的設(shè)計中，采用了一種雙工與熱備相結(jié)合的不完全熱備設(shè)計，需要備份的數(shù)據(jù)主要是系統(tǒng)數(shù)據(jù)庫中的路由表項(xiàng)和轉(zhuǎn)發(fā)表表項(xiàng)。 　　所謂雙工與熱備相結(jié)合的不完全設(shè)計是指，雙主控板上都運(yùn)行心跳探測程序用于故障探測，主用主控板上運(yùn)行路由器正常工作所需要的所有應(yīng)用程序，而備用主控板上運(yùn)行部分重要應(yīng)用程序，這些程序正常工作，和主用上的這些程序有相同的輸入數(shù)據(jù)，但處理結(jié)果并不輸出。這樣的設(shè)計保證了路由器出現(xiàn)故障進(jìn)行切換時低耗時，減輕了需要備份的數(shù)據(jù)量，既又不象完全雙工工作方式那樣浪費(fèi)資源，又避免了熱備工作方式的很多不足，性能明顯優(yōu)于純粹的熱備或者雙工方式。 　　數(shù)據(jù)備份有冷備份和熱備份兩種：冷備份是在數(shù)據(jù)庫已經(jīng)正常關(guān)閉的情況下，進(jìn)行完整數(shù)據(jù)庫的備份，是最快和最安全的方法，但是冷備份的最大問題是必須在數(shù)據(jù)庫關(guān)閉的情況下進(jìn)行，當(dāng)數(shù)據(jù)庫處于打開狀態(tài)時，執(zhí)行數(shù)據(jù)庫文件系統(tǒng)備份是無效的。 　　熱備份是在數(shù)據(jù)庫運(yùn)行的情況下，采用archivelog mode方式備份數(shù)據(jù)。有雙機(jī)鏡像和共享磁盤陣列兩種方案，雙機(jī)鏡像方案可選擇將主數(shù)據(jù)庫服務(wù)器上的表、文件、數(shù)據(jù)庫或全部內(nèi)容通過專用連接通道鏡像到備用服務(wù)器上作，優(yōu)點(diǎn)是簡單、便宜，缺點(diǎn)是降低系統(tǒng)資源。共享磁盤陣列方案為兩臺主機(jī)共用一個磁盤陣列，優(yōu)點(diǎn)是不降低系統(tǒng)性能，為目前較為流行的主流技術(shù)，但要求磁盤陣列具有較高的可靠性。 　　對于運(yùn)行在骨干網(wǎng)中的路由器，冷備份顯然不適用，因?yàn)槁酚善鬟\(yùn)行過程中不可能定時關(guān)閉數(shù)據(jù)庫來備份數(shù)據(jù)，更不可能在路由器出現(xiàn)故障時再備份數(shù)據(jù)，因此采用熱備份。鑒于要備份的數(shù)據(jù)量不大，不必要采取雙機(jī)鏡像和共享磁盤陣列方式，在本設(shè)計中采用了一種新型的數(shù)據(jù)熱備份方式：將需要備份的數(shù)據(jù)以日志文件的形式存儲，通過TCP傳輸?shù)姆椒▽⑽募D(zhuǎn)化為數(shù)據(jù)流由主用備份到備用上，實(shí)現(xiàn)實(shí)時備份。面向連接的TCP傳輸可靠且速度快，丟失文件的概率極小，故非?？煽?。 　　l 平滑過渡――切換延時問題 　　路由器主控系統(tǒng)出現(xiàn)故障時，要能夠?qū)τ脩敉该鞯剡M(jìn)行主備切換，就要實(shí)現(xiàn)系統(tǒng)間的無縫切換，減少切換過程中的時延并降低數(shù)據(jù)丟失率。無縫切換是一種完美的切換，包括快速切換和平滑切換兩個方面?？焖偾袚Q意味著低延遲，平滑切換就是低的數(shù)據(jù)包丟失率，無縫切換是兩者的結(jié)合，即低延遲和低丟失率。對于快速切換，要求在單板掉鏈之前完成切換過程，使備用接替主用的工作，保證路由器中的各個流程正常不受主控故障的影響，不影響網(wǎng)絡(luò)的正常運(yùn)行;對于平滑切換，有兩點(diǎn)要求，一是切換時，主備用主控板上的數(shù)據(jù)庫是一致的，二是在主備用數(shù)據(jù)庫一致的基礎(chǔ)上，備用啟用后能在規(guī)定的時間[4]內(nèi)完成備份數(shù)據(jù)的導(dǎo)入。所謂規(guī)定的時間，也包括在切換的總時間內(nèi)，切換時間[4]=發(fā)現(xiàn)故障的時間+啟用切換的時間+故障接管時間。 　　l 故障監(jiān)測機(jī)制 　　系統(tǒng)中的兩塊主控板，經(jīng)過主備協(xié)商后確定主備地位，一塊為Master狀態(tài)，控制整個系統(tǒng);另一塊為Slave狀態(tài)，處于備份狀態(tài)。兩塊主控板之間通過UDP傳輸心跳報文交互自身的狀態(tài)數(shù)據(jù)來識別主控的軟/硬件故障。路由器正常運(yùn)行過程中，主用和備用主控板之間定時互相發(fā)送keepalive報文進(jìn)行心跳探測，報文內(nèi)容中包含了自身的狀態(tài)信息。備用在定時器到期前未收到來自主用的keepalive報文就認(rèn)為主用失效，進(jìn)入主備切換成為新主用，自動接管原主用的服務(wù)程序，繼續(xù)提供服務(wù)。原主用從故障中恢復(fù)或被更換后，會重新發(fā)送協(xié)商報文，與新主用取得聯(lián)系，成為新備用，而不必再進(jìn)行一次切換，節(jié)省了系統(tǒng)資源。 　　3.2高可用性模塊的設(shè)計及實(shí)現(xiàn) 　　在主控軟件容錯系統(tǒng)的設(shè)計方案中，采用了兩塊主控板掛載八塊單板，兩塊主控板之間通過面向無連接的UDP通信機(jī)制交互心跳數(shù)據(jù)，通過面向連接的TCP通信機(jī)制傳輸備份文件數(shù)據(jù)流;主控板與單板之間通過高速以太網(wǎng)連接。圖1中給出了該系統(tǒng)的總體結(jié)構(gòu)圖。 　　按照功能的不同，在設(shè)計方案中將高可用性模塊劃分為三個子模塊：AS通信模塊、AS系統(tǒng)監(jiān)控模塊和AS Keepalive模塊，如圖2所示。 　　AS通信模塊，負(fù)責(zé)主控系統(tǒng)上高可用性模塊與系統(tǒng)數(shù)據(jù)維護(hù)模塊（SYSDATA）和板間通信模塊（BDCOM）間的通信，數(shù)據(jù)備份和TCP傳輸; 　　AS監(jiān)控模塊，負(fù)責(zé)主控軟件各個系統(tǒng)進(jìn)程的監(jiān)控與維護(hù)、管理等核心功能，當(dāng)某個軟件占cpu使用百分比過大時，認(rèn)為該主控軟件運(yùn)行不正常，根據(jù)該軟件的運(yùn)行規(guī)則和重要性選擇恢復(fù)策略，重啟該進(jìn)程或者進(jìn)入主備切換; 　　AS Keepalive模塊，負(fù)責(zé)兩塊主控板之間的主備協(xié)商，確定主控板的主備地位;在路由器正常運(yùn)行過程中，定時向?qū)Ψ街骺匕灏l(fā)送keepalive報文進(jìn)行心跳探測;針對網(wǎng)絡(luò)擁塞可能導(dǎo)致的丟包，以及cpu排隊處理多線程時可能超時處理keepalive報文，造成的主用主控“假死”現(xiàn)象，采用了再協(xié)商（Re-negotiation）技術(shù)，在超時收不到對方主控板發(fā)送的keepalive報文時不直接認(rèn)為對方主控板故障，而是進(jìn)行一次退避，與對方發(fā)送協(xié)商報文進(jìn)行再協(xié)商，再協(xié)商與初始化過程中的主備協(xié)商不完全相同。采用Re-negotiation技術(shù)與通常采用的單純固定不變的心跳探測技術(shù)相比較，可以更好地提高系統(tǒng)心跳環(huán)境適應(yīng)能力和穩(wěn)定性，更好地保證了系統(tǒng)的高可用性。 [align=center] 圖 1 主控軟件容錯系統(tǒng)總體結(jié)構(gòu)圖[/align] [align=center] 圖 2 高可用性模塊詳細(xì)設(shè)計圖[/align] 4 系統(tǒng)容錯性的測試 　　本文利用Adtech AX/4000路由器測試儀，在不同負(fù)載下，對HAL的效率及可靠性進(jìn)行了測試，測試結(jié)果如圖3所示。測試時的發(fā)包速率服從馬爾可夫調(diào)制泊松過程（MMPP），圖3-1和圖3-2分別給出了隨著不同故障情況下，路由器吞吐率和時延的測試結(jié)果。測試結(jié)果表明該主控系統(tǒng)的容錯設(shè)計可用對路由器運(yùn)行中出現(xiàn)的各種錯誤做出一定的處理，雖然其延時和吞吐率會受到一定影響。尤其在10%的故障情況下，系統(tǒng)的延時并不是特別大，將可能地降低了系統(tǒng)故障對用戶的影響。當(dāng)然在高故障情況下，系統(tǒng)的吞吐率下降的非常明顯，因此在下一步設(shè)計中將重點(diǎn)研究產(chǎn)生這一現(xiàn)象的原因，并加以改善。 [align=center] 圖3-1 延時性測試 圖3-2 吞吐率測試[/align] 5 總結(jié) 　　本文研究了T比特核心路由器的主控系統(tǒng)結(jié)構(gòu)，設(shè)計了高可用性模塊，該模塊采用熱備份模式，通過對主控板的硬件冗余設(shè)置，配合軟件實(shí)現(xiàn)上的數(shù)據(jù)熱備份、及心跳探測等技術(shù)消除T比特路由器中主控單點(diǎn)故障。該模塊應(yīng)用于T比特路由器主控軟件系統(tǒng)中，當(dāng)主用主控板發(fā)生故障時，可以快速、準(zhǔn)確、平滑地進(jìn)行主備切換，從而提高了系統(tǒng)的穩(wěn)定性和可靠性，最終實(shí)現(xiàn)路由器的高可用性。 參考文獻(xiàn)： 　　1 中華人民共和國信息產(chǎn)業(yè)部科學(xué)技術(shù)司,YD/T1097-2001《路由器設(shè)備技術(shù)規(guī)范—高端路由器》. 2001. 　　2 Cisco White Paper, The Evolution of High-End Router Architectures, Basic Scalability and Performance Considerations for Evaluating Large-Scale Router Designs 　　3 Vitesse Semiconductor Corporation, Longmont, Colorado, IQ2000 Network Processor Product Brief, 2000. 　　4 James Aweya，On the design of IP routers Part 1：Router architectures， Journal of Systems Architecture 46 （2000） pp:483-511. 　　顏永紅, 張帆. TCAM路由更新的硬件優(yōu)化[J]. 微計算機(jī)信息 , 2006，12-2：254-256。