數(shù)據(jù)中心服務(wù)器接入部署-多網(wǎng)卡接入，網(wǎng)絡(luò)部署方案

數(shù)據(jù)中心服務(wù)器接入部署-多網(wǎng)卡接入，網(wǎng)絡(luò)部署方案
服務(wù)器多網(wǎng)卡接入簡介

服務(wù)器NIC Teaming（多網(wǎng)卡接入）

服務(wù)器NIC Teaming，也稱單機鏈路的負載均衡，一般指的是單臺服務(wù)器利用多個網(wǎng)卡進行綁定而實現(xiàn)的負載均衡。

不同網(wǎng)卡芯片的產(chǎn)商除了網(wǎng)卡自身的驅(qū)動外，還會提供管理軟件來使能多網(wǎng)卡的負載均衡。同時，在不同的操作系統(tǒng)下，如Linux，本身自帶了網(wǎng)卡負載均衡的驅(qū)動。

簡單來講，Teaming就是把同一臺服務(wù)器上的多個物理網(wǎng)卡通過軟件綁定成一個虛擬的網(wǎng)卡，也就是說，對于外部網(wǎng)絡(luò)而言，這臺服務(wù)器只有一個可見的網(wǎng)卡。對于任何應(yīng)用程序，以及本服務(wù)器所在的網(wǎng)絡(luò)，這臺服務(wù)器只有一個網(wǎng)絡(luò)鏈接或者說只有一個可以訪問的 IP地址（備注：MAC地址不一定相同，原因詳見后面的技術(shù)原理描述）。之所以要利用Teaming技術(shù)，除了利用多網(wǎng)卡同時工作來提高網(wǎng)絡(luò)速度以外，還有可以通過Teaming實現(xiàn)不同網(wǎng)卡之間的負載均衡（Load balancing）和網(wǎng)卡冗余（Fault tolerance）。

單服務(wù)器多網(wǎng)卡采用NIC Teaming技術(shù)可以將2張或最多可達8張網(wǎng)卡捆綁在一起使用。

服務(wù)器Teaming-Linux

Round-robin：

所有鏈路處于負載均衡狀態(tài)，輪詢方式往每條鏈路發(fā)送報文，基于per packet方式發(fā)送。默認情況下使用eth0(第一張網(wǎng)卡)的mac為綁定接口的mac，所有綁定下的接口都用這個mac。這種模式既增加了帶寬，同時支持容錯能力；但是會導(dǎo)致網(wǎng)絡(luò)報文傳輸出現(xiàn)亂序，需要交換機端創(chuàng)建AP來支持。

Active-backup：

只有一張網(wǎng)卡處于Active狀態(tài)，負責(zé)發(fā)送和接收報文，其他都處于standby狀態(tài)，不發(fā)送和接收任何報文。所有網(wǎng)卡共享相同的MAC和IP。這種模式支持容錯能力，沒有實際增加帶寬。

Load Balancing (XOR)：

采用取報文字段進行hash計算的方式來增加帶寬，同時保證到達特定對端的會話流量總是從同一個接口上發(fā)出，保證該會話的報文順序不亂，需要交換機端創(chuàng)建AP來支持。

Fault-tolerance (broadcast)：

該模式下完全相同的報文會往所有接口都拷貝一份發(fā)出去。比如：ping一個報文到服務(wù)器，服務(wù)器會同時發(fā)兩個接口都發(fā)完全相同ICMP回應(yīng)報文。

該模式不是真正意義上的鏈路聚合，只是簡單的將報文廣播的所有的接口，目的是將報文廣播到不同廣播域來保證高可靠性。該模式的應(yīng)用需求比較特殊，不同網(wǎng)卡連接的不同交換機間沒有連接，且屬于不同網(wǎng)段，而此時又需要單條流能同時到達兩個不同的網(wǎng)段，就需要通過該模式來配置服務(wù)器。

LACP：

這種模式就是交換機的動態(tài)AP：IEEE 802.3ad Dynamic link aggregation。將相同速率、雙工的端口動態(tài)（允許自動）聚合在一起。同時可以通過調(diào)整參數(shù)來指定hash算法。需要交換機端啟用LACP來支持。

Transmit Load Balancing：

TLB模式通過對端均衡出口流量。由于是根據(jù)MAC地址進行均衡，在三層網(wǎng)絡(luò)配置下，該模式會通過單個設(shè)備來發(fā)送所有流量，然而在二層網(wǎng)絡(luò)配置下，該模式以相對智能的方式（不是Load Balancing(XOR)或802.3ad模式里提及的XOR方式）來均衡多個本地網(wǎng)絡(luò)對端，因此那些特殊的MAC地址（比如XOR得到同樣值）不會均衡到同一個接口上。該模式也不像802.3ad，該模式的接口可以有不同的速率，而且不需要特別的交換機配置。不利的一面在于，該模式下所有入口流量會到達同一個接口。

該綁定模式下，綁定接口的MAC和優(yōu)先級最高的網(wǎng)卡MAC一樣（默認是第一個綁定接口），其他網(wǎng)卡MAC保留自己原來的MAC（這個和之前5種模式不同，前面所有網(wǎng)卡的MAC和綁定接口的一樣。）

Adaptive load balancing：

該模式包含了TLB模式，同樣會發(fā)snap報文來檢測鏈路。同時加上針對IPv4流量的接收負載均衡(Receive Load Balance, RLB)，而且不需要任何交換機的支持。

服務(wù)器NIC Teaming對網(wǎng)絡(luò)要求

需交換機支持靜態(tài)AP，需交換機支持802.3ad LACP。

某些場景下需要支持跨設(shè)備的AP，即需要交換機支持VSU或IRF、VSS等（主要是為了簡化管理的目的）。

需要注意AP的流量均衡算法，根據(jù)不同的網(wǎng)絡(luò)流量需要進行調(diào)整，調(diào)整包括交換機端和服務(wù)器端的負載均衡算法，保證服務(wù)器端出來的報文能夠均衡到多個入口上，也要保證從交換機端輸出的報文能夠均衡到多個出口。

服務(wù)器多網(wǎng)卡接入部署

U型組網(wǎng)：不建議使用

方案優(yōu)點：

不啟用STP，好管理；網(wǎng)絡(luò)絡(luò)接入層不存在二層環(huán)路，接入層交換機可以不啟用生成樹協(xié)議，因此網(wǎng)絡(luò)的配置管理簡單。

雙active鏈路，接入交換機密度高。

方案缺點：

從接入交換機到匯聚交換機缺少二層冗余路徑，方案不具備高可用性。

VLAN不能跨匯聚層，服務(wù)器部署不靈活；服務(wù)器的接入VLAN不能跨匯聚層，服務(wù)器不能實現(xiàn)跨交換機的二層互聯(lián)，網(wǎng)絡(luò)的二層擴展能力有限。

接入交換機間鏈路故障，VRRP心跳報文無法傳遞，整機做VRRP主備切換，故障收斂時間長；服務(wù)器網(wǎng)關(guān)指向匯聚交換上VRRP的VIP地址，但VRRP心跳報文的傳輸路徑必須經(jīng)過兩臺接入交換機，當(dāng)兩臺接入層交換機之間的鏈路發(fā)生中斷時，兩臺匯聚交換機都變?yōu)閂RRP主設(shè)備，網(wǎng)絡(luò)進入三層不穩(wěn)定狀態(tài)。

機架式服務(wù)器適用性分析：

網(wǎng)絡(luò)接入不具備高可用性，且二層擴展能力有限，因此不建議在機架式服務(wù)器接入時采用這種組網(wǎng)。

刀片服務(wù)器適用性分析：

網(wǎng)絡(luò)接入不具備高可用性，二層擴展能力有限，不建議在刀片服務(wù)器接入時采用這種組網(wǎng)。

倒U型組網(wǎng)：不建議使用機架服務(wù)器用，刀片服務(wù)器可用

方案優(yōu)點：

不啟用STP，好管理；網(wǎng)絡(luò)接入層不存在二層環(huán)路，接入交換機不啟用生成樹協(xié)議，網(wǎng)絡(luò)配置管理簡單。

VLAN 可以跨匯聚層交換機，服務(wù)器部署靈活；服務(wù)器的接入VLAN可以跨匯聚交換機，因此能實現(xiàn)VLAN跨不同的接入層交換機，服務(wù)器可實現(xiàn)跨接入交換機的二層互聯(lián)，服務(wù)器接入擴展性好。

接入交換機上行匯聚交換機采用捆綁鏈路，因此上行鏈路可靠性高，鏈路的帶寬利用率高。

方案缺點：

當(dāng)匯聚交換機與接入交換機之間的鏈路中斷時，服務(wù)器不能感知這種故障，服務(wù)器上行流量仍然發(fā)送到出現(xiàn)故障的接入交換機，從而形成了“流量黑洞”。

機架式服務(wù)器適用性分析：

由于存在“流量黑洞”的問題，因此不建議在機架式服務(wù)器接入時采用這種組網(wǎng)。

刀片服務(wù)器適用性分析：

刀片交換機可通過上行捆綁鏈路的狀態(tài)監(jiān)測機制解決“流量黑洞”問題：刀片交換機在正常運行狀態(tài)時，周期性的對上行匯聚層交換機的接口進行狀態(tài)檢查，當(dāng)發(fā)現(xiàn)上行接口故障時，該刀片交換機將shutdown其上所有端口。此時，接入到該刀片交換機上的服務(wù)器將把流量切換到與另一個刀片交換機相連的網(wǎng)卡上，從而避免了“流量黑洞”。

這種方案配置管理簡單，如刀片交換機具備防 “流量黑洞”的特性，則適用于刀片交換機的網(wǎng)絡(luò)接入。

矩形組網(wǎng)：不建議使用

方案優(yōu)點：

VLAN可以跨匯聚層交換機；服務(wù)器接入VLAN可以跨匯聚交換機，能實現(xiàn)VLAN跨不同的接入交換機，服務(wù)器可實現(xiàn)跨接入交換機的二層互聯(lián)，服務(wù)器接入擴展性好。

雙active鏈路，接入交換機密度高；接入交換機到匯聚交換機間有冗余鏈路，網(wǎng)絡(luò)接入層具備高可用性。

方案缺點：

接入交換機上行鏈路故障，流量將從一側(cè)的交換機上行，收斂比變小，網(wǎng)絡(luò)易擁塞，降低網(wǎng)絡(luò)高可用性；正常情況時，兩臺接入交換機之間的鏈路被生成樹協(xié)議阻塞。當(dāng)某臺接入交換機上行鏈路故障時，交換機之間的鏈路變?yōu)檗D(zhuǎn)發(fā)狀態(tài)。此時，發(fā)生故障的交換機一側(cè)的所有服務(wù)器上行流量，將經(jīng)過另一側(cè)交換機上行到匯聚交換機，該交換機的上行收斂比增加一倍，導(dǎo)致網(wǎng)絡(luò)發(fā)生擁塞，網(wǎng)絡(luò)轉(zhuǎn)發(fā)性能降低。

機架式服務(wù)器適用性分析：

服務(wù)器接入具備高可用性和高可擴展性。當(dāng)一側(cè)接入交換機發(fā)生故障時，另一側(cè)交換機擁塞加重，網(wǎng)絡(luò)轉(zhuǎn)發(fā)性能降低，因此不建議在機架式服務(wù)器接入時采用這種組網(wǎng)。

刀片服務(wù)器適用性分析：

刀片交換機模塊需要配置生成樹協(xié)議，不利于刀片系統(tǒng)的管理維護。且同樣存在一側(cè)刀片交換機故障時，網(wǎng)絡(luò)轉(zhuǎn)發(fā)性能下降的問題，因此不建議在刀片服務(wù)器接入時采用這種組網(wǎng)。

三角形組網(wǎng)：機架服務(wù)器建議使用，刀片服務(wù)器不建議

方案優(yōu)點：

鏈路冗余，路徑冗余，故障收斂時間最短（接入交換機到匯聚交換機有冗余鏈路，接入網(wǎng)絡(luò)具備高可用性，且通過MSTP可實現(xiàn)上行流量分擔(dān)。）

VLAN 可以跨匯聚層交換機，服務(wù)器部署靈活（服務(wù)器接入VLAN可以跨匯聚交換機，能實現(xiàn)VLAN跨不同的接入交換機，服務(wù)器可實現(xiàn)跨接入交換機的二層互聯(lián)，服務(wù)器接入擴展性好。）

方案缺點：

網(wǎng)絡(luò)配置管理較復(fù)雜，為提高二層網(wǎng)絡(luò)的高可用性與安全性，在接入交換機與匯聚交換機上使能“BPDU保護”、“環(huán)路保護”、“根保護”等特性；

機架式服務(wù)器適用性分析：

服務(wù)器接入網(wǎng)絡(luò)具備高可用性、高可擴展性，建議在機架式服務(wù)器接入時采用這種組網(wǎng)。

刀片服務(wù)器適用性分析：

刀片交換機上的配置復(fù)雜，可管理性較差，不建議在刀片服務(wù)器接入時采用這種組網(wǎng)。

刀片服務(wù)器pass-through模塊部署

刀片服務(wù)器內(nèi)可集成刀片交換機，也可以通過部署pass-through模塊，將服務(wù)器的網(wǎng)絡(luò)接入延伸到刀箱外的網(wǎng)絡(luò)上。

采用了pass-through模塊的刀片服務(wù)器在網(wǎng)絡(luò)接入層設(shè)計上與機架式服務(wù)器的關(guān)注點相同，重點是保證服務(wù)器的高可用接入以及服務(wù)器的接入可擴展性，因此建議采用具備接入高可用性和高可擴展性的“二層環(huán)路三角形組網(wǎng)”。

刀片服務(wù)器交換模塊與直通模塊的區(qū)別:

交換模塊相當(dāng)于一個交換機，只要有一根網(wǎng)線，里面所有刀片都可以通出來，是共用一對多的。

直通模塊（ pass-through模塊）的作用是把每一個刀片的接口通到外面來，是一對一的。理解成一個集線器，沒有任何其他網(wǎng)絡(luò)功能。好處是管理簡單。