Linux服務(wù)器下多網(wǎng)卡負(fù)載均衡的探討

　　1 引言

　　現(xiàn)今幾乎各行各業(yè)內(nèi)部都建立了自己的服務(wù)器，由于服務(wù)器的特殊地位，它的可靠性、可用性及其I/O速度就顯得非常的重要，保持服務(wù)器的高可用性和安全性是企業(yè)級(jí)IT環(huán)境的重要指標(biāo)，其中 重要的一點(diǎn)是服務(wù)器網(wǎng)絡(luò)連接的高可用性，為實(shí)現(xiàn)這些要求，現(xiàn)在服務(wù)器大都采用多網(wǎng)卡配置，系統(tǒng)大都采用現(xiàn)在非常流行的Linux作為服務(wù)器工作的環(huán)境。現(xiàn)在帶寬已經(jīng)不是服務(wù)質(zhì)量提高的瓶頸了，相對(duì)的網(wǎng)絡(luò)設(shè)備和服務(wù)器的處理能力就漸漸成為新的瓶頸。為提高服務(wù)器的網(wǎng)絡(luò)連接的可用性和可靠性，目前Sun公司的Trunking技術(shù)、3Com公司的DynamicAccess技術(shù)、Cisco公司的Etherchannel技術(shù)等等都在研究將服務(wù)器的多個(gè)網(wǎng)卡接口綁定在一起的鏈路聚集技術(shù), 鏈路聚集技術(shù)將多個(gè)鏈路虛擬成一個(gè)邏輯鏈路進(jìn)而提供了一種廉價(jià)、有效的方法擴(kuò)展網(wǎng)絡(luò)設(shè)備和服務(wù)器的帶寬，提高網(wǎng)絡(luò)的靈活性與可用性。

　　本文介紹Linux下的bonding 技術(shù)，Linux 2.4.x的內(nèi)核中采用了這種技術(shù)，利用bonding技術(shù)可以將多塊網(wǎng)卡接口通過綁定虛擬成為一塊網(wǎng)卡，在用戶看來這個(gè)聚合起來的設(shè)備好像是一個(gè)單獨(dú)的以太網(wǎng)接口設(shè)備，通俗點(diǎn)講就是多塊網(wǎng)卡具有相同的IP地址而并行連接聚合成一個(gè)邏輯鏈路工作。現(xiàn)在在關(guān)于Linux bonding 技術(shù)中，有幾種算法來實(shí)現(xiàn)負(fù)載均衡的要求，此文針對(duì)這些算法，在此進(jìn)行簡(jiǎn)單分析與研究，討論其不足，并提出另外一種在此基礎(chǔ)上改進(jìn)的一種基于傳輸協(xié)議的負(fù)載均衡實(shí)現(xiàn)方法。討論如何實(shí)現(xiàn)多個(gè)網(wǎng)絡(luò)接口的分在均衡及其故障接管。

　　2 負(fù)載均衡技術(shù)和高可用技術(shù)研究介紹

　　2．1 負(fù)載均衡技術(shù)

　　負(fù)載均衡技術(shù)的主要思想就是如何根據(jù)某種算法將網(wǎng)絡(luò)的業(yè)務(wù)流量平均分配到不同的服務(wù)器和網(wǎng)絡(luò)設(shè)備上去，以減輕單臺(tái)服務(wù)器和網(wǎng)絡(luò)設(shè)備的負(fù)擔(dān)，從而提高整個(gè)系統(tǒng)的效率。負(fù)載均衡既可以由有負(fù)載均衡功能的硬件實(shí)現(xiàn)，也可以通過一些專用的軟件來實(shí)現(xiàn)，負(fù)載均衡是一種策略，它能讓多臺(tái)服務(wù)器或多條鏈路共同承擔(dān)一些繁重的計(jì)算或者I/O任務(wù)，從而以較低的成本消除網(wǎng)絡(luò)瓶頸，提高網(wǎng)絡(luò)的靈活性和可靠性。

　　2．2 高可用技術(shù)

　　實(shí)現(xiàn)負(fù)載均衡首先是基于網(wǎng)絡(luò)的高可用性提出來的，高可用技術(shù)是容錯(cuò)技術(shù)的一個(gè)分支。實(shí)現(xiàn)系統(tǒng)的高可用性 簡(jiǎn)單的一個(gè)辦法就是冗余。完整的網(wǎng)絡(luò)負(fù)載均衡和高可用性網(wǎng)絡(luò)技術(shù)有兩個(gè)方面構(gòu)成，一是多服務(wù)器的綁定和負(fù)載均衡，二是一個(gè)服務(wù)器內(nèi)部的多網(wǎng)卡綁定的負(fù)載均衡，這里主要討論一個(gè)服務(wù)器內(nèi)部的多網(wǎng)卡綁定時(shí)的負(fù)載均衡。

　　3 Linux的bonding技術(shù)中負(fù)載均衡的簡(jiǎn)單實(shí)現(xiàn)

　　3．1 Linux的bonding技術(shù)

　　Linux的bonding技術(shù)是網(wǎng)卡驅(qū)動(dòng)程序之上、數(shù)據(jù)鏈路層之下實(shí)現(xiàn)的一個(gè)虛擬層，通過這種技術(shù)，服務(wù)器接在交換機(jī)上的多塊網(wǎng)卡不僅被綁定為一個(gè)IP，MAC地址也被設(shè)定為同一個(gè)，進(jìn)而構(gòu)成一個(gè)虛擬的網(wǎng)卡，工作站向服務(wù)器請(qǐng)求數(shù)據(jù)，服務(wù)器上的網(wǎng)卡接到請(qǐng)求后，網(wǎng)卡根據(jù)某種算法智能決定由誰來處理數(shù)據(jù)的傳輸。Bonding技術(shù)可以提高主機(jī)的網(wǎng)絡(luò)吞吐量和可用性。

　　3．2 Linux的幾種發(fā)送均衡算法

　　目前Linux的發(fā)送算法 主要的有三種：輪轉(zhuǎn)算法（Round-Robin）、備份算法（Active-Backup）、MAC地址異或算法（MAC-XOR）。下面對(duì)目前這三種主要算法進(jìn)行簡(jiǎn)單分析。

　　3．2．1 輪轉(zhuǎn)算法

　　該算法是基于公平原則進(jìn)行的，它為每個(gè)將要被發(fā)送的數(shù)據(jù)選擇發(fā)送接口，算法的主要思想是首先第一個(gè)數(shù)據(jù)由一個(gè)接口發(fā)送，另一個(gè)數(shù)據(jù)則由另外一個(gè)接口發(fā)送，下面依次進(jìn)行循環(huán)選擇。通過分析我們可以看出這種算法比較比較簡(jiǎn)單，在發(fā)送數(shù)據(jù)方面也比較公平，能保證網(wǎng)卡發(fā)送數(shù)據(jù)時(shí)候的負(fù)載均衡，資源利用率很高。但是我們知道如果一個(gè)連接或者會(huì)話的數(shù)據(jù)從不同的接口發(fā)出的話，中途再經(jīng)過不同的鏈路，在客戶端很有可能會(huì)出現(xiàn)數(shù)據(jù)無序到達(dá)的問題，而無序到達(dá)的數(shù)據(jù)需要重新要求被發(fā)送，這樣網(wǎng)絡(luò)的吞吐量就會(huì)下降。

　　3．2．2 備份算法

　　該算法將多個(gè)網(wǎng)卡接口中的一個(gè)接口設(shè)定為活動(dòng)狀態(tài)，其他的接口處于備用狀態(tài)。當(dāng)活動(dòng)接口或者活動(dòng)鏈路出現(xiàn)故障時(shí)，啟動(dòng)備用鏈路，由此可見此算法的優(yōu)點(diǎn)是可以提供高網(wǎng)絡(luò)連接的可用性，但是它的資源利用率較低，只有一個(gè)接口處于工作狀態(tài)，在有N個(gè)網(wǎng)絡(luò)接口的情況下，資源利用率為1/N。

　　3．2．3 MAC地址異或算法

　　該算法的主要思想是：由服務(wù)器的MAC地址和客戶端的MAC地址共同決定每個(gè)數(shù)據(jù)的發(fā)送端口號(hào)，由源MAC地址和目的MAC地址進(jìn)行異或計(jì)算，并將異或結(jié)果對(duì)接口數(shù)求余計(jì)算。由于發(fā)送到同一個(gè)客戶端的數(shù)據(jù)流經(jīng)過同一個(gè)鏈路，因此數(shù)據(jù)能夠有序到達(dá)客戶端。此算法在只有一個(gè)客戶機(jī)訪問服務(wù)器或者服務(wù)器和客戶機(jī)不在同一子網(wǎng)的情況下，由算法思想得知這種情況下負(fù)載不會(huì)均衡，在只有一個(gè)客戶機(jī)訪問服務(wù)器的時(shí)候，資源的利用率也是1/N(N為接口數(shù))。

　　通常在一個(gè)大的局域網(wǎng)內(nèi)，往往存在多個(gè)子網(wǎng)。

　　4 基于傳輸協(xié)議的發(fā)送算法

　　上面我們對(duì)Linux中的幾種實(shí)現(xiàn)多網(wǎng)卡發(fā)送負(fù)載均衡算法進(jìn)行了分析，針對(duì)這些算法的不足，這里提出另外一種發(fā)送負(fù)載均衡算法。

　　4．1 算法描述實(shí)現(xiàn)

　　我們知道網(wǎng)絡(luò)傳輸協(xié)議有TCP和UDP兩種，其中UDP是一種無連接、不可靠的傳輸協(xié)議。TCP是一種提供面向連接的、可靠的字節(jié)流服務(wù)，譬如一個(gè)客戶機(jī)和一個(gè)服務(wù)器在彼此交換數(shù)據(jù)前要建立一個(gè)連接。一個(gè)TCP連接或者一個(gè)UDP會(huì)話的結(jié)構(gòu)大致如下：

　　{source，dst，saddr，daddr}

　　其中source為源端口號(hào)，dst為目的端口號(hào)，saddr為源ip地址，daddr為目的ip地址。

　　基于傳輸協(xié)議的發(fā)送算法的主要思想是: 由目的主機(jī)號(hào)、目的主機(jī)所在子網(wǎng)的子網(wǎng)號(hào)及該會(huì)話的TCP或UDP的目的端口號(hào)共同決定某個(gè)數(shù)據(jù)的發(fā)送接口號(hào)，此算法和MAC地址的異或算法有點(diǎn)類似，因?yàn)樗彩且环N異或計(jì)算。

　　下面我們約定：

　　（1）host為要發(fā)送數(shù)據(jù)的目的主機(jī)號(hào)。

　　（2）subnet為目的主機(jī)的子網(wǎng)的子網(wǎng)號(hào)。

　　（3）port 為UDP或TCP連接的目的端口號(hào)。