傳統(tǒng)數(shù)據(jù)中心的問(wèn)題及I/O融合趨勢(shì)

傳統(tǒng)業(yè)務(wù)結(jié)構(gòu)下，由于多種技術(shù)之間的孤立性(LAN與SAN)，使得數(shù)據(jù)中心服務(wù)器總是提供多個(gè)對(duì)外I/O接口(在此，可理解成服務(wù)器的網(wǎng)卡)：用于數(shù)據(jù)計(jì)算與交互的LAN接口以及數(shù)據(jù)訪問(wèn)的存儲(chǔ)接口，某些特殊環(huán)境如特定HPC(高性能計(jì)算)環(huán)境下的超低時(shí)延接口。服務(wù)器的多個(gè)I/O接口導(dǎo)致了數(shù)據(jù)中心環(huán)境下多個(gè)獨(dú)立運(yùn)行的網(wǎng)絡(luò)同時(shí)存在，不僅使得數(shù)據(jù)中心布線復(fù)雜，不同的網(wǎng)絡(luò)、接口形體造成的異構(gòu)還直接增加了額外人員的運(yùn)行維護(hù)、培訓(xùn)管理等高昂成本投入，特別是存儲(chǔ)網(wǎng)絡(luò)的低兼容性特點(diǎn)，使得數(shù)據(jù)中心的業(yè)務(wù)擴(kuò)展往往存在約束。

數(shù)據(jù)中心里會(huì)有兩個(gè)網(wǎng)絡(luò)，一個(gè)是前端IP網(wǎng)絡(luò)，后端可能會(huì)是光纖網(wǎng)絡(luò)，都會(huì)在服務(wù)器上做集中服務(wù)器上會(huì)有以太網(wǎng)卡，會(huì)有光纖網(wǎng)卡，跟外部數(shù)據(jù)交互時(shí)候通過(guò)IP網(wǎng)絡(luò)進(jìn)行交互。

如果說(shuō)的更極端一點(diǎn)，在大型數(shù)據(jù)中心里有

1.前端的用戶通信網(wǎng)絡(luò)（以太網(wǎng)）

2.后臺(tái)存儲(chǔ)網(wǎng)絡(luò)光纖的通道（FC光纖網(wǎng)絡(luò)）

3.后端做數(shù)據(jù)更新或者做集群計(jì)算的通訊網(wǎng)絡(luò)（高性能計(jì)算Infiniband網(wǎng)絡(luò)）

4.專門用于虛擬機(jī)遷移的網(wǎng)絡(luò)（各個(gè)服務(wù)器上有一個(gè)普通的以太網(wǎng)網(wǎng)卡，連接到獨(dú)立的交換機(jī)組成的網(wǎng)絡(luò)上，專門做虛擬機(jī)遷移。隨著TRILL等技術(shù)的出現(xiàn)，這個(gè)專用的網(wǎng)絡(luò)不再需要）

最多情況下會(huì)有八個(gè)網(wǎng)卡，這些都是現(xiàn)有的設(shè)計(jì)，大家可能認(rèn)為是理所當(dāng)然的。

網(wǎng)絡(luò)成為數(shù)據(jù)中心資源的交換樞紐。當(dāng)前數(shù)據(jù)中心分為IP數(shù)據(jù)網(wǎng)絡(luò)、存儲(chǔ)網(wǎng)絡(luò)、服務(wù)器集群網(wǎng)絡(luò)。但隨著數(shù)據(jù)中心規(guī)模的逐步增大，也帶來(lái)的以下問(wèn)題：

每個(gè)服務(wù)器要多個(gè)專用適配器（網(wǎng)卡），要不同的布線系統(tǒng)；

機(jī)房要支持更多設(shè)備：空間、耗電、制冷；

多套網(wǎng)絡(luò)無(wú)法統(tǒng)一管理，不同的維護(hù)人員；

部署/配置/管理/運(yùn)維困難；

FCoE介紹

FCoE采用增強(qiáng)型以太網(wǎng)作為物理網(wǎng)絡(luò)傳輸架構(gòu)，能夠提供標(biāo)準(zhǔn)的光纖通道有效內(nèi)容載荷，避免了TCP/IP協(xié)議開(kāi)銷，而且FCoE能夠像標(biāo)準(zhǔn)的光纖通道那樣為上層軟件層（包括操作系統(tǒng)、應(yīng)用程序和管理工具）服務(wù)。

FCoE可以提供多種光纖通道服務(wù)，比如發(fā)現(xiàn)、全局名稱命名、分區(qū)等，而且這些服務(wù)都可以像標(biāo)準(zhǔn)的光纖通道那樣運(yùn)作。不過(guò)，由于FCoE不使用TCP/IP協(xié)議，因此FCoE數(shù)據(jù)傳輸不能使用IP網(wǎng)絡(luò)。FCoE是專門為低延遲性、高性能、二層數(shù)據(jù)中心網(wǎng)絡(luò)所設(shè)計(jì)的網(wǎng)絡(luò)協(xié)議。

和標(biāo)準(zhǔn)的光纖通道FC一樣，F(xiàn)CoE協(xié)議也要求底層的物理傳輸是無(wú)損失的。因此，國(guó)際標(biāo)準(zhǔn)化組織已經(jīng)開(kāi)發(fā)了針對(duì)以太網(wǎng)標(biāo)準(zhǔn)的擴(kuò)展協(xié)議族，尤其是針對(duì)無(wú)損10Gb以太網(wǎng)的速度和數(shù)據(jù)中心架構(gòu)。這些擴(kuò)展協(xié)議族可以進(jìn)行所有類型的傳輸。這些針對(duì)以太網(wǎng)標(biāo)準(zhǔn)的擴(kuò)展協(xié)議族被國(guó)際標(biāo)準(zhǔn)組織稱為“融合型增強(qiáng)以太網(wǎng)（CEE）”，（思科稱為“數(shù)據(jù)中心以太網(wǎng)（DCE））。

數(shù)據(jù)中心FCoE(FC over Ethernet)技術(shù)實(shí)現(xiàn)在以太網(wǎng)架構(gòu)上映射FC(Fibre Channel)幀，使得FC運(yùn)行在一個(gè)無(wú)損的數(shù)據(jù)中心以太網(wǎng)絡(luò)上（需要無(wú)損的以太網(wǎng)（ CEE/DCE/DCB）保證不丟包）。FCoE技術(shù)有以下的一些優(yōu)點(diǎn)：光纖存儲(chǔ)和以太網(wǎng)共享同一個(gè)端口;更少的線纜和適配器;軟件配置I/O;與現(xiàn)有的SAN環(huán)境可以互操作。

基于FCoE技術(shù)的數(shù)據(jù)中心統(tǒng)一I/O能夠?qū)崿F(xiàn)用少數(shù)的CNA(Converged Network adapter)代替數(shù)量較多的NIC、HBA、HCA，所有的流量通過(guò)CNA萬(wàn)兆以太網(wǎng)傳輸，如下圖。

FCoE：FC幀直接映射到以太網(wǎng)上進(jìn)行承載。FCoE下FC協(xié)議層的轉(zhuǎn)換和FC幀、以太網(wǎng)數(shù)據(jù)幀結(jié)構(gòu)如下圖。

FCoE在以太網(wǎng)上傳輸?shù)腇C數(shù)據(jù)幀的構(gòu)成如下圖。

FC 數(shù)據(jù)流和其他數(shù)據(jù)流共享以太網(wǎng)鏈路，F(xiàn)COE 保留原FC網(wǎng)絡(luò)中 N_Port、F_Port、E_Port 的結(jié)構(gòu)，F(xiàn)COE 保留原FC的管理模式，保護(hù)原有投資

兼容原有網(wǎng)絡(luò)：原有FC存儲(chǔ)網(wǎng)絡(luò)（FC交換機(jī)）可連接到數(shù)據(jù)中心以太網(wǎng)交換機(jī)上。

下一代網(wǎng)絡(luò)：FCoE磁盤陣列可直接連接到數(shù)據(jù)中心交換機(jī)上。

使用FCoE的好處

使用FCoE后的好處：

1.每個(gè)服務(wù)器只需要一個(gè)專用適配器（網(wǎng)卡），一套布線（以太網(wǎng)）系統(tǒng)（以前需要多個(gè)網(wǎng)卡，多套布線（以太網(wǎng)和光纖）系統(tǒng)）；

機(jī)房不再要支持更多設(shè)備：空間、耗電、制冷，更加節(jié)能綠色

只有一套網(wǎng)絡(luò)，統(tǒng)一管理維護(hù)簡(jiǎn)單（原來(lái)是多套網(wǎng)絡(luò)無(wú)法統(tǒng)一管理，不同的維護(hù)人員維護(hù)困難）

部署/配置/管理/運(yùn)維簡(jiǎn)單

使用FCoE后，產(chǎn)生的變化（如下圖）

網(wǎng)卡、交換機(jī)、光纖需要的數(shù)量減半，投資減少50%，能耗及維護(hù)費(fèi)用極大降低

使用前（按照18臺(tái)服務(wù)器為例，如下圖）

2.72根光纖、36個(gè)網(wǎng)卡（36根以太網(wǎng)光纖、36個(gè)以太網(wǎng)網(wǎng)卡，18根FC光纖。18個(gè)FC光纖網(wǎng)卡）

3.4臺(tái)交換機(jī)（2臺(tái)以太網(wǎng)交換機(jī)，2臺(tái)FC光纖交換機(jī)）

4.上聯(lián)端口（6個(gè)，以太網(wǎng)交換機(jī)要2個(gè)，光纖交換機(jī)需要4個(gè)）

使用后（按照18臺(tái)服務(wù)器為例，如下圖）

5.36根光纖、18個(gè)網(wǎng)卡（36根光纖、18個(gè)CNA網(wǎng)卡）

6.2臺(tái)交換機(jī)（2臺(tái)FCoE交換機(jī)）

7.上聯(lián)端口（6個(gè)，以太網(wǎng)交換機(jī)要2個(gè)，光纖交換機(jī)需要4個(gè)）

使用FCoE后，有效節(jié)能

50% power saving is calculated from a study of unified I/0 done by Bernstein in 2007.

按照每臺(tái)服務(wù)器需要500w的功率，采用FCoE后，每臺(tái)服務(wù)器節(jié)能60w。100臺(tái)服務(wù)器就能節(jié)省6000w功率，這僅僅是服務(wù)器端功耗的節(jié)省，就是非?？陀^的一筆數(shù)字。

管理優(yōu)勢(shì)

虛擬機(jī)在數(shù)據(jù)中心越來(lái)越多的應(yīng)用，原來(lái)可能有IP通信需求，也有存儲(chǔ)通信的需求，不見(jiàn)得每個(gè)服務(wù)器上都有CNA網(wǎng)卡，現(xiàn)在有了FCOE技術(shù)，不管虛擬機(jī)遷移到哪里都可以非常靈活實(shí)現(xiàn)跟后臺(tái)備份、存儲(chǔ)的通信，實(shí)現(xiàn)虛擬機(jī)在遷移時(shí)候不會(huì)有物理服務(wù)器規(guī)格的限制，不管有沒(méi)有光纖網(wǎng)卡。

從管理角度也一樣，也很簡(jiǎn)單，由于是集成平臺(tái)，在有存儲(chǔ)端口時(shí)候可以把存儲(chǔ)端口納入到存儲(chǔ)網(wǎng)絡(luò)管理工具里進(jìn)行管理，在IP端口，可以利用它對(duì)原來(lái)的IP端口進(jìn)行管理，不管哪方面的管理人員都不會(huì)覺(jué)得是新設(shè)備就不能管理了，原來(lái)的端口都可以進(jìn)行管理。

應(yīng)用方案

企業(yè)合理的數(shù)據(jù)中心網(wǎng)絡(luò)虛擬化技術(shù)的運(yùn)用路線如下。

現(xiàn)階段

1.服務(wù)器利用率較低

2.千兆以太網(wǎng)上聯(lián)

3.存儲(chǔ)與IP分離

第一步：服務(wù)器改造整合

1.服務(wù)器整合虛擬化，提高利用率

2.改造成萬(wàn)兆以太網(wǎng)上聯(lián)(FCoE只有配合萬(wàn)兆網(wǎng)卡才能實(shí)現(xiàn))

3.存儲(chǔ)與IP分離

第二步：接入交換機(jī)改造成FCoE交換機(jī)，此時(shí)用戶數(shù)據(jù)中心網(wǎng)卡和布線數(shù)量成本已開(kāi)始降低、服務(wù)器端綠色節(jié)能開(kāi)始產(chǎn)生效果

1.服務(wù)器上聯(lián)融合，降低原為成本

2.服務(wù)器要求萬(wàn)兆FCoE網(wǎng)絡(luò)上聯(lián)（服務(wù)器上為FCoE CNA網(wǎng)卡）

3.網(wǎng)絡(luò)支持CEE增強(qiáng)以太網(wǎng)

4.存儲(chǔ)與IP分離部分融合（FCoE交換機(jī)上支持FC模塊，可以與用戶原有的FC交換機(jī)對(duì)接互聯(lián)互通，保護(hù)用戶投資）

第三步：IP 與存儲(chǔ)完全融合 ，全面實(shí)現(xiàn)數(shù)據(jù)中心成本降低

1.存儲(chǔ)與IP融合，降低運(yùn)維成本（新一代FCoE磁盤陣列可直接連接到以太網(wǎng)交換機(jī)上）

2.服務(wù)器要求萬(wàn)兆FCoE網(wǎng)絡(luò)上聯(lián)（服務(wù)器上為FCoE CNA網(wǎng)卡）

3.數(shù)據(jù)中心網(wǎng)絡(luò)全面支持CEE增強(qiáng)以太網(wǎng)

融合網(wǎng)絡(luò)：FCoE統(tǒng)一交換演進(jìn)之路

存儲(chǔ)與以太網(wǎng)全分離時(shí)代

1.數(shù)據(jù)中心基礎(chǔ)建設(shè)

2.接口、協(xié)議不兼容

3.效率難以提高

4.成本投入較大

融合階段

1.數(shù)據(jù)中心前端融合

2.簡(jiǎn)化服務(wù)器接口

3.保護(hù)既有投資

4.提高業(yè)務(wù)部署靈活性

統(tǒng)一交換階段：

1.統(tǒng)一交換融合架構(gòu)

2.資源調(diào)度自動(dòng)化

3.降低運(yùn)維成本

4.隨需而變