伴隨著互聯(lián)網(wǎng)的高速發(fā)展，互聯(lián)網(wǎng)數(shù)據(jù)中心也迅速發(fā)展。尤其是云計(jì)算的發(fā)展，使得更多的應(yīng)用處理集中到云端，促使云計(jì)算數(shù)據(jù)中心的規(guī)模急劇增長。未來的互聯(lián)網(wǎng)流量將以云計(jì)算數(shù)據(jù)中心為核心，而未來的互聯(lián)網(wǎng)將是以云計(jì)算數(shù)據(jù)中心為核心的網(wǎng)絡(luò)。

     數(shù)據(jù)中心網(wǎng)絡(luò)面臨的主要問題

     隨著數(shù)據(jù)中心規(guī)模的快速增長以及云計(jì)算的部署，在網(wǎng)絡(luò)的管理、業(yè)務(wù)的支撐、綠色節(jié)能等方面對數(shù)據(jù)中心網(wǎng)絡(luò)提出了更多和更高的要求，具體表現(xiàn)如下：

     集中高效的網(wǎng)絡(luò)管理要求

     大型云計(jì)算數(shù)據(jù)中心普遍具有上萬臺物理服務(wù)器、數(shù)十萬臺虛擬機(jī)。如此大規(guī)模的服務(wù)器群需要數(shù)千臺的物理網(wǎng)絡(luò)設(shè)備、數(shù)萬臺的vSwitch進(jìn)行連接和承載。這樣大規(guī)模的數(shù)據(jù)中心網(wǎng)絡(luò)需要統(tǒng)一集中管理，以提高維護(hù)效率；需要快速的故障定位和故障排除，以提高網(wǎng)絡(luò)的可用性。

     高效靈活的組網(wǎng)需求

     云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)規(guī)模大、組網(wǎng)復(fù)雜，在網(wǎng)絡(luò)設(shè)計(jì)時，為了保障網(wǎng)絡(luò)的可靠性和靈活性，需要設(shè)計(jì)冗余鏈路、保護(hù)鏈路，部署相應(yīng)的保護(hù)機(jī)制。在現(xiàn)有數(shù)據(jù)中心組網(wǎng)中大量采用的VRRP、雙鏈路上聯(lián)、STP等技術(shù)，存在著網(wǎng)絡(luò)利用率低，容易出現(xiàn)故障，且僅能實(shí)現(xiàn)局部保護(hù)等問題。

     虛擬機(jī)的自動化部署和遷移需求

     云計(jì)算數(shù)據(jù)中心部署了大量的虛擬機(jī)，并且虛擬機(jī)需要根據(jù)業(yè)務(wù)的需要進(jìn)行遷移。這就需要數(shù)據(jù)中心網(wǎng)絡(luò)能夠感知虛擬機(jī)，能夠根據(jù)虛擬機(jī)的部署和遷移，靈活配合部署相應(yīng)的網(wǎng)絡(luò)策略。

     虛擬多租戶業(yè)務(wù)支撐要求

     云計(jì)算數(shù)據(jù)中心需要為用戶提供虛擬私有云租用服務(wù)，租戶可以配置自己的子網(wǎng)、虛擬機(jī)IP地址和ACL，管理自己的網(wǎng)絡(luò)資源。需要數(shù)據(jù)中心網(wǎng)絡(luò)支持虛擬多租戶能力，支持大量的租戶部署，實(shí)現(xiàn)租戶的隔離和安全保障。

     全面的數(shù)據(jù)中心IaaS要求

     在云計(jì)算數(shù)據(jù)中心中，云計(jì)算技術(shù)的引入，實(shí)現(xiàn)了計(jì)算資源和存儲資源的虛擬化，為用戶提供了計(jì)算資源和存儲資源的IaaS服務(wù)，但常規(guī)的網(wǎng)絡(luò)資源還無法按需提供虛擬化，難以提供計(jì)算資源+存儲資源+網(wǎng)絡(luò)資源的全面IaaS服務(wù)。

     基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)方案

     SDN（Software Defined Networking，軟件定義網(wǎng)絡(luò)）技術(shù)能很好地契合數(shù)據(jù)中心網(wǎng)絡(luò)在集中網(wǎng)絡(luò)管理、靈活組網(wǎng)多路徑轉(zhuǎn)發(fā)、虛擬機(jī)部署和智能遷移、虛擬多租戶、IaaS等方面的需求，非常適合在數(shù)據(jù)中心網(wǎng)絡(luò)中應(yīng)用。因此，基于SDN的云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)是未來數(shù)據(jù)中心網(wǎng)絡(luò)的發(fā)展趨勢。

     中興通訊的軟件定義數(shù)據(jù)中心網(wǎng)絡(luò)解決方案如下圖所示：

圖1 軟件定義數(shù)據(jù)中心網(wǎng)絡(luò)解決方案

      軟件定義數(shù)據(jù)中心網(wǎng)絡(luò)主要分為三大部分：承載轉(zhuǎn)發(fā)功能的網(wǎng)絡(luò)硬件設(shè)備和虛擬化轉(zhuǎn)發(fā)設(shè)備，實(shí)現(xiàn)網(wǎng)絡(luò)虛擬化的SDN控制器，以及統(tǒng)一網(wǎng)管。推薦采用基于VXLAN技術(shù)的大二層組網(wǎng)，同時也支持SDN控制下的VLAN大二層組網(wǎng)。其中，SDN控制器用于實(shí)現(xiàn)對網(wǎng)絡(luò)設(shè)備（物理交換機(jī)和虛擬交換機(jī)）的集中管理和控制，還負(fù)責(zé)與云平臺的協(xié)同，實(shí)現(xiàn)網(wǎng)絡(luò)的自動化部署、虛擬機(jī)遷移策略跟隨、對外DC互聯(lián)等功能。

     在軟件定義數(shù)據(jù)中心網(wǎng)絡(luò)解決方案中，中興通訊擁有完整的產(chǎn)品家族，對于不同規(guī)模的網(wǎng)絡(luò)可以選擇不同的產(chǎn)品組合：

     SDN控制器，自主研發(fā)的ZENIC SDN分布式集群控制器，支持小規(guī)模網(wǎng)絡(luò)到大型DC網(wǎng)絡(luò)的平滑擴(kuò)容；

     VTEP設(shè)備，根據(jù)組網(wǎng)需求可以選擇ZX-DVS虛擬化交換機(jī)或者ZXR10 5960系列ToR交換機(jī)；

     VXLAN GW，根據(jù)組網(wǎng)需求可以選擇ZX-VSG虛擬化路由器、ZXR10 9900系列交換機(jī)或者ZXR10 M6000-S系列路由器；

     提供L4-L7 Service設(shè)備，包括虛擬負(fù)載均衡器、虛擬防火墻以及虛擬IPSec VPN等軟件設(shè)備。

     主要產(chǎn)品的關(guān)鍵功能有：

      ZENIC SDN分布式集群控制器

 （1）支持OpenFlow 1.0/1.3/1.5

（2）分布式集群，支持1-128節(jié)點(diǎn)

（3）豐富的南北向接口，包括REST/RESTConf、Neutron API、OVSDB、OF-Config 1.1/1.2、NetConf、SNMP、BGP-LS、PCEP等

（4）支持VXLAN二層互通/三層互通/多分段拼接、Service-Chain、分布式路由等DC網(wǎng)絡(luò)應(yīng)用功能

（5）內(nèi)置集中ARP代理、DHCP、BGP、OSPF等協(xié)議功能

? ZXR10 M6000-S系列路由器

（1）多業(yè)務(wù)路由器平臺，可充當(dāng)公有云的VXLAN GW和NAT，支持IPSec VPN

（2）支持OpenFlow 1.3和多級流表

（3）支持3/5/8/18槽位配置，100G/40G/10GE/GE靈活配置

（4）支持路由器虛擬集群技術(shù)VRC（Virtual Router Cluster）

? ZXR10 9900系列交換機(jī)

（1）核心交換機(jī)，可充當(dāng)私有云網(wǎng)絡(luò)的VXLAN GW

（2）支持OpenFlow1.0/1.3，基于OFDPA TTP流表模型

（3）支持4/8/12/16槽位配置，100G/40G/10GE/GE靈活配置

（4）增強(qiáng)的虛擬交換集群VSC2.0技術(shù)

? ZXR10 5960系列交換機(jī)

（1）TR交換機(jī)，支持OpenFlow1.0/1.3，基于OFDPA TTP流表模型

（2）支持VXLAN Router功能，支持分布式路由組網(wǎng)的VTEP

（3）最大48*10GE+4*40GE端口配置

（4）基于IEEE 802.1Qbg、802.1Qbh、802.1BR的網(wǎng)絡(luò)虛擬化

? ZXDVS虛擬交換機(jī)

（1）采用DPDK加速，萬兆線速轉(zhuǎn)發(fā)

（2）支持OpenFlow1.3，支持VXLAN VTEP

    方案特點(diǎn)

     中興通訊的軟件定義數(shù)據(jù)中心網(wǎng)絡(luò)解決方案，主要有以下特點(diǎn)和優(yōu)勢：

? 集中高效的網(wǎng)絡(luò)管理和運(yùn)維

     SDN采用轉(zhuǎn)發(fā)與控制分離、控制邏輯集中的方式，由中興通訊的ZENIC SDN控制器實(shí)現(xiàn)網(wǎng)絡(luò)的集中全面控制。ZENIC SDN控制器擁有全網(wǎng)的靜態(tài)拓?fù)浼皠討B(tài)轉(zhuǎn)發(fā)信息，可實(shí)施全網(wǎng)的高效管理和優(yōu)化，更有利于網(wǎng)絡(luò)故障的快速定位和排除。如：在具有全網(wǎng)靜態(tài)拓?fù)浜蛣討B(tài)轉(zhuǎn)發(fā)信息的基礎(chǔ)上，支持端到端的故障診斷和流鏡像功能，使得流量可視化，實(shí)現(xiàn)故障的快速定位和處理，提高運(yùn)維的效率。用戶配置和部署邏輯/虛擬網(wǎng)絡(luò)，系統(tǒng)自動化完成虛擬網(wǎng)絡(luò)到物理網(wǎng)絡(luò)的映射。

?靈活組網(wǎng)與多路徑轉(zhuǎn)發(fā)

     軟件定義數(shù)據(jù)中心網(wǎng)絡(luò)采用統(tǒng)一的ZENIC SDN控制器實(shí)施控制，網(wǎng)絡(luò)的轉(zhuǎn)發(fā)規(guī)則和動作由控制器統(tǒng)一控制和下發(fā)，能有效避免環(huán)路，能根據(jù)業(yè)務(wù)的需求通過轉(zhuǎn)發(fā)流表的控制，實(shí)現(xiàn)多路徑轉(zhuǎn)發(fā)和負(fù)載均衡，大幅提高網(wǎng)絡(luò)的可靠性和利用率。

? 智能的虛擬機(jī)部署和遷移

     虛擬機(jī)的部署和遷移需要網(wǎng)絡(luò)的配合。在軟件定義數(shù)據(jù)中心網(wǎng)絡(luò)的方案中，通過IDC管理平臺、VM服務(wù)管理器以及SDN控制器協(xié)同實(shí)現(xiàn)虛擬機(jī)的智能化部署和遷移。當(dāng)某臺虛擬機(jī)需要遷移時，首先是VM服務(wù)管理器感知到，并向IDC管理平臺發(fā)出請求，提出網(wǎng)絡(luò)配合請求；IDC管理平臺受到網(wǎng)絡(luò)配合請求后，向SDN控制器發(fā)送網(wǎng)絡(luò)配合請求，SDN控制器實(shí)施網(wǎng)絡(luò)控制，將相應(yīng)的網(wǎng)絡(luò)策略下發(fā)到虛擬機(jī)遷移的目標(biāo)網(wǎng)絡(luò)設(shè)備，并撤銷虛擬機(jī)原來所在網(wǎng)絡(luò)設(shè)備對應(yīng)的網(wǎng)絡(luò)策略。從而實(shí)現(xiàn)了虛擬機(jī)和網(wǎng)絡(luò)的無縫協(xié)同，實(shí)現(xiàn)了虛擬機(jī)遷移的自動化和智能化。

? 海量虛擬租戶支持

     針對海量租戶的承載需求，中興通訊的解決方案采用VRF+ VNET子網(wǎng)的方式，很好地實(shí)現(xiàn)了租戶VNI的隔離，提供每個租戶的虛擬網(wǎng)絡(luò)視圖、資源控制和安全保障。

? 計(jì)算+存儲+網(wǎng)絡(luò)的IaaS服務(wù)

     基于SDN控制器，可實(shí)現(xiàn)網(wǎng)絡(luò)資源的虛擬化，按需提供；同時結(jié)合IDC管理平臺實(shí)現(xiàn)了SDN控制器與VM服務(wù)管理器的協(xié)同，從而實(shí)現(xiàn)了計(jì)算資源和存儲資源與網(wǎng)絡(luò)資源的無縫協(xié)同，向用戶提供按需的計(jì)算+存儲+網(wǎng)絡(luò)資源的IaaS服務(wù)。所見即所得，用戶管理虛擬資源和物理資源體驗(yàn)一致。

? 異構(gòu)云平臺兼容管理

     ENIC SDN控制器支持對異構(gòu)資源池的統(tǒng)一管理，兼容各種虛擬化和非虛擬化主機(jī)設(shè)備。

     中興通訊的解決方案中，可采用vSwitch作為VTEP點(diǎn)，也可以將VTEP點(diǎn)提高到ToR，VM通過SR-IOV或原有vSwitch直通方式接入ToR，這樣也能減少大規(guī)模單一虛擬化DC中的VTEP點(diǎn)數(shù)量，降低復(fù)雜度。裸金屬設(shè)備可接入ToR交換機(jī)，ToR充當(dāng)VTEP點(diǎn)。對于對性能、時延特別敏感的VM，可通過SR-IOV技術(shù)接入到ToR，此時可通過端口和VLAN識別虛擬機(jī)，不必完整實(shí)現(xiàn)802.1Qbg VEPA技術(shù)，降低對SR-IOV網(wǎng)卡及業(yè)務(wù)VM的要求。

     應(yīng)用場景

     中興通訊的軟件定義數(shù)據(jù)中心網(wǎng)絡(luò)解決方案，針對不同的應(yīng)用場景，可分為下列幾類：

 

解決方案	適用場景	說明
單DC內(nèi)部解決方案	所有場景的DC內(nèi)部網(wǎng)絡(luò)，分布式路由，根據(jù)公有云、私有云及不同的規(guī)模選擇不同的解決方案	由計(jì)算節(jié)點(diǎn)規(guī)模、出口流量大小、租戶數(shù)量等因素決定GW和VTEP的類型
單控制器集群多DC解決方案	多個小型DC匯聚成一個資源池，大二層，PSTN機(jī)房改造等，NFV邊緣DC	可以本地出口以優(yōu)化流量
跨區(qū)域L3 DCI解決方案	運(yùn)營商、大型云服務(wù)提供商多個區(qū)域中心DC互聯(lián)，組成一個大的資源池，租戶子網(wǎng)不跨數(shù)據(jù)中心	編排器下發(fā)或EVPN通告網(wǎng)段路由
跨區(qū)域L2 DCI解決方案	運(yùn)營商、大型云服務(wù)提供商多個區(qū)域中心DC互聯(lián)，組成一個大的資源池，租戶子網(wǎng)跨數(shù)據(jù)中心	編排器下發(fā)或EVPN通告主機(jī)路由

 

? 虛擬化Overlay數(shù)據(jù)中心

     在虛擬化Overlay數(shù)據(jù)中心場景中，vSwitch上啟用了VXLAN、NVGRE等Overlay封裝，SDN控制器主要控制vSwitch，當(dāng)ToR交換機(jī)支持Overlay封裝時，SDN控制器也控制ToR交換機(jī)。

     SDN控制器在此場景下，可以接受OpenStack Neutron PlugIn下發(fā)的基礎(chǔ)網(wǎng)絡(luò)配置，包括虛擬網(wǎng)絡(luò)、子網(wǎng)、主機(jī)端口、虛擬路由器、安全組等配置、轉(zhuǎn)換成網(wǎng)絡(luò)的流表。同時控制器接管了租戶的路由器、DHCP Server，并支持租戶之間的IP地址重疊等應(yīng)用場景。 

圖2 虛擬化Overlay數(shù)據(jù)中心場景 

     在此場景中，中興通訊的解決方案有以下特點(diǎn)：

     基于標(biāo)準(zhǔn)OpenStack架構(gòu)，網(wǎng)絡(luò)基于標(biāo)準(zhǔn)OpenFlow的Overlay架構(gòu)；

     分布式路由，跨子網(wǎng)東西向流量就近轉(zhuǎn)發(fā)；

     支持業(yè)務(wù)鏈動態(tài)業(yè)務(wù)插入，可用于防火墻等透明設(shè)備的插入；

? 虛擬化非Overlay數(shù)據(jù)中心

     和上述場景類似，區(qū)別在于SDN控制器除了控制vSwitch之外，還需要控制物理交換機(jī)網(wǎng)絡(luò)。

? 數(shù)據(jù)中心Fabric控制

     這種場景下，SDN控制器僅僅控制數(shù)據(jù)中心內(nèi)部硬件交換機(jī)，中興通訊的解決方案有以下特點(diǎn)：

     支持對外以O(shè)SPF/BGP交換動態(tài)路由信息，同時支持基于流的流量監(jiān)控和調(diào)度；

     地址分配和路由上支持靈活的模型：

     每個交換機(jī)下按IP子網(wǎng)整塊分配，交換機(jī)之間轉(zhuǎn)發(fā)按照子網(wǎng)進(jìn)行前綴路由，這樣大大減少硬件交換機(jī)上的流表項(xiàng)；

     大二層組網(wǎng)，子網(wǎng)可以跨越多個交換機(jī)，支持跨交換機(jī)L2轉(zhuǎn)發(fā)和主機(jī)路由轉(zhuǎn)發(fā)；

     混合組網(wǎng)，同時存在ToR分配整個子網(wǎng)以及大二層的組網(wǎng)需求，SDN控制器在同一個網(wǎng)絡(luò)中支持這兩種模式。

? 數(shù)據(jù)中心互聯(lián)DCI

     數(shù)據(jù)中心間通常部署三種相互隔離的互聯(lián)鏈路，分別是：網(wǎng)絡(luò)三層互聯(lián)，即不同數(shù)據(jù)中心的出口網(wǎng)絡(luò)通過IP技術(shù)實(shí)現(xiàn)互聯(lián)；網(wǎng)絡(luò)二層互聯(lián)，即數(shù)據(jù)中心服務(wù)器之間的網(wǎng)絡(luò)接入層，通過VLAN等構(gòu)建一個跨數(shù)據(jù)中心的大二層網(wǎng)絡(luò)，滿足服務(wù)器集群或虛擬機(jī)動態(tài)遷移等場景的需求；SAN互聯(lián)，即借助傳輸技術(shù)（DWDM、SDH等）實(shí)現(xiàn)數(shù)據(jù)中心間磁盤陣列的數(shù)據(jù)復(fù)制。

     在軟件定義數(shù)據(jù)中心網(wǎng)絡(luò)解決方案中，根據(jù)實(shí)際的網(wǎng)絡(luò)場景，可分為下面三類：

     單 控制器多DC互聯(lián)

     數(shù)據(jù)中心之間通過云管理平臺/控制器的互聯(lián)，實(shí)現(xiàn)資源和控制面的IP互聯(lián)；數(shù)據(jù)中心之間通過VXLAN等Overlay技術(shù)構(gòu)建服務(wù)器網(wǎng)絡(luò)接入層的大二層網(wǎng)絡(luò)。

圖3 單控制器多DC互聯(lián) 

     DC內(nèi)和DC間都采用VXLAN直連方式連接，兩個控制器集群異地備份。DC間只需要為VXLAN GW分配可連通的大網(wǎng)地址，無需對Host進(jìn)行統(tǒng)一IP地址規(guī)劃。

     適用于將多個小機(jī)房改造成一個大的VDC資源池。

     跨區(qū)域多DC互聯(lián)

圖4 跨區(qū)域多DC互聯(lián) 

（1）資源部署

? 多個IDC的云資源（計(jì)算、網(wǎng)絡(luò)等）融合，構(gòu)成統(tǒng)一的資源池；

? 租戶的云資源可以部署在多個IDC中；

? 租戶的網(wǎng)絡(luò)劃分，以網(wǎng)絡(luò)/子網(wǎng)為單位；

（2）控制面管理

? 控制器之間通過EVPN/MPLS技術(shù)，進(jìn)行IP/MAC路由交互，實(shí)現(xiàn)跨IDC的路由學(xué)習(xí)；

? IDC內(nèi)部以VXLAN VNI進(jìn)行租戶、網(wǎng)絡(luò)層次的隔離，每個網(wǎng)絡(luò)一個VNI；

? IDC間通過VXLAN VNI進(jìn)行租戶隔離，租戶與VNI實(shí)現(xiàn)映射；

? 由控制器進(jìn)行IDC內(nèi)部、IDC之間的VNI映射轉(zhuǎn)換；

     跨域多DC互聯(lián)又可以分為L2互聯(lián)和L3互聯(lián)兩種情形，區(qū)別是：

（1） 對于L3互聯(lián)，每個租戶的子網(wǎng)資源只能分布在一個IDC資源池內(nèi)，IDC內(nèi)部和IDC間的VXLAN VNI映射是N:1的，IDC間編排器下發(fā)或EVPN通告主機(jī)的是網(wǎng)段路由和ARP信息；

（2） 對于L2互聯(lián)，租戶子網(wǎng)可以跨IDC，IDC內(nèi)部和IDC間的VXLAN VNI映射是1:1的，IDC間編排器下發(fā)或EVPN通告的是主機(jī)MAC路由。