背景

    數(shù)據(jù)中心 I/O整合的出現(xiàn)

    數(shù)據(jù)中心（Data Center，DC）為各種企業(yè)業(yè)務(wù)提供數(shù)據(jù)，是數(shù)據(jù)計(jì)算、網(wǎng)絡(luò)傳輸、存儲(chǔ)的中心。數(shù)據(jù)中心目前尚在快速發(fā)展當(dāng)中，有著廣闊的前景，根據(jù)預(yù)測(cè)，預(yù)計(jì)到2013年，中國(guó)下一代數(shù)據(jù)中心的市場(chǎng)規(guī)模將超過(guò)977億元。 

    數(shù)據(jù)中心是當(dāng)前運(yùn)營(yíng)商和各行業(yè)的IT建設(shè)重點(diǎn)，實(shí)現(xiàn)對(duì)IT信息系統(tǒng)的整合和集中管理，提升管理、運(yùn)營(yíng)和服務(wù)效率，降低運(yùn)營(yíng)成本。這也導(dǎo)致數(shù)據(jù)中心規(guī)模越來(lái)越大，復(fù)雜度越來(lái)越高。為了建設(shè)集中扁平化，統(tǒng)一多種應(yīng)用的融合數(shù)據(jù)中心，未來(lái)的數(shù)據(jù)中心建設(shè)將圍繞融合網(wǎng)絡(luò)和虛擬化展開(kāi)，大量新技術(shù)應(yīng)用在數(shù)據(jù)中心建設(shè)中，如數(shù)據(jù)中心以太網(wǎng)，F(xiàn)CoE，虛擬化，各種應(yīng)用服務(wù)器建設(shè)等。

    傳統(tǒng)的Fibre Channel技術(shù)以其高速、高效、可靠和長(zhǎng)距離傳輸，廣泛應(yīng)用在存儲(chǔ)網(wǎng)絡(luò)(SANs)中。但是以太網(wǎng)技術(shù)以其低成本、高技術(shù)、高普及率，在網(wǎng)絡(luò)領(lǐng)域占據(jù)統(tǒng)治地位。這導(dǎo)致了在一個(gè)企業(yè)或者組織的數(shù)據(jù)中心網(wǎng)絡(luò)中可能會(huì)建立若干套網(wǎng)絡(luò)，其中以太網(wǎng)承載IP流量，F(xiàn)ibre Channel承載基于SCSI技術(shù)，可能還會(huì)由InfiniBand來(lái)承載高速集群I/O。

    今天的數(shù)據(jù)中心環(huán)境(FCoE/CEE技術(shù)引入前)

    特點(diǎn)

    1.服務(wù)器設(shè)備通過(guò)FC交換機(jī)連接的存儲(chǔ)網(wǎng)絡(luò)(SAN) 。

    2.服務(wù)器設(shè)備通過(guò)以太網(wǎng)交換機(jī)連接的IP網(wǎng)絡(luò)。

    3.服務(wù)器設(shè)備上同時(shí)連接IP網(wǎng)絡(luò)和存儲(chǔ)網(wǎng)絡(luò)。

    傳統(tǒng)業(yè)務(wù)結(jié)構(gòu)下，由于多種技術(shù)之間的孤立性(LAN與SAN)，使得數(shù)據(jù)中心服務(wù)器總是提供多個(gè)對(duì)外I/O接口(在此，可理解成服務(wù)器的網(wǎng)卡)：用于數(shù)據(jù)計(jì)算與交互的LAN接口以及數(shù)據(jù)訪問(wèn)的存儲(chǔ)接口，某些特殊環(huán)境如特定HPC(高性能計(jì)算)環(huán)境下的超低時(shí)延接口。服務(wù)器的多個(gè)I/O接口導(dǎo)致了數(shù)據(jù)中心環(huán)境下多個(gè)獨(dú)立運(yùn)行的網(wǎng)絡(luò)同時(shí)存在，不僅使得數(shù)據(jù)中心布線復(fù)雜，不同的網(wǎng)絡(luò)、接口形體造成的異構(gòu)還直接增加了額外人員的運(yùn)行維護(hù)、培訓(xùn)管理等高昂成本投入，特別是存儲(chǔ)網(wǎng)絡(luò)的低兼容性特點(diǎn)，使得數(shù)據(jù)中心的業(yè)務(wù)擴(kuò)展往往存在約束。

    這樣就造成了大量的線纜、能耗和費(fèi)用。在全球經(jīng)濟(jì)危機(jī)的形勢(shì)下，在針對(duì)大型數(shù)據(jù)中心網(wǎng)絡(luò)中，逐步出現(xiàn)了I/O整合的思路。（備注：可理解成原理服務(wù)器上要有多張網(wǎng)卡分別連接各種存儲(chǔ)、以太網(wǎng)等，整合后只需要一張網(wǎng)卡）

    I/O 整合與統(tǒng)一的設(shè)想是使適配器、交換機(jī)和/或存儲(chǔ)系統(tǒng)使用相同的以太網(wǎng)物理基礎(chǔ)實(shí)施來(lái)傳送特性差異較大的不同類型流量和處理要求。數(shù)據(jù)中心管理人員可以采購(gòu)更少的主機(jī)總線和服務(wù)器適配器、線纜、交換機(jī)和存儲(chǔ)系統(tǒng)，削減電力、設(shè)備和管理成本。對(duì)于 IT 網(wǎng)絡(luò)管理人員，這等同于安裝并操作一個(gè)網(wǎng)絡(luò)而不是一個(gè)結(jié)構(gòu)樹(shù)，但是仍然具有區(qū)分不同流量類型的能力。

    IO整合后，把這些網(wǎng)絡(luò)融合到以太網(wǎng)上，多個(gè)網(wǎng)絡(luò)流量（以太網(wǎng)的流量、存儲(chǔ)的流量）共享同一條物理鏈路，建設(shè)統(tǒng)一融合的數(shù)據(jù)中心以太網(wǎng)(Data Center Ethernet，DCE)，能夠大幅減少線纜和能耗，大大降低運(yùn)維成本，是數(shù)據(jù)中心網(wǎng)絡(luò)的發(fā)展趨勢(shì)。數(shù)據(jù)中心以太網(wǎng)也稱為融合增強(qiáng)型以太網(wǎng)(Converged Enhanced Ethernet，CEE)。

    增強(qiáng)以太網(wǎng)的提出

    以太網(wǎng)作為一種盡力服務(wù)的網(wǎng)絡(luò)模型，網(wǎng)絡(luò)繁忙時(shí)可能發(fā)生丟包或傳輸故障，由于傳統(tǒng)以太網(wǎng)不可靠的傳輸特性，因此不適合在存儲(chǔ)信息傳輸過(guò)程中使用。例如：公共安全場(chǎng)所的監(jiān)控錄像，有研究表明，一個(gè)人掠過(guò)一個(gè)監(jiān)控?cái)z像機(jī)最短的時(shí)間不到一秒鐘，如果關(guān)鍵數(shù)據(jù)在傳輸過(guò)程中丟失，就會(huì)給未來(lái)的調(diào)查取證造成極大困擾。

    為了使光纖通道（Fiber Channel）傳輸數(shù)據(jù)可以在以太網(wǎng)上傳輸，發(fā)展出了FCoE(Fiber Channel Over Ethernet)協(xié)議。但是，傳統(tǒng)的以太網(wǎng)是肯定是無(wú)法承載光纖通道數(shù)據(jù)傳輸?shù)模蕴W(wǎng)應(yīng)該發(fā)展成為擁有阻塞管理和流量控制功能的低延遲的和不丟棄數(shù)據(jù)包的傳輸技術(shù)，最終發(fā)展成增強(qiáng)型的以太網(wǎng)。

    所謂增強(qiáng)型以太網(wǎng)，并不是在傳統(tǒng)以太網(wǎng)基礎(chǔ)上，提出新的報(bào)文封裝格式，而是由IEEE數(shù)據(jù)中心網(wǎng)橋(Data Center Bridge，簡(jiǎn)稱DCB)工作組提出一系列以太網(wǎng)擴(kuò)展協(xié)議，來(lái)增強(qiáng)傳統(tǒng)以太網(wǎng)傳輸?shù)目煽啃浴Ｔ鰪?qiáng)型以太網(wǎng)主要有兩個(gè)特征：率先為在以太網(wǎng)基礎(chǔ)上進(jìn)行擴(kuò)展，支持將上述三類網(wǎng)絡(luò)整合起來(lái)；第二個(gè)為支持不丟包傳輸，從而可以支持那些對(duì)傳輸可靠性要求極高的服務(wù)。

    IEEE數(shù)據(jù)中心網(wǎng)橋(Data Center Bridge，簡(jiǎn)稱DCB)工作組正在定義的標(biāo)準(zhǔn)如下：

    用于基于優(yōu)先次序的流量控制的802.1Qbb標(biāo)準(zhǔn)；

    用于沖突通知的802.1Qau標(biāo)準(zhǔn)；

    用于增強(qiáng)的傳輸選擇的802.1Qaz標(biāo)準(zhǔn)（該標(biāo)準(zhǔn)還含數(shù)據(jù)中心橋接交換協(xié)議DCBX）

    虛擬機(jī)支持IEEE802.1Qbg

    另外，IETF的TRILL協(xié)議也將成為數(shù)據(jù)中心重要協(xié)議。

    增強(qiáng)以太網(wǎng)簡(jiǎn)介

    在DCE/CEE中，F(xiàn)ibre Channel幀將映射到以太網(wǎng)上來(lái)進(jìn)行承載（FCoE標(biāo)準(zhǔn)）。傳統(tǒng)的Fibre Channel提供流控機(jī)制，支持業(yè)務(wù)的平滑進(jìn)行，并且傳統(tǒng)的Fibre Channel對(duì)于時(shí)延的增加/變化或者抖動(dòng)非常敏感。

    而傳統(tǒng)的以太網(wǎng)絡(luò)可以容忍一定的丟包和時(shí)延變化/抖動(dòng)。所以，IEEE定義了一系列標(biāo)準(zhǔn)，規(guī)范DCE/CEE對(duì)于傳統(tǒng)以太網(wǎng)增強(qiáng)，主要包括：

    802.1Qbb Priority Flow Control(PFC)：

    傳統(tǒng)的以太網(wǎng)是整條鏈路進(jìn)行流控的。802.1Qbb是基于優(yōu)先級(jí)的流控標(biāo)準(zhǔn)。在一條物理鏈路上，分成了8個(gè)虛擬通道，每一個(gè)通道分配一個(gè)優(yōu)先級(jí)。這樣在一條鏈路上可以承載多種業(yè)務(wù)類型，包括FCoE和非FCoE的業(yè)務(wù)。當(dāng)發(fā)生擁塞時(shí)，接收端可以在特定的優(yōu)先級(jí)虛擬通道上發(fā)送XOFF和XON幀，抑制或者繼續(xù)特定的業(yè)務(wù)，保證高優(yōu)先級(jí)或者時(shí)延敏感的業(yè)務(wù)的傳輸。下面是802.1qbb的原理圖。

    802.1Qaz Enhanced Transmision Selection(ETS)：

    保證不同服務(wù)級(jí)別上的多種流量類型的質(zhì)量。在DCE/CEE上的業(yè)務(wù)中，IPC是時(shí)延敏感的業(yè)務(wù)，SAN業(yè)務(wù)是對(duì)丟包敏感的業(yè)務(wù)，而IP業(yè)務(wù)是可以允許一定的丟包和時(shí)延。鏈路上的業(yè)務(wù)可以分為若干個(gè)優(yōu)先級(jí)組(Priority Group，PG)，并且定義每個(gè)PG的帶寬屬性。重要的業(yè)務(wù)，比如存儲(chǔ)網(wǎng)絡(luò)數(shù)據(jù)被賦予高優(yōu)先級(jí)，保證帶寬。低優(yōu)先級(jí)業(yè)務(wù)只能在高優(yōu)先級(jí)業(yè)務(wù)帶寬不占用的情況下，才能使用分配帶寬之外的額外帶寬。下面是ETS和PG的典型例子。
 

    Data Center Bridging eXchange Protocol（DCBX）：

    這是IEEE Link Layer Discovery Protocol(LLDP)的擴(kuò)展，可以在鏈路建立的時(shí)候交換兩端設(shè)備的能力參數(shù)，比如是否支持PFC，以及802.1Qaz Priority Group。

    其他相關(guān)標(biāo)準(zhǔn)：

    包括IEEE 802.1Qau端到端擁塞管理標(biāo)準(zhǔn)，為克服生成樹(shù)協(xié)議的單路徑和收斂慢特點(diǎn)Layer2 Multipathing（L2MP）協(xié)議等。

    在傳統(tǒng)的以太網(wǎng)環(huán)境中，網(wǎng)絡(luò)傳輸過(guò)程中，當(dāng)網(wǎng)絡(luò)流量達(dá)到最大帶寬后，不可能保證所有流量的傳輸，只能將部分流量丟棄掉。為了保證數(shù)據(jù)流在傳輸過(guò)程中不被丟棄，根源的辦法通知數(shù)據(jù)發(fā)送源端，降低數(shù)據(jù)發(fā)送的速率。基于擁塞通告的802.1Qau標(biāo)準(zhǔn)，    就是在這種背景下出現(xiàn)，服務(wù)于增強(qiáng)型以太網(wǎng)，用于提高以太網(wǎng)傳輸?shù)目煽啃浴?/p>

    CNM(擁塞通告信息)的目的MAC直接是來(lái)源主機(jī)！ 下圖為擁塞點(diǎn)（CP）與反應(yīng)點(diǎn)（RP）的示意點(diǎn)。