互聯(lián)網數(shù)據(jù)中心網絡25G組網架構設計

【網絡組網架構】最常見的網絡架構模型為二級網絡架構和三級網絡架構，本文為大家分析這兩種架構與服務器規(guī)模、適用業(yè)務應用需求之間的對應關系。

發(fā)布時間：2019-04-17
點擊量：
點贊：

分享至

我想評論

背景

為什么升級到25G以太網絡？

過去的一年里，我們可以看到很多互聯(lián)網數(shù)據(jù)中心的服務器接入已經從10G以太網升級到25G以太網，大家為什么要升級到25G以太網呢？

• 支撐高性能業(yè)務：主要配合業(yè)務的快速擴張和應用系統(tǒng)性能的提升，例如基于AI、大數(shù)據(jù)的互聯(lián)網應用推動業(yè)務流量成倍增長；

• 支撐業(yè)務突發(fā)：存在業(yè)務突發(fā)的應用熱點使得業(yè)務方需要基礎架構做到全力支撐；
匹配服務器性能的升級：服務器CPU及存儲I/O的性能升級，使得每臺服務器網絡吞吐性能增加，10G組網無法滿足帶寬需求；

• 單比特成本降低：對于公有云類業(yè)務，25G以太網實現(xiàn)網絡單比特成本下降，降低運營成本；
技術紅利：新一代的25G以太網交換機芯片，提供了豐富的技術特性，如Telemetry、RDMA（Remote Direct Memory Access，遠程直接數(shù)據(jù)存取）等，大大提升了基礎網絡運維的效率，降低了成本。

在互聯(lián)網數(shù)據(jù)中心中，25G以太網相比10G以太網在組網架構層面有什么變化？接下來就讓我們一起來了解25G組網架構。

是什么決定了25G組網架構？

在部署建設25G數(shù)據(jù)中心網絡時，為更好地進行產品選型和架構方案的確定，我們可以把影響因素歸納到兩個方面：

• 服務器規(guī)模：指預期單集群中服務器的數(shù)量；

• 業(yè)務應用需求：指不同業(yè)務類型對網絡收斂比、服務器單上聯(lián)/雙上聯(lián)等方面的要求。

最常見的網絡架構模型為二級網絡架構和三級網絡架構，下面將為大家分析這兩種架構與服務器規(guī)模、適用業(yè)務應用需求之間的對應關系。

25G網絡架構設計方案

二級網絡架構

▲圖1：二級網絡架構拓撲圖

如上圖1中的兩種二級網絡架構拓撲圖，我們針對服務器單上聯(lián)/雙上聯(lián)方式、規(guī)模、設備選型、收斂比等方面進行分析如下：

▲表1：二級網絡架構對比表

當單集群服務器規(guī)模在1000～2000臺時，可以采用基于盒式（BOX）多核心二級架構即可滿足需求，由于該架構中采用同系列單芯片交換機方案，對于PFC（Priority-based Flow Control，基于優(yōu)先級的流量控制）+ECN（Explicit Congestion Notification，顯式擁塞通知）+MMU（Memory Management Unit，內存管理單元）管理，芯片水線設置一致性高、協(xié)調性好，同時轉發(fā)時延低、吞吐率高，整網可部署RDMA業(yè)務和網絡可視化方案。

當單集群服務器規(guī)模在5000～20000臺時，可以采用基于Chassis多核心二級架構，該架構Spine層核心設備有兩種類型核心板卡可以選擇，分別如下：

• CB類板卡，滿足業(yè)務常出現(xiàn)多打一的場景，通過大緩存機制有效減少多打一場景下的丟包；

• DB類板卡，滿足業(yè)務對于RDMA組網和網絡可視化要求較高場景，同時該架構繼承了基于BOX多核心二級架構的優(yōu)勢。

在二級組網架構中，我們可以基于單集群服務器規(guī)模和業(yè)務需求決定采用哪種架構，在組網中路由協(xié)議部分，在Spine-Leaf之間可采用EBGP（External Border Gateway Protocol，外部邊界網關協(xié)議）協(xié)議，所有Leaf設備部署相同AS 號（Autonomous System number，自治域系統(tǒng)號），Spine層接收Leaf層路由后進行AS號替換，解決EBGP水平分割問題。當業(yè)務需要服務器雙上聯(lián)時，建議采用去堆疊方案進行Leaf層部署，具體細節(jié)詳見《【第六期】如何實現(xiàn)數(shù)據(jù)中心網絡架構“去”堆疊》。

三級網絡架構

▲圖2：三級架構拓撲圖

對于單集群服務器規(guī)模超過2萬臺的超大型數(shù)據(jù)中心，Spine+Leaf的二級組網已經不能滿足需求，且擴展性也變差。這時建議采用基于POD（Point Of Delivery，數(shù)據(jù)中心最小單元）橫向擴展（Scale-out）的三級架構。

如上圖2，每個POD內是Spine+Leaf的二級組網，服務器數(shù)量和網絡設備數(shù)量標準化固定，多個POD之間再通過核心設備進行互聯(lián)，從而實現(xiàn)更大規(guī)模的組網，解決靈活擴展的問題。我們通過POD數(shù)量、服務器規(guī)模、設備選型和收斂比來進行呈現(xiàn)如下表2：

▲表2：三級架構對比表

在三級組網架構中，同樣也是相同的架構下兩種設備選型，其中POD內部即為標準的Spine+Leaf二級架構，設備選型一致。在核心層進行區(qū)分選擇，該選擇如二級架構中的Chassis（CB類板卡）多核心二級架構和Chassis（DB類板卡）多核心二級架構的選擇，在此不再贅述。但這里需要注意當業(yè)務需求部署RDMA業(yè)務時，建議將RDMA域的部署范圍控制在POD內部，因為更大規(guī)模的RDMA部署，PFC和ECN報文的控制難度將極具增大，同時擁塞反壓影響更為嚴重。如果要規(guī)劃更大規(guī)模的數(shù)據(jù)中心，在單集群實現(xiàn)超過10萬臺服務器，就需要升級Spine層交換機設備，采用可提供128口100G的BOX設備，這樣POD內可實現(xiàn)服務器規(guī)模翻倍。

下一代數(shù)據(jù)中心架構展望

據(jù)IDC（International Data Corporation，國際數(shù)據(jù)公司）預測，2025年數(shù)據(jù)中心要處理的數(shù)據(jù)量將達到175ZB，是2018年的5倍之多，且中國增長最為迅速，從2018年的7.6ZB預計到2025年增長到48.6ZB。在快速增長的數(shù)據(jù)面前，基礎網絡需要多方面的努力，例如從網絡帶寬的迭代升級和1:1網絡收斂比的IP CLOS架構上進行改進，那么下一代組網架構在IP CLOS網絡架構中是否還會采用Chassis設備，以及未來服務器接入將演進升級到什么形態(tài)以滿足業(yè)務需求分析將在下一篇文章詳細解讀。

本期作者：王磊
銳捷網絡互聯(lián)網系統(tǒng)部行業(yè)咨詢