前言

前篇《從實戰淺析運營商云資源池網絡—技術的抉擇》淺析了“某運營商IT云資源池網絡”的技術選用和原因，本篇將進一步闡述業務場景的關鍵流量模型，例如：域內和域間的同租戶二三層互訪、異租戶三層互訪、安全防護、南北向流量等；從而幫助大家了解數據中心的”血液”是如何在網絡Overlay中流動的，進一步熟悉云計算數據中心的底層網絡架構和邏輯。

01 整體拓撲介紹

圖1.1.▲整體拓撲圖示

該案例網絡主要結構示意如上圖，其中一些無關的細節做了精簡和裁切。該網絡中有多個POD，每個POD均有自己獨立的出口。POD內部的網絡設備使用EVPN VXLAN方式實現Overlay。

POD之間采用DCI互聯層進行連接，DCI 接入交換機之間通過EVPN VXLAN實現L2/L3 VPN。

02 POD內流量模型介紹

 
同租戶L2流量

租戶的Host通常都有規劃在一個Bridge中的需求。同交換機下的L2互通由本地服務器中vSwitch進行互通或交換機本地L2轉發即可，但POD內的一個租戶的Host因資源分配的原因經常分配在不同的Leaf交換機下，因此需要實現跨Leaf的L2流量互通。

圖2.1.▲同租戶L2流量模型圖示

同租戶L2流量模型說明如下：

同一租戶網絡內主機之間的L2通信，不同VTEP之間的轉發，由Leaf進行VXLAN封裝后，發送到VXLAN隧道的對端VTEP，然后進行VXLAN解封裝，核心交換機（Spine）僅實現外層報文的三層路由,流量不經過Border（出口邊界交換機）。

 
同租戶L3流量

對于一個租戶的不同的Network，可能會有通過”vRouter”進行L3互通的需求。因此需要通過交換機給租戶提供”vRouter”的功能特性。

圖2.2.▲同租戶L3流量模型圖示

流量模型說明如下：

同一租戶網絡內業務之間的三層通信，不同VTEP之間的轉發，由Leaf進行VXLAN封裝后，根據報文目的ip，查找路由表，發送到VXLAN隧道的對端VTEP，然后進行VXLAN解封裝,剝離VxLAN報文，還原出原始的數據幀,根據目的ip找到出端口,發送給接收主機.域內同租戶跨L3通信，涉及不同VTEP之間的L3路由；采用分布對稱式進行部署設計, Spine僅實現外層報文的三層路由,轉發不經Border和防火墻，僅在Leaf完成。
 
 異租戶L3流量

圖2.3.▲異租戶L3流量模型圖示

在不同的VPC之間，可能會有一些業務系統有互通的需求，網絡設備Overlay的VRF之間互通可以采用外部路由器、BGP VPN間路由泄露的方式來實現VPC間的路由互通，考慮到一般來說VPC間的業務互通通常是有限的，比如存在不同的安全域級別、僅允許部分IP或端口互通。因此，本案例中的這部分流量采用外部防火墻來進行互通，同時實現安全策略控制。

流量模型說明如下：

VPC之間的通信流量需要經過Border，且需要經過內部防火墻進行流量過濾清洗。先在Leaf上實現VXLAN封裝，同時在Border上解封裝后發送給防火墻(引入防火墻，在防火墻內部串接完成VRF過渡)；防火墻回送Border的流量再經過Border進行VXLAN封裝后發送給目的Leaf。

1. 租戶A流量傳遞到所在的Leaf設備，Leaf設備負責VXLAN的封裝后將報文傳遞給Border，Border通過靜態或動態路由協議將報文引流至內層防火墻進行過濾清洗，同時進行VXLAN的解封裝。
2. 內層防火墻收到引流報文后，將VRF-A和VRF-B進行路由互導，并將報文通過防火墻路由回注至Border對應的VRF-B的接口。
3. Border重新封裝Vxlan Tunnel至租戶B所在Leaf，解封裝后到達目標主機。

03 POD間流量模型介紹

對于同租戶內需要實現L2/L3互通的業務中，其中一些例如容災的、分布式部署的服務需要實現異地的部署，這類業務對網絡提出了跨POD進行L2和L3互通的需求，這里考慮到鏈路成本等問題通常會用到L2/L3 VPN的方式，上一篇文章有介紹幾種通過VXLAN實現L2VPN的方式（VXLAN的特性同時也可以實現L3 VPN），本例采用Vlan Hand-Off方式實現。

 
同租戶L2流量

圖3.1.▲跨POD同租戶L2流量模型圖示

跨POD同租戶L2流量模型說明如下：

數據中心內采用分布式VxLAN網關，Server到Border實現L2/L3 VXLAN交換;跨POD的L2流量無需經過防火墻過濾，在POD1的Leaf封裝VXLAN、Border解封裝VXLAN后，以Vlan方式上送DCI交換機封裝為vxlan后送到對端DCI交換機，還原vlan報文發送給POD2的Border，再次封裝VXLAN發送給Leaf進行解封裝，到達最終主機。
 
同租戶L3流量

圖3.2.▲跨POD同租戶L3流量模型圖示

跨POD同租戶L3流量模型說明如下：

POD間同租戶三層互訪與二層互訪路徑略有相似，Border到DCI Leaf通過子接口進行dot1q封裝實現互聯，建立靜態或者動態路由, 實現報文轉發，屏蔽各廠商bgp evpn控制協議的異構性；跨域L3在POD-1的Leaf封裝VXLAN、Border解封裝VXLAN后，通過Vlan封裝發送給DCI互聯層, 在DCI互聯層進行封裝解封裝VXLAN，再通過Vlan封裝發送給POD-2的Border處理，POD-2的Border再封裝VXLAN給Leaf進行解封裝，發送給最終的主機。
 
 異租戶L3流量

除同租戶外的POD間通信之外，不同租戶之間也同樣可能需要跨POD進行互相通信，同時也需要防火墻來提供豐富的控制策略。因為涉及到整個DCI層以及存在多組防火墻，整體邏輯會比在同POD內進行異租戶間互通要稍復雜些。

圖3.3.▲跨POD異租戶L3流量模型圖示

跨POD異租戶L3流量模型說明如下：

跨POD的不同租戶L3互訪需要借助防火墻在兩個VRF間進行路由泄露和流量過濾清洗，數據中心內采用分布式VxLAN網關，server到border實現L2/L3 VXLAN交換，Border到DCI互聯層通過Vlan封裝實現互聯，建立靜態或者動態路由, 實現報文轉發，屏蔽各廠商bgp evpn控制協議的異構性。域間不同租戶間的業務流量需經過防火墻，選擇哪邊的防火墻根據每個業務情況進行選擇。報文封裝邏輯流程與前篇Vlan Hand-Off的介紹基本一致，其中不一樣的地方為在需要進入防火墻一側的DCI出口，Border到防火墻再到DCI交換機時在防火墻上有一個三層轉發的過程；

1. 租戶A流量傳遞到POD1的Leaf設備， Leaf設備負責VXLAN的封裝后將報文傳遞給Border設備，網關設備VXLAN解封裝，通過靜態或動態路由將報文牽引至防火墻實現VRF間互通和安全策略。
2. 防火墻收到報文后，將VRF-A和VRF-C之間的路由進行相互泄露，且將報文發送給Border對應的VRF-C的接口。
3. Border收到防火墻的報文后，流量通過VLAN封裝發送給DCI Leaf-1。DCI Leaf-1收到報文后，進行VXLAN封裝后將報文發給DCI Leaf-2。
4. DCI Leaf-2進行VXLAN的解封裝后,流量通過VLAN封裝傳輸給POD2 Borde Leaf對應的VRF-B接口。
5. POD2的Border收到報文后，重新進行VXLAN的封裝，通過VRF-B的路由表，將報文發送給目的Leaf的VTEP網關設備。
6. 目的Leaf收到報文后，進行VXLAN解封裝后發送給目的租戶B。

04 其它流量模型介紹

 
安全防護引流流量

對于云資源池內部分業務的防護僅通過傳統防火墻的規則是遠不夠的，各種對外服務的應用的漏洞和配置不規范均可能成為可以穿透防火墻機制的安全風險。因此通常需要應用層的防護和檢測手段來為內部業務提供進一步的保護，例如IPS、WAF、數據庫審計等。

考慮到傳統的串糖葫蘆式的安全設備部署方式已無法滿足云數據中心級別的性能、可靠性及多租戶需求特性，本案例中通過旁路部署IPS、WAF等安全設備，通過SDN控制器實現Service Chain按需引流。

圖4.1.▲安全防護引流流量模型圖示

安全防護引流流量模型說明如下：

主機南北流量從接入Leaf進入到Overlay網絡，通過ECMP等價負載到達Border并按需執行引流策略，將需要進行防護的業務流量引入WAF或IPS實現流量過濾；
另外Border將鏡像業務上下行接口作為源端口，復制一份到觀察端口，利用流量探針設備分析報文，可進行威脅檢測和應用性能監測。

 
服務器與外部網絡的南北向流量

圖4.2.▲服務器與外部網絡的南北向流量模型圖示

服務器對外業務發布或訪問外部網絡需要通過網絡邊界的外層防火墻進行路由及策略控制，對于業務服務器使用私網地址的，還需要外層防火墻提供NAT能力。

流量模型如下：

主機同外網之間的通信流量需要經過Border，無需經過內層防火墻過濾和清洗,但需要經過外層防火墻進行流量處理， Leaf上實現VXLAN封裝，同時在Border上解封裝后發送給外層防火墻；外層防火墻再發送給外部網絡。

主要有如下三種業務場景:

1. 主機配置公網IP,通過實現與外網互通；
2. 主機配置內網IP,通過SNAT實現 向外網進行通信；
3. 主機配置內網IP,通過DNAT實現 外網向其進行通信。

總結

本文通過一個案例解析其詳細的流量模型，希望能給大家帶來一些幫助和啟發，其中所用技術手段、實現方法及流量模型可能會有一些特定的背景或原因，在其它場景或情況下可能不是優化的方法，對于一些技術如為何采用交換機實現Overlay、為何采用Vlan Hand-Off方法實現L2/L3的DCI，在前篇《從實戰淺析運營商云資源池網絡—技術的抉擇》可以找到答案。

相關推薦：

• 大型數據中心網絡路由協議選擇
• 大型數據中心BGP路由協議規劃
• 從實戰淺析運營商云資源池網絡—技術的抉擇