虛擬雲網路

網路虛擬化NSX 技術文章系列一百零五 : NSX-T Data Center:安裝準備與流程(四)

作者: Colin Jao 饒康立 – VMware資深技術顧問,主要負責VMware NSX產品線,目前致力於網路虛擬化、分散式安全防護技術與SD-WAN方案的介紹與推廣。

安裝檔下載完,實體伺服器交換器準備好,vSphere安裝完,接著就開始來安裝NSX-T吧!等等還沒,我們得要先把網路這段的先期配置準備好。這一篇內,我們要說明在NSX-T安裝前,各個預先要完成的網路配置,包含在實體交換器、VSS / VDS上Port Group的設定需求等等。

 

上圖內我們接續前篇的討論,vSphere Host上我們要求至少要四個網路埠,兩個給vSphere管理用途 (vmnic0 and vmnic1),由VSS or VDS進行控管。vmnic2及vmnic3是由NSX-T的N-VDS直接管理,乘載虛機與容器,利用NSX-T Logical Switch (Overlay-Type or VLAN-Based Type) 來建立虛機與容器間的連接與防火牆阻隔。

好第一個問題:在最底下的Top-of-Rack交換器(生產環境內應該是兩台互為備援)上,要與vSphere伺服器連接的網路埠,要怎麼配置呢?

  • 不是絕對必要,但以最佳實作以及生產環境經驗,實體交換器與vSphere Host間就是打trunk (802.1q),然後沒有特別顧慮的話,開放所有的vlan tag通過便於後續簡易配置。
  • 不要用LACP。沒必要用LACP。別給自己找麻煩用LACP。VSS/VDS/NSX-T自己都可以在必要時在實體線路上進行不同網路流的負載平衡。
  • 另外,實體交換器上Jumbo Frame要打開,建議至少1700以上的MTU (Maximum Transmission Unit)。Geneve封裝的傳輸會需要底層交換器不會把大於1500 MTU的封包直接丟掉。

接著,安裝前,我們會需要企業實體網路內把哪些網段/VLAN配置?要先想好。一般來說會有這些需求:

管理網段 (Management)

管理構件包含了vCenter、各台vSphere的Management VMkernel、NSX-T Manager、NSX-T Controller、NSX-T Edge的管理介面、以及其他的common services比如說PoC環境內的DNS / NTP Servers等等,大概都會在這網段上。

vSphere環境其他內部需求網段 (vMotion / Storage…)

規劃比較乾淨的環境,不會把vMotion / HA / Storage等等這邊的配置都放在vSphere的Management vmkernel上,通常最佳配置會建議有獨立的vMotion / Storage等等網段,如果大家有建置vSphere經驗應該都很清楚。這邊要配置一個或多個網段就看實際需求,因為與NSX-T建置環境沒有直接相關。

Geneve封裝介面網段 (TEP)

由NSX-T建立出的邏輯交換器,上面的虛機要互相連線時,邏輯網段的封包要透過Geneve協定封裝,然後在底層透過實體網路傳輸。每台vSphere與Edge(以及其他我們沒有討論的NSX-T Endpoint像是KVM或是有裝NSX-Agent的實體機)都需要有一個介面叫做TEP (Tunnel Endpoint)來進行Geneve封包的傳輸與接收,這些介面需要接到這個網段,並且有IP的配置。

NSX-T內邏輯網路與實體企業網路間的連接網段

寫的很繞口,實際上就是在NSX-T Edge上的邊界對外邏輯路由器 (Logical T0 Router)與企業核心交換器上的路由介面 (Core-L3-Switch) 間的網段。由Core-L3-Switch這個實體設備往後,可以連往各個不同的企業內部實體環境網段像是Branch Office甚至Internet,而由NSX-T Logical T0 Router可以到達各個由NSX-T建立的業務邏輯網段環境。我們需要在這兩個路由器間(Core-L3-Switch,Logical T0 Router)間有網段互連,並且在上面配置路由協定像是BGP或是採用靜態路由。

在NSX-T安裝時,Edge VM部署會需要接到這種網段上。通常為了備援的需求,會有至少兩組這種Uplink的連接網段。

NSX-T內部的業務網段

NSX-T安裝完畢後,在業務需求實際配置的虛機或是容器所需要的網段,利用邏輯交換器建立。邏輯交換器可以是Overlay-Based(此網段會透過Geneve封裝)或是Vlan-Based(這些網段不透過Geneve封裝,NSX-T直接利用打vlan-tag的方式,讓虛機與實體網路內同vlan的環境互通)。這邊的配置和實際有哪些租戶以及業務需求相關,這系列內就暫不討論。

因此,在實際下場安裝前,實體網路與VSS/VDS部份有哪些需要準備好的呢?下表是網路Team需要在實體網路設備上配置完成的網段與VLAN的例子:

 

幾個註記:

  • 綠色格子部分在部署前,會與客戶進行說明,並由客戶自己依據實際環境進行配置或修改。
  • vSphere上vMotion / Storage等等可能有好幾個網段,看實際環境怎麼配。
  • Edge Uplink網段可能有好幾個(後續邏輯路由器段落再說明)。
  • 實體L3交換器上應該有這些網段的default gateway,預設我們都配成.254。

而下表是我們在vSphere的VSS/VDS上,應該要配出的Port Group:

同樣幾個註記:

  • 綠色格子部分在部署前,會與客戶進行說明,並由客戶自己進行配置或修改。
  • VSS或是VDS的Uplink 1就是接到本篇最上面圖內的vmnic0,Uplink 2是接到vmnic1。這邊的路徑分配方式要採多個介面同時active by Src Port或是failover,都沒問題。
  • 在此圖內的PG-Geneve-TEP (Edge TEP) 之所以是0-4094打Trunk而不是用單一VLAN,是因為配置上較彈性與統一。後續要建立Geneve封裝VLAN Tag 102的配置時,會在對應這個配置的Switch Uplink Profile上面來配。
  • 在此圖內的PG-Enterprise-Trunk (Edge Uplink) 之所以是0-4094打Trunk而不是用單一VLAN,是因為配置上較彈性,且多個Edge Uplink可以使用同樣的Port Group。後續要建立VLAN Tag 11 / Tag 12的配置時,會在對應這個配置的Logical Switch上面來配。

我知道這一段有些複雜,如果沒法一下想清楚,請大家就先當成這樣,後面我們會再針對各部分做說明。下一篇起,我們要從安裝NSX-T Manager開始。