作者： Colin Jao 饒康立 – VMware資深技術顧問，主要負責VMware NSX產品線，目前致力於網路虛擬化、分散式安全防護技術與SD-WAN方案的介紹與推廣。

本篇繼續要討論的是NSX-T內Compute Node的規劃考量。這篇不會太長，但在一個中大型環境內其實Compute Node是最多的，真正的業務虛機或容器都是在這邊運作，一個環境內可能有上百台伺服器都是作為Compute Node使用。因此這邊當然也請大家要詳加規劃。

 

一台受NSX-T納管的Compute Node vSphere伺服器大致上我們用下圖表示：

理想上，我們仍然建議把管理介面與NSX-T控管的業務虛機網路介面分開。在上圖，像是Management / vMotion / HA / Storage (vSAN) 等等 vSphere相關的vmkernel，是獨立的vmnic0 / vmnic1兩個實體網路埠負責，而這兩個埠是由標準的VSS (vSphere Standard Switch) 或是集中管理的VDS (vSphere Distributed Switch) 來管理。業務虛機或是K8S worker等使用另外兩個實體網路埠 (vmnic2 / vmnic3)，而這兩個網路埠就是由NSX本身的N-VDS虛擬交換器來管理，不受VSS or VDS控管。在N-VDS上，管理者可以配置基於Overlay型態或是原生vlan型態的邏輯交換器，而業務虛機 / K8S Worker等就接取在這些邏輯交換器上。

 

上面配置的好處是能夠將vSphere管理與業務網路分開，流量獨立不會互相影響，也不會因為任何錯誤手殘就影響到整個環境。但當然，如果我們的網路埠數不夠，或希望考量採用高密度 / 少網卡 / 高傳輸頻寬的伺服器，是可以的。此時

 

  • 各個vmkernel可以轉移到N-VDS上的vlan-based邏輯交換器運作。

 

  • 在VMware最基本建議，比如說VCF (vCloud Foundation) 內的配置，單台伺服器仍然希望有一個獨立的管理網卡介面 (1G or 10G)，以及兩個互為備援的高頻寬介面 (10 / 25 / 40G)。vMotion / Storage這些到高頻寬介面內運作沒有問題，但仍然建議管理連接是透過獨立Out-of-Band管理網卡來提供。

 

在Compute Node上硬體規劃上，特別需要關注的是網路卡。基本上只要有在VMware Compatibility List裡面的網路卡都有支援，但如果大家在規劃時要特別注重效能，那網卡的選擇會需要拉出來討論。

 

下面是VMWorld 2018內的NSX-T Performance Testing Session公布的數據。如果網卡是使用40 Gbps的Intel XL710，在ESXi 6.7上可以跑出超過30 Gbps的頻寬：

而如果用的是Cisco VIC 1440 (10G網卡)，1500 MTU下頻寬大概是6.5 Gbps：

重點是，如果網卡效能很重要，配置伺服器網卡時必須要考慮 GENEVE-Offload / GENEVE-RxFilter功能。下圖內，首先我們進入VMware Compatibility Guide的工具，並且選擇要尋找 IO Devices:  (https://www.vmware.com/resources/compatibility/search.php?deviceCategory=io)

接著輸入：

 

  • 選擇 vSphere 版本：請選ESXi 6.7 U2後的版本

 

  • 選擇 Brand Name：你們要配置的網卡廠牌，比如說Intel

 

  • 如果要檢視特定卡，比如說710系列，此時可以在Keyword內輸入篩選字串

 

  • I/O Device Type 選 Network

 

  • Features 內請同時選擇 GENEVE-Offload 與 GENEVE-RxFilter

 

  • Driver Model 選 native

 

  • 按下面的 Update and View Results按鈕，就會出現多個符合篩選條件的網卡。

 

此外，每個網卡內可能會有多個驅動程式，各位可以進入選擇，並檢查Features有包含GENEVE-Offload與GENEVE-RxFilter。這個驅動程式的Type如果是Inbox，代表這個驅動程式在vSphere安裝ISO檔內就有。如果Type是Partner Async，代表請到這個網卡廠商的網站來下載此驅動程式（驅動程式資訊內就有鏈結），並進行驅動程式更新。

我們建議大家在規劃Compute Node硬體時，務必採用上述方式來進行網卡的挑選，如此在後續生產環境部署時較能確保不會有效能問題。

 

最後，一個特殊要求。NSX-T 2.4能支援的vSphere Compute Node必須是vSphere 6.7 U2以後的版本。這個版本是2019年4月才出的，因此相信許多環境仍沒有升級到此最新版。無論是在PoC或是生產環境，請各位在Compute Node務必採用vSphere最新版本。

 

NSX Compute Node這邊的規劃小結：

 

  • 資源充裕的狀況下，請儘量把vSphere管理需求的網卡與NSX-T以N-VDS來管理的虛機 / 容器流量使用的網卡分開（建議，非必要）

 

  • 網卡選擇請特別參考支援GENEVE-Offload / GENEVE-RxFilter功能的網卡

 

  • 其他的硬體選擇沒有特殊要求，只要有符合標準VMware相容性清單。CPU採用Intel或是AMD系列均可。

 

  • vSphere版本必需要7 U2之後。

 

下篇網誌是本系列的最後一篇，我們會對前面討論到的內容做總結，以及其他需要注意的事項再提醒各位。