作者： Colin Jao 饒康立 – VMware資深技術顧問，主要負責VMware NSX產品線，目前致力於網路虛擬化、分散式安全防護技術與新應用遞送方案的介紹與推廣。

接下來我們要和大家討論在伺服器採用僅兩張高速網卡下的配置流程。大致上會是下面的這樣步驟：

接下來就一個個步驟來進行討論：

 

步驟一：底層網路交換器各網段 vlan / gateway 配置，與vSphere 間 trunking 配置

 

這邊的配置機制與標準多網卡都一樣，系統與網路團隊要先討論會有哪些網段 / VLAN，底層網路環境要配置對應的Gateway IP等等。與各位已經非常熟悉的標準vSphere / vCenter 安裝沒有什麼不一樣，就不多談。

 

步驟二及步驟三：vSphere / vCenter 安裝，以及vmkernel port的配置

 

同上不多談…等等，有一些東西要討論。

 

請大家複習一下前面系列的網誌，我們應該有討論過 NSX-T Data Center的配置環境內，有分成Management / Edge / Compute等不同Cluster，然後也說明了各個Cluster內的相關要求對吧。好那在僅有雙網卡的伺服器環境內，這邊是否有任何更動呢？

 

直接說結論：在雙網卡伺服器環境內，我強烈、極度強烈地建議，Compute必須要與Management / Edge分開。資源多的話，三個Cluster都區分開。資源少的話，請好歹有四台伺服器作為Management / Edge整合的Cluster，其他伺服器作為Compute。然後

 

  • Management / Edge Cluster內的vSphere伺服器，不要用NSX的N-VDS部署。這幾台伺服器的雙網卡應該直接用傳統VSS或是VDS來管理

 

  • Compute Cluster內的vSphere伺服器，兩張網卡才是由NSX的N-VDS來管理。

 

原因是這樣：

 

  • Management Cluster裡面最重要的NSX構件是什麼？三台Managers對吧。部署任何NSX環境前，Manager需要先配置好，此時Manager VM的下面有N-VDS環境嗎，應該還沒有。

 

  • 問題來了：如果NSX Manager要把自己所在的vSphere雙網卡改為採用N-VDS，此時這個步驟內，Manager的虛機連接的網路，會由原本接VSS or VDS虛擬交換器，改成N-VDS虛擬交換器對不對？這時候Manager一面要透過網路控制這個虛擬交換器轉換過程，一面自己的網路又可能會有網路斷線…

 

  • 然後Deadlock就發生了，安裝中斷～～

 

  • 上面這邊的問題，當然還是可以避免，但就是一個複雜、不自動化、步步驚心的流程。各位可以參考下面NSX-T 2.5安裝手冊的章節：https://docs.vmware.com/en/VMware-NSX-T-Data-Center/2.5/installation/GUID-3770AA1C-DA79-4E95-960A-96DAC376242F.html，敘述了完整的流程。但是呢，管理環境就是要求穩定、簡單、可靠，幹嘛把問題複雜化？

 

  • 接下來是Edge VM。Edge如果是Bare-Metal Type那完全不用討論，本來下面就不需要vSphere。而Edge如果是VM型態呢？首先請各位回憶一下，Edge VM的N-VDS在哪邊？是在Edge自己身上，不是在vSphere內吧

 

  • 因此Edge VM的運作本質上，下面的vSphere是不需要透過NSX控制的。而且Edge一般來說頂多就是六台八台了不起十幾台，放在特定的伺服器上就可以，我們不需要在每台vSphere上特別去配置Edge VM的相關網路

 

  • 而且Edge的流量應該很大，各位業務應用的南北向流量都會通過它。各位，你們確定規劃上不把Edge放在指定的伺服器，給它們足夠的處理能力與頻寬，而要和Compute Cluster內的業務虛機一起搶雙網卡的流量嗎？

 

  • 最後一個原因：既然Edge VM本身已經有N-VDS，如果底下的vSphere也有N-VDS，此時overlay的運作會起衝突。要避免這個問題也可以，vSphere這邊的Overlay-TEP跑的vlan網段與上面Edge VM的Overlay-TEP vlan網段要分開。請參考這篇文章最後一段的討論：https://blogs.vmware.com/networkvirtualization/2018/10/flexible-deployment-options-for-nsx-t-edge-vm.html/ 。可以做，但架構又變複雜了。

 

我的經驗是這樣：如果各位有在認真考慮雙網卡架構，猜想各位的機房內應該都有很多台vsphere伺服器了吧，我講的單位是近百台到數千台這種等級。如果大家的資料中心也就8台10台伺服器，手動管理也沒那麼複雜，省線省網路設備也省不了多少。別搞了，多買幾張網卡多佈幾條線吧，讓自己生活輕鬆一點。

 

但既然各位的環境非常大，採用雙網卡架構很有意義，那好歹調個四台出來做Management / Edge Cluster應該不是難事。小弟極度、強烈地建議大家這樣做。如下圖，請至少把Management / Edge獨立出來，與Compute分開。

所以在第二個步驟內，於Management / Edge Cluster內，裝完vCenter / vSphere應該是下面這樣子

上圖內大家可以看到，vSphere上面兩張網卡是用VDS（or VSS如果你喜歡的話）的傳統架構。這張圖我們同時把NSX Managers / Edge VM也畫上去，在前面系列多有敘述，相信大家應該熟悉。

 

而環境內真正佔用很多台伺服器的Compute Cluster配置呢？在各位裝完了vSphere網路初始配置完，大概是這樣的：

 

  • vmnic0配置給VSS。

 

  • Management / vMotion / Storage等vmkernel介面都運作在vmnic0上。vmnic1沒有人用（下圖內對應實際配置截圖，沒有配Storage kernel）

此時在大家的vCenter畫面內，可以看到各台Compute vSphere的網路配置是這樣的：Virtual switch內僅顯示vSwitch0 (VSS)，使用vmnic0網卡，各個vmkernel port都是接在這個Virtual switch上

下面兩張圖則顯示VMkernel adapters / Physical adapters此時的初始配置狀態，相信大家都看得懂

那麼各台vCenter / vSphere的前置配置做完了。那下一個步驟大家應該就很熟悉：

 

步驟四：安裝 NSX-T Managers （於Management Cluster），連結 vCenter

 

把三台NSX-T Managers於前面步驟配置的Management Cluster內配置出來，並且在NSX-T的介面內選擇Compute Manager，把我們環境內的vCenter建立連結。

 

到這邊我們做完了前期的準備。下篇我們會開始討論雙網卡架構在NSX-T內的對應相關配置。