作者： Colin Jao 饒康立 – VMware資深技術顧問，主要負責VMware NSX 產品線，目前致力於網路虛擬化暨分散式安全防護技術方案的介紹與推廣。

接續前面的網誌，本篇我們要討論一個議題：如果我們想要把兩個資料中心間的多個業務網路二層連通，此時可以怎麼做？用NSX與其他方案間的優缺點是什麼？

但討論前，我們要先開宗明義強調一件事：這邊我們僅僅討論業務虛機間的二層網路連通，不討論vSphere資源池底層網路。我們這邊談到的底層網路，包含vCenter / vSphere間連接的管理網路 / vMotion網路 / vSAN網路或是與儲存設備間接取的網路。這些都是資源池的Infrastructure，一定是用企業的實體網路設備提供，不能用NSX邏輯網路。同樣的，跨中心的這些Management / vMotion / Storage網路，也是由線路服務供應商提供連接，不會採用NSX。

那企業環境內的多個資訊系統所使用的業務網路 (Application Network or Business Network)，要跨中心二層相連時，用不同技術的優缺點是什麼？直接拉光纖嗎？與線路服務提供商租用嗎？用硬體設備來封裝嗎？用NSX的邏輯交換器呢？用L2VPN呢？

與線路服務提供商租用二層線路：

這邊可能包含租Dark-Fiber / 租用DWDM / 租用VPLS等等不同方法。總之，花錢給線路服務提供商，要多少頻寬給多少頻寬，服務提供商直接把線路兩端拉到不同資料中心的客戶網路交換器，大二層直接打通。像下面這樣

這是很多大型企業目前有採用的方法。但是，可能要考慮

  • 這個方式，會真正把數十個或數百個二層業務網路延伸到多個資料中心，每個業務網路的Broadcast Domain變得很大，要進行這堆業務VLAN Spanning-Tree管理的設備會相當多。簡而言之，廣播風暴造成業務停擺的風險會大幅提高，Spanning-Tree的管理會相當複雜。好，我知道各位的服務提供商、網路設備原廠與SI會和大家打包票，廣播風暴不會發生。個人的經驗是，平均每三個月到半年，我就會從某個客戶端聽到又有哪家公司跨中心底層出現廣播風暴，服務掛掉一整天，然後認真的開始討論要將跨中心間的網路架構由二層調整成三層
  • 如果業務網路很少而且很固定，那一次安裝後，維運的麻煩應該不大。但是如果業務網路架構時常異動，比如說今天多了個新業務要上線加幾個網段，下星期有個新租戶的應用要兩個網段，此時維運面的麻煩就會很大了。考慮一下：要加一個新VLAN，要異動的設備可能包括企業自己的跨中心多台交換器，也很可能會包括服務提供商那邊的設備調整。要申請、要時間、要配置，大家整天做這件事就好了。
  • 尤其是雲服務提供商與大型金融機構，當業務網路因為多租戶多業務系統而要求的數量越來越多時，VLAN上限4096的問題就會逐漸浮現了。

如果企業只有少數、不常異動的實體網路要二層跨網段，通常不會有太大的問題。但如果大量的Application Network都規劃要跨中心，此時用實體網路的方法可能就會在維運面上常出現狀況了。

與線路服務提供商租用三層實體線路，以實體交換器支援的L2-over-L3技術建立跨中心網路：

如果和Service Provider租用的是三層線路，一般來說在跨Site間網路會比較穩定也較不會有廣播風暴產生。而二層業務網路要跨中心間的三層實體網路連通，可以考慮使用實體交換器上支援的L2-over-L3的封裝技術來提供，常見的像是Cisco的OTV (Overlay Transport Virtualization)技術，或是現在也會透過實體交換器上的VXLAN+BGP (EVPN) 的方式來運作。

這同樣是很多大型企業採用的方法。但同樣地，要考慮

  • 不是每台網路設備都能支援這些技術，可能是專屬設備，而具備這些能力的硬體交換器通常也不便宜
  • 如果前面談到的，若業務網路很少而且很固定，這個方案應該很穩定。但是如果業務網路天天有新需求要異動，網路Team這邊維運的Effort會相當大。
  • 這類技術會碰到一個麻煩狀況：既然需要採用封裝，原來的網路封包就會變大，這代表中間的實體線路必須支援大封包 (Jumbo Frame) 通過。當封裝是限制於同一個企業自己的資料中心內時，這個問題通常不大，是網路Team可以自己解決的；但當Jumbo Frame要通過中間的跨中心線路時，服務提供商能不能配合進行相關調整，就是大問題了。真的有聽過相關專案卡在這裏的限制，而被迫要變更架構的。

與線路服務提供商租用三層實體線路，用NSX的Logical Switch方式技術建立跨中心網路：

優點很明確：NSX的Logical Switch可以快速、大量的建立，維運非常單純，異動時也不需要更動任何底層網路設備或線路的配置。有多個租戶、多個業務要大量產出跨中心二層網路時，用NSX的邏輯交換器是維運極為單純的方法。

而另外兩個重要優點，但我在這邊先不談的，是採用NSX時，能夠利用Logical Router達成跨中心間的路由最佳化，以及藉由Distributed Firewall取得虛機在雙中心間遷移或災備切換時，不需要調整防火牆政策。這邊的跨中心三層與四層網路的好處，是前面的實體網路或實體設備方案無法達成的。

但我想特別highlight的是缺點。我和很多經銷夥伴的架構師與VMware SE討論過相關議題，要純粹用NSX的邏輯交換器來建立完整的跨中心二層網路，是極不容易的。主要有下面原因

  • 邏輯交換器可以建立多個資料中心”虛機”間的二層連接。但是，這技術目前只服務虛機，如果大家還要把兩個資料中心間的實體設備也透過這方式二層連在一起…那就沒辦法了。但誰的資料中心沒有實體機呢？
  • 邏輯交換器底層用VXLAN，一樣要Jumbo Frame，一樣要確認服務提供商租用的三層實體線路能夠支援大封包才行。
  • 前面有提到，虛擬資源池的”底層基礎網路”，像是management / vMotion / Storage等等線路，都還是必須要用實體VLAN提供。

我們目前看到客戶在這邊的應用，NSX Logical Switch主要使用在”虛擬環境”內的二層線路連通，像是虛擬化的測試雲，虛擬資源池的業務機器災備等等。簡而言之，邏輯交換器的應用範圍請限制在vSphere資源池內，而不要想像其可以取代資料中心內與之間的基礎實體網路設備功能。只要使用情境正確，這個機制是能夠相當順利落地應用的。

與線路服務提供商租用三層實體線路，用NSX的L2VPN技術建立跨中心網路：

NSX內的L2VPN技術有兩個重要的優點：

  • 沒有MTU限制。在很多跨中心環境內如果線路服務提供商無法提供Jumbo Frame，除了重新拉線外，這很可能是將兩邊二層線路連通的唯一方法
  • 可以支援實體業務機器的二層互聯：L2VPN兩端可以做VLAN-VLAN / VXLAN-VXLAN / VLAN-VXLAN不同方式的橋接，因此利用這樣的機制，不僅僅是虛機，也同樣可以把兩個資料中心的實體VLAN串接起來。

L2VPN方法的問題是：

  • 類似實體環境，管理者得要一對一對網路手動接起來。業務網路少的時候沒問題，業務網路多又快速異動時，維運與配置會很辛苦
  • 頻寬有上限，考量到用軟體虛機加解密等要求，目前NSX單對L2VPN的頻寬上限約為1.4 Gbps。

好，我要說的是，光問”兩個資料中心間網路要怎麼連”，這是一個超大的題目。不同的情境，會有不同的選擇。事實上，這和建置單一資料中心要確認的需求很像。如果在兩個資料中心間，要打通的二層業務網路數量並不多，新增、異動的需求也不大，通常我們也不用想太多新技術，與網路Team及服務提供商溝通好需求，一次性將實體線路與設備安裝完成即可。

但如果你要規劃的方案，符合下面的情境：

  • 極為高度虛擬化的兩地以上資料中心，業務系統、測試環境、或租戶異動快速，具備大量業務網路跨中心需求
  • 搭配SRM、具備複雜業務網路與安全配置的主從雙中心
  • 第二個資料中心是架構為vSphere的混合雲環境，像是vCAN Partner所提供的公有雲服務，或是即將提供的VMware Cloud on AWS等等。

這時候，建立跨中心基礎實體網路連線後，用NSX來提供業務網路跨Site接取當然是最合理也最有效益的選擇。

下篇網誌內，我們要繼續和大家討論NSX在Cross-vCenter內的方案架構為何。