posted

0 Comments

作者: Colin Jao 饒康立 – VMware資深技術顧問,主要負責VMware NSX產品線,目前致力於網路虛擬化暨分散式安全防護技術方案的介紹與推廣。 

 

安裝流程請參考NSX Installation and Upgrade Guide…結束。

 

啊啊啊,當然沒有結束。不過這邊主要與各位要進行分享的並不是細部的安裝指令,而是NSX在進行安裝的主要步驟,以及各步驟間一些需要留意的重點。下圖是NSX主要安裝流程大要:

 

圖一:NSX安裝流程

 

以下逐步就各個步驟進行討論

 

步驟一、接取vSphere Host之實體網路交換器組態設定: 

 

前一篇網誌內我們有列出NSX環境內接取vSphere的實體網路交換器有哪些設定必須預先建立,請先行參閱。這邊我們不厭其煩地要特別重複列出的是幾個特別針對NSX的設定一定不要忘記:

 

  • 要建立一個獨立的VLAN提供VXLAN的封包進行傳輸,不要與Management / vMotion / Storage…這邊的VLAN混用
  • 這個VLAN必須要開Jumbo Frame,MTU至少大於1600
  • 如果是production環境,請開IGMP snooping功能 (For Hybrid Mode L2 Multicast)

 

步驟二、vSphere / vCenter的安裝與設定:  

 

客官啊,如果vSphere / vCenter裝不起來的話,請先去參加vSphere ICM的課程…vSphere / vCenter裝不起來NSX也是一定裝不起來的啊…

 

步驟三、vSphere Distributed Switch的安裝與設定: 

 

vSphere Distributed Switch是安裝NSX的必要條件,如果環境內僅有vSphere Standard Switch,NSX的Kernel Module無法安裝到各台vSphere Host上。因此進行NSX安裝前,請務必先將vDS的功能啟用。

 

如果各位對於vDS的概念、安裝、與設定並不是非常清楚,下面所列的網址可供大家進行參考:

 

 

在此步驟內,我們應該在vCenter的Data Center內將Distributed Switch建立起來,將各台vSphere Host加入vDS並且設定dvUplink。同時各個vSphere Host的VMKernel包括management IP / vMotion / Storage…等等也都應該被轉移到Distributed Switch的對應port group上。

 

步驟四、NSX Manager的安裝與設定: 

 

若企業有購買NSX License,NSX Manager本身會以OVA的Virtual Appliance方式可提供下載。因此在此步驟內,我們應該將NSX Manager依據標準的OVA格式匯入方式,於Management Cluster環境內建立NSX Manager的VM。匯入過程中會詢問包括IP位址、主機名稱、Command Line密碼等等資訊。匯入完成並開機後,管理者就可登入NSX Manager的Web管理介面,進行下一步的管理設定,包括

 

  • NTP / Syslog / 時區設定
  • DNS或是其他現有網路位址設定的變更
  • 若要採用企業本身的憑證,可簽發CSR並由企業本身CA或第三方憑證中心進行認可
  • 管理作業如備份、回復、升級等設定
  • 對應vCenter Single-Sign-On Service的Lookup Service設定
  • 最重要的是要對vCenter進行註冊,於註冊的同時安裝NSX Plugin於vCenter,管理者就可以由vSphere Web-Client進行NSX的管理

 

在NSX Manager註冊完成後,我們應該於NSX Manager的管理畫面內看到於vCenter Server的設定內出現Connected的綠燈,同時於vSphere Web Client連結vCenter時,也會看到NSX的圖示出現於主畫面,如下方兩張圖

 

圖二:NSX Manager已與vCenter註冊完成

 

圖三:vSphere Web Client內出現NSX圖示,可以進行NSX相關設定

 

步驟五、NSX Controller的安裝與設定: 

 

如果我們要用到邏輯交換器與邏輯路由器等功能,NSX Controller當然是必要的元件。在NSX頁面作業項目的Installation下,第一件要做的事情就是進行NSX Controller的安裝。幾件事情再次提醒一下:

 

  • 現行的NSX版本內,無論是生產或是測試環境,NSX Controller就是三組,應該分散部署在三台不同的實體vSphere伺服器上
  • NSX Controller的密碼只有在第一次安裝NSX Controller時會詢問,第二台、第三台就都不會問了,後續也不容易做修改。因此請務必要記清楚這個密碼,如果忘記了…那就要打掉重練了…不要忘記啊
  • NSX Controller應該置放於Management Cluster內
  • NSX Controller所接取的實體網路應該要能夠與NSX Manager連通,也可以與vSphere Host進行連通。
  • 於NSX Controller建立時需要一組IP Pool進行IP的設定。這個IP Pool裡面的IP不用多,三個就好。如前面所述,NSX Controller最多就需要三台。

 

圖四:NSX Controller安裝完畢並正常運作

 

步驟六、各vSphere Host上的NSX Kernel Module安裝: 

 

在這個步驟內(Host Preparation),實際上的動作是將負責邏輯交換器、邏輯路由器、分散式防火牆等NSX Kernel Module安裝到各個vSphere Host上,讓各伺服器的hypervisor也具備分散式的網路功能。因此管理者要選取需要安裝此功能的vSphere Cluster,NSX Manager就會自動將相關的VIB檔安裝至Cluster內的vSphere Host。安裝完就會顯示安裝狀態為Ready,如下圖

 

圖五:NSX Kernel Module已安裝至各台vSphere Host上

 

步驟七、各vSphere Host上的VTEP安裝: 

 

如前網誌所述,若要採用邏輯交換器功能,各台vSphere Host上必須要有VTEP (VXLAN Tunnel End-Point) VMKernel介面,作為各台Host封裝並傳輸VXLAN封包的實體介面。在設定VTEP時,最重要須注意的考量點包括

 

  • VTEP這個介面要設定VLAN為實體交換器內設定的對應VXLAN ID
  • 請先決定好VTEP往實體網路間的接取負載共享機制是什麼?是否要採用LACP / Ether-Channel等功能?在vDS內有支援好幾種不同的負載共享機制,簡單分析如下:

–       如果單個實體介面就已經足夠提供VXLAN使用,比如說一個10G的網路埠介面,此時採用Explicit Failover Order機制是最單純的方法

–       如果要同時採用多個實體介面共享,第一個方式是在實體交換器上有設定LACP or Ether-Channel。此時在VTEP設定時就應該選擇對應的LACP or Route based on IP Hash方式。這是生產環境內推薦的方式,但前提是實體交換器要具備並設定此功能

–       第二個方式是直接採用Route Based on Originating Port / source MAC hash。這邊的方式於實體交換器無需LACP設定,但會於vSphere Host上產出多個VTEP VMKernel,有幾個實體介面就生幾個。作業上沒問題,但troubleshooting就會因為每台vSphere Host上有多個VTEP 變得複雜了。

–       傳統vDS環境內最建議採用的LBT模式(Load-Based Teaming)在NSX目前版本不支援

 

當VTEP安裝完成,於NSX介面內可看到各台vSphere Host上的對應VM Kernel IP / MTU / Teaming Policy的設定如下

 

圖六:VTEP已經設定完成

 

更重要的,此時應該要做一個測試:各台vSphere Host間利用VXLAN封包,以1600 MTU對ping VTEP介面是否可以連通。這邊是後續邏輯交換器可否正常運作的重要測試。管理者應該登入vSphere Host Command Line,並且執行下列指令:

 

~ # ping ++netstack=vxlan –d –s 1572 <other host VTEP-IP>

 

上面的參數內,++netstack=vxlan代表要走VTEP的TCPIP Stack介面,-d代表送出的封包不允許做切割(Don’t Fragment),-s 1572代表ICMP封包大小為1,580 (ICMP header 8 bytes),因此IP封包為1,600 bytes

 

比如下圖內,我們登入10.4.129.1這台Host,由這台Host去ping 192.168.102.2 (10.4.129.2 Host的VTEP IP)。必須要看到走VXLAN且MTU=1600的封包在VTEP介面間可以連通,才能確定VTEP的設定以及實體交換器內的設定均正確且完成。

 

圖七:vSphere Host間以MTU 1600互ping VTEP介面可連通

 

 

 

 

步驟八、VXLAN IDTransport Zone的安裝: 

 

VXLAN Segment ID的設定會告知NSX Manager當用戶建立一個新的邏輯交換器時,邏輯交換器的VXLAN ID可以被安排的範圍。Transport Zone則是告知NSX Manager一個邏輯交換器可以跨越的伺服器範圍,以及所採用的封包複製模式。其中,

 

  • 如果一個Data Center內有多個Cluster,我們可以利用不同的Transport Zone來區分不同的邏輯交換器運作範圍包含哪些Cluster內的vSphere Host
  • Transport Zone的封包複製模式就是我們在之前網誌內談到的BUM Traffic處理機制。如果是PoC環境,建議採用Unicast。大型的生產環境則建議採用Hybrid模式

 

步驟九、Security Service的安裝: 

 

如果我們需要使用到3rd party方案的安全服務或是NSX內建之用戶識別防火牆或資料掃描功能,會需要進行Security Service的安裝。這邊我們先賣個關子,到後面與大家報告NSX的安全防護功能時再進行說明。

 

希望藉由上面的重點提示,搭配標準的安裝文件,能讓大家更清楚NSX的安裝方式。後續我們要回到功能面的介紹,由邏輯路由器的功能開始繼續與各位進行報告。