Home > Blogs > Japan Cloud Infrastructure Blog > 作成者別アーカイブ: Hajime Akashi

作成者別アーカイブ: Hajime Akashi

VMworld 2014 から第 3 回 – Virtual SAN Ready Node と Hardware Guidance

VMworld 2014 からの注目セッションの第 3 回目は、Software-Defined Data Center 向けの Software-Defined Storage である Virtual SAN (VSAN)を導入する際のシステム構成に関するガイドをご紹介します。

How to Build a Virtual SAN – Virtual SAN のシステム構成について

Virtual SAN を導入するには、現在 3 つのアプローチがあります。

  1. Virtual SAN Ready Node で構成
  2. VMware Compatibility Guide に掲載されている ESXi + Vitual SAN 対応のハード、コンポーネントで構成
  3. コンバージドインフラ(統合インフラ)製品である EVO:RAIL を利用

EVO:RAIL については、本シリーズの第 2 回目に説明がありますので、今回は Virtual SAN Ready Node による構成方法と VMware Compatibility Guide を参照しながらの構成方法について説明します。

1. Virtual SAN Ready Node による構成

Virtual SAN Ready Node とは、サーバ OEM ベンダより提供される Vitrual SAN 推奨構成です。VSAN で必要となるハードウェアコンポーネント、vSphere と Virtual SAN が事前に構成されているので、システム構築時間を大幅に短縮することができます。また、構成のプロファイルとして、サーバワークロード向け(Low, Medium, High)と VDI ワークロード向け(Full Clone、Linked Clone)の 5 つのプロファイルが用意されており、導入するシステムのワークロード、規模に合わせて選べるようになっています。

VSAN-Rdy-Step1 VSAN-Rdy-Step2

 

この Virtual SAN Ready Node の構成詳細は、VMware Virutal SAN Ready Nodes  で確認可能で、8/15/2014 版のガイドでは、8 社のサーバ OEM ベンダから 40 種類の構成が Virtual SAN Ready Node として登録されています。

VSAN-Rdy-Node

Virtual SAN Ready Node としては、将来以下のようなコンフィグレーションもリリースされる計画があります。

    • Ready Nodes for Blade Servers with Direct Attached Storage
    • Ready Nodes with High Density Storage From Factors
    • Ready Nodes with Hardware Checksum Protection
    • Ready Nodes with Hardware Encryption
    • Ready Nodes with end to end 12G support
    • Ready Nodes with NVMe devices for super-charged performance
    • Ready Nodes with All Flash

2. VMware Compatibility Guide で Virtual SAN 対応のハード、コンポーネントを確認して構成

Virtual SAN は、Virtual SAN Ready Node に掲載されている機器だけでなく、Virtual SAN 動作認定されているコンポーネントを組み合わせて自由に構成することも可能です。Virtual SAN を利用するには、ホストが最小 3 台、内蔵 HDD と SSD とクラスタを構成するためのネットワークが必要となりますので、要件に合わせる形で構成していきます。

VSAN-Req

 

基本的には、導入する ESXi バージョンに対応したハードウェアで構成しますが、SSD、HDD、SAS/SATA コントローラ(ストレージコントローラ)については Virtual SAN 用の VMware Compatibility Guide  がありますので、ここに掲載のあるコンポーネントで構成します。

VSAN Build Your Own

VSAN-BYO-VCG

それでは、この VMware Compatibility Guide に沿って構成していきます。

1. I/O Controller

I/O Controller セクションで、Virtual SAN でサポートされる I/O Controller (ストレージコントローラ)と対応しているデバイスドライバが確認可能です。

VSAN-BYO-IOcontrollerリストに出てくるコントローラの詳細を確認すると、そのカードでサポートされている RAID モード(Pass-Through モードか RAID0)、ESXi やデバイスドライバのバージョンを確認することができます。

2. HDD

Virtual SAN は、SAS、NL SAS、SATA HDD をサポートし、大容量向けの 7,200 RPM、パフォーマンス向けの 10,000 RPM、より高いパフォーマンス向けの 15,000 RPM のドライブの中から構成します。

3. SSD

SSD についても、HDD 同様に Virtual SAN 対応しているもので構成する必要があります。SSD については Performance Class という項目があり、構成時に SSD のパフォーマンスを考慮する事が出来るようになっています。

Performance Class:
 Class B: 5,000-10,000 writes per second
 Class C: 10,000-20,000 writes per second
 Class D: 20,000-30,000 writes per second
 Class E: 30,000+ writes per second

4. その他のパーツ

サーバ本体(3 台以上 32 台まで)、NIC、ESXi 起動用デバイスについては、お使いになる ESXi のバージョンでサポートされているもので構成します。

Hardware Solution Guidance

ここでは Virtual SAN 用のハードウェア構成上の注意点について説明します。

起動用デバイス

ESXi 起動用デバイスについては、ESXi ホストに搭載されているメモリ容量に依存します。

  • メモリ容量が 512GB 未満
    Virtual SAN 領域とは別の磁気ディスクや SSD、容量 4GiB 以上の容量を持った SD/USB
  • メモリ容量が 512GB 以上
    Virtual SAN 領域とは別の磁気ディスクや SSD

フラッシュデバイス

Virtual SAN において、全てのリード・ライト処理は、フラッシュ階層に直接渡されます。また、Virtual SAN では、フラッシュベースのデバイスは 2 つの目的に利用されます。

  1. 不揮発性のライトバッファ(容量の 30%)
  2. リードキャッシュ(容量の 70%)

Virtual SAN においては、フラッシュデバイスの選択は、最もパフォーマンスに影響するので、製品の選択には注意を払う必要があります。

磁気ディスク (HDD)

SSD の選定と、SSD:HDD の比率は、クラスタの性能を左右します。大まかなガイドラインでは、10% となります。

ストレージコントローラ

SAS/SATA ストレージコントローラに関するガイドは以下のものがあります。

  • Pass-Through モードと RAID0 モードをサポート
  • ストレージ コントローラーのキュー深度が重要
    より深いストレージコントローラーのキュー深度はパフォーマンスを向上させる
    参考:キュー深度は、VMware Compatibility Guide で確認可能
  • ストレージコントローラがサポートするドライブ数を確認する必要がある
  • RAID0 モードを利用する場合の SSD の性能は、ストレージコントローラに依存
  • RAID0 モードの場合、ESXi はフラッシュベースのデバイスと磁気ディスクを区別できない場合がある
    その場合は、esxcli コマンドを使用し、デバイスを SSD とするフラグを立てる
    参考:Enabling the SSD option on SSD based disks/LUNs that are not detected as SSD by default (2013188)

ネットワーク

ネットワークに関するガイドは以下のものがあります。

  • 1Gb / 10Gb をサポート(10Gb を強く推奨)
    1Gb の場合は、Virtual SAN 専用のネットワークとすることを推奨
  • ジャンボフレームにより僅かながら性能向上する可能性あり
    新規デプロイの場合は有効にする
  • Virtual SAN は仮想スイッチと分散仮想スイッチをサポート
    備考:Virtual SAN のライセンスに分散仮想スイッチのライセンスも含まれます
  • ネットワーク帯域の性能は、通常のワークロードよりも、ホストの待機やリビルドに対して大きな影響を与える

最後に

VMware Compatibility Guide は、比較的頻繁にアップデートされていますので、Virtual SAN 環境を構成/構築される場合は、その都度サポート状況を確認するようにして下さい。

 

ESXi 5.1 コマンドラインによるパッチ適用

2012 年 9 月 10 日にリリースされた VMware ESXi 5.1 (ESXi 5.1) ですが、既にいくつかのパッチがリリースされています。ESXi 5.1 に対するパッチの適用方法は VMware vSphere Update Manager を利用する等、いくつか方法がありますが、今回は esxcli コマンドによるパッチの適用についてご紹介させて頂きます。

1. パッチの入手

ESXi 5.1 のパッチは Product Patches のサイトからダウンロード可能で、2013/06/12 時点の ESXi 5.1 最新パッチは ESXi510-201305001 となります。ESXi のパッチはパッチリリース時点における ESXi が動作するのに必要な VIB ファイルを全て含める形(これをオフラインバンドルと呼びます)で配布されており、ESXi 5.1 GA 版(ESXi 5.1 最初のリリース、Build# 799733) に対して最新のパッチを適用した状態にするには、これまでにリリースされたパッチを順に適用する必要は無く、一番直近にリリースされたパッチを適用するだけで十分です。

2. パッチの適用

ESXi の起動イメージは、イメージプロファイルで管理されています。パッチには ESXi が起動するのに必要な VIB ファイルやイメージプロファイルが含まれていますので、パッチ適用はこのイメージプロファイルを指定して行ないます。

2-1. パッチ適用前の ESXi Version の確認


  ~ # esxcli system version get

  Product: VMware ESXi

  Version: 5.1.0

  Build: Releasebuild-799733

  Update: 0

2-2. ESXi5.1 GA 版の Profile 情報の確認

  ~ # esxcli software profile get

  ESXi-5.1.0-799733-standard

  Name: ESXi-5.1.0-799733-standard

  Vendor: VMware, Inc.

  Creation Time: 2013-03-18T18:49:38

  Modification Time: 2013-03-18T19:26:58

  Stateless Ready: True

  Description:

  The general availability release of VMware ESXi Server 5.1.0

  brings whole new levels of virtualization performance to

  datacenters and enterprises.

  VIBs: ata-pata-amd 0.3.10-3vmw.510.0.0.799733, ata-pata-atiixp 0.4.6-4vmw.510.0.0.799733,
  ata-pata-cmd64x 0.2.5-3vmw.510.0.0.799733, ata-pata-hpt3x2n 0.3.4-3vmw.510.0.0.799733,
  ata-pata-pdc2027x 1.0-3vmw.510.0.0.799733,…途中省略…, uhci-usb-uhci 1.0-3vmw.510.0.0.799733

2-3. パッチに登録されているプロファイルの確認

  ~ # esxcli software sources profile list -d /var/tmp/ESXi510-201305001.zip
  Name Vendor Acceptance Level
  ——————————- ———— —————-
  ESXi-5.1.0-20130504001-standard VMware, Inc. PartnerSupported
  ESXi-5.1.0-20130504001-no-tools VMware, Inc. PartnerSupported

  ここで、2 つあるプロファイルのうち、ESXi-5.1.0-20130504001-standard を使用します。
参考までに ESXi-5.1.0-20130304001-no-tools は、VMware Tools (tools-light vib) が含まれないプロファイルとなり、これを Auto Deploy 等の起動イメージ等で利用するとシステムの起動時間を短くできるといった利点があります。

2-4. パッチ適用のための事前検証

 esxcli コマンドの profile オプションには –dry-run オプションがあり、これで追加される VIB、削除される VIB、変更されない VIB、再起動の有無ができます。

  ~ # esxcli software profile update –dry-run -d /var/tmp/ESXi510-201305001.zip -p ESXi-5.1.0-20130504001-standard
  Update Result
  Message: Dryrun only, host not changed. The following installers will be applied: [BootBankInstaller, LockerInstaller]
  Reboot Required: true
  VIBs Installed: VMware_bootbank_esx-base_5.1.0-1.13.1117900, VMware_bootbank_esx-xserver_5.1.0-0.11.1063671,
  VMware_bootbank_ipmi-ipmi-si-drv_39.1-4vmw.510.1.12.1065491,…途中省略…, VMware_bootbank_uhci-usb-uhci_1.0-3vmw.510.0.0.799733

2-5. パッチの適用

  プロファイルの情報を使ってパッチを適用します。

  ~ # esxcli software profile update -d /var/tmp/ESXi510-201305001.zip -p ESXi-5.1.0-20130504001-standard
  Update Result
  Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.
  Reboot Required: true
  VIBs Installed: VMware_bootbank_esx-base_5.1.0-1.13.1117900, VMware_bootbank_esx-xserver_5.1.0-0.11.1063671,
  VMware_bootbank_ipmi-ipmi-si-drv_39.1-4vmw.510.1.12.1065491,…途中省略…, VMware_bootbank_uhci-usb-uhci_1.0-3vmw.510.0.0.799733

  上記コマンド終了後、ESXi ホストの再起動を行うことでパッチ適用作業が完了します。

2-4. パッチ適用後の ESXi Version の確認

  ~ # esxcli system version get
  Product: VMware ESXi
  Version: 5.1.0
  Build: Releasebuild-1021289
  Update: 0

  ~ # esxcli system version get
   Product: VMware ESXi
   Version: 5.1.0
   Build: Releasebuild-1117900
   Update: 1

2-5. パッチ適用後のプロファイルの確認



  ~ # esxcli software profile get
  (Updated) ESXi-5.1.0-799733-standard
   Name: (Updated) ESXi-5.1.0-799733-standard
   Vendor: esxi
   Creation Time: 2013-06-12T06:58:50
   Modification Time: 2013-06-12T07:24:52
   Stateless Ready: True
   Description:

   2013-06-12T06:58:49.976056+00:00: The following VIBs are
   installed:
   scsi-megaraid-sas 5.34-4vmw.510.1.12.1065491
   ipmi-ipmi-si-drv 39.1-4vmw.510.1.12.1065491
   net-e1000e 1.1.2-3vmw.510.1.12.1065491
   esx-base 5.1.0-1.13.1117900
   net-bnx2x 1.61.15.v50.3-1vmw.510.0.11.1063671
   net-igb 2.1.11.1-3vmw.510.1.12.1065491
   net-ixgbe 3.7.13.6iov-10vmw.510.1.12.1065491
   misc-drivers 5.1.0-1.12.1065491
   net-tg3 3.123b.v50.1-1vmw.510.1.12.1065491
   esx-xserver 5.1.0-0.11.1063671
   tools-light 5.1.0-1.12.1065491
   net-bnx2 2.0.15g.v50.11-7vmw.510.1.12.1065491
   ———-
   The general availability release of VMware ESXi Server 5.1.0
   brings whole new levels of virtualization performance to
   datacenters and enterprises.

   VIBs: ata-pata-amd 0.3.10-3vmw.510.0.0.799733, ata-pata-atiixp 0.4.6-4vmw.510.0.0.799733,
    ata-pata-cmd64x 0.2.5-3vmw.510.0.0.799733,…途中省略…, uhci-usb-uhci 1.0-3vmw.510.0.0.799733

以上でパッチ適用作業は終了です。

3. まとめ

今回は、esxcli コマンドを使ったパッチ適用方法についてご紹介しました。パッチ適用時に、主に単独のドライバ VIB インストールに利用する install オプションを使い、下記のようにコマンドを実行すると、インストール後のイメージが予期せぬ VIB を含む(または削除された)物になる場合があります。

  ~ # esxcli software vib install / update -d /var/tmp/ESXi510-201305001.zip

特に個別にドライバをインストールしている環境や OEM 版 ESXi イメージがインストールされている環境に対して、install オプションを使用して作業を行うと、システムイメージが、パッチに含まれる VIB パッケージに入れ換わってしまいますので、標準のパッケージに含まれないドライバを必要とする NIC やストレージで構成されているシステムでは、パッチ適用後にネットワークやデータストアにアクセスできなくなるといった事態に陥ってしまいますのでご注意ください。

なお、esxcli コマンドを使ったホストのアップグレードについては、マニュアル、KB 等もご参照下さい。

参考マニュアル
vSphere のアップグレード
esxcli コマンドを使用した、ホストのアップグレード

vSphere Command-Line Interface Reference
esxcli software command

参考 KB
VMware Security Patching Guidelines for ESXi and ESX (2020972)
Image Profiles of ESXi 5.0 Hosts (2009231)
Correlating vCenter Server and ESXi/ESX host build numbers to update levels
 (1014508)