みなさま、こんにちは！！アステック株式会社の中平(左)と坂本(右)です。

アステック株式会社は大阪に本社をかまえ、制御系システムソフトウェア開発を中心とした「ソフトウェア開発」部門と、IT インフラのネットワーク設計、セキュリティシステムの設定からハードウェア・ソフトウェアの販売・導入・保守メンテナンス等まで対応している「IT ソリューションビジネス」部門の二本柱を中心とした事業を行っております。
https://www.astec-corp.co.jp/

今回は世間で仮想化基盤のデファクトスタンダードとなっている HCI Powered by vSAN の新しい使い方「複数拠点向け 2 ノード vSAN のバラ撒き構成」をご紹介します。
こちらの記事は日本製薬様というお客様へ実際に導入した実体験を基に、具体的な構成や構築のポイントなどをお伝えします。
※事例化の記事は以下のリンクを参照ください。
https://vmware-juku.jp/casestudy/nihon-pharm/

◆案件の概要

各拠点で点在していた NAS および物理サーバーを 2Node vSAN にリプレース
拠点ごとに個別管理していたインフラを、中央の vCenter Server から集中管理
各拠点の NAS ストレージは、2 Node vSAN 上に構築した Netapp Ontap Select へリプレース
バラ撒かれた2 Node vSAN 上の Netapp Ontap Select は中央の Netapp ストレージとレプリケーションすることでデータの DR も実現

1. 複数拠点向け 2 Node vSAN 構成とは？

2 Node vSAN といえば小規模の環境でサーバーとストレージを統合するためのソリューションと思われがちかもしれませんが、実は複数拠点を展開している企業での利用も最適です。

複数拠点をお持ちのお客様で拠点ごとにストレージや NAS を配置しているパターンは結構ありませんか？
その使い方だと拠点ごとの個別管理で運用負荷が増えていく原因にもなります。
そこで 2 Node vSAN を各拠点にバラ撒いて運用をすると、中央から集中管理が可能になり、運用の効率化と負荷軽減を実現することが可能です。

2. 導入構成の Before / After の紹介

2 Node vSAN を各拠点にバラ撒いて、本社やデータセンターに配置した vCenter Server から集中管理するときのネットワーク構成の詳細が書かれた資料は少ないと思いますのでここでは実際の構成をもとに紹介したいと思います。

導入前の構成

以前の構成は各拠点に物理サーバー1台とファイルサーバー用の NAS を配置して、本社に配置した NAS ストレージとデータミラーリングを行っていました。
各拠点は単体の物理サーバーで運用していますので冗長化はされていませんでした。

導入後の構成

以下が 2 Node vSAN を各拠点に展開したときのネットワーク構成になります。
2 Node vSAN を採用することで、以下のメリットを各拠点に提供できるようになっています。
・拠点のサーバーとストレージ管理をデータセンター側から集中管理できる
・仮想化により vSphere HA による冗長化ができる
・拠点で H/W を新規購入することなくサーバーを構築できる

また、拠点の vSAN ノードの管理インターフェースから Witness 通信をさせるように設定をするという点と、必要に応じてデータセンター側の vSAN Witness アプライアンスと通信ができるようにStatic Route を設定することを忘れないでください。
[ESXi ホストの Witness 通信設定変更コマンド]
例) esxcli vsan network ip add -i vmk1 -T=witness
https://storagehub.vmware.com/t/vmware-vsan/vsan-2-node-guide/vmkernel-interfaces-witness-traffic/
[ESXi ホストの Static Route 設定コマンド]
例) esxcfg-route -a 192.168.100.0/24 192.168.0.1
https://kb.vmware.com/s/article/2001426?lang=ja

3. vSAN バラマキ構成でメリットの出し方

今回の導入でどのようにしてメリットを出したのかをポイントをわけてご紹介します。

3-1. 各拠点の個別管理から集中管理へ移行したいなら vSAN バラマキ構成がベスト

vSAN のばら撒き構成のメリットにはサーバーとストレージの集中管理ができる点にあります。
以下の図は vCenter Serverのログイン画面です。
1つの画面上で全拠点の仮想サーバーの管理はもちろんのこと、ストレージの状況や管理まで行えるため、各拠点に IT 要員を配備しなくても運用ができるようになります。

3-2. 拠点で物理サーバーを運用しているなら 2 Node vSAN への移行がベスト

今回のケースではもともと拠点側では NAS と物理サーバーで運用している環境でした。
「2章導入構成の Before / After の紹介」にあるように、リプレース前の構成では拠点内のサーバーは冗長構成が取られていません。
この環境で仮想環境へ移行するために、サーバーとストレージの新規購入をすると大幅な費用追加を求められます。
こういった環境では 2 Node vSAN にすることで、実際にかかるハードウェアコストを70%まで削減することができました。
以下の画像の赤枠で囲った部分のコストを下げることができます。

もし拠点で物理サーバーを運用している方で、今後仮想環境に変えたいと考えている場合は、3 Tier ストレージ構成ではなく 2 Node vSAN での構成を検討ください。
コスト面 + 運用負荷 + 利便性 などの様々な面でメリットを感じられるはずです。

3-3. コストメリットを出すなら vSAN ノードを手組みで構成するのがベスト

vSAN はアプライアンス型、Ready Node 構成、DIY (手組み構成)がありますが、様々な要望に応えつつコストメリットを出すなら Ready Node 構成と手組み構成の組み合わせがベストです。
具体的な構成方法は VMware が提供している vSAN ハンズオンの中で紹介していますので興味ある方はご参加ください。
※以下のリンクから vSAN ハンズオン資料を取得できます。資料中でもやり方を記載しています。
https://vmware.my.salesforce.com/sfc/p/400000009hQR/a/34000000U33i/VXl.gqTrh8UplMS_8h8le96cN61WQgpj9.Ox10UiW0w

今回の案件で採用した構成は最適なコストパフォーマンスを出すために、Ready Node 構成と DIY 構成を組み合わせています。
これは各ハードウェアメーカーが検証することで動作確認が取れている Ready Node 構成を、要件に応じて一部のパーツだけを認定の取れているパーツへ変更するという部分的な手組み構成を組み合わせています。

この組み合わせによるメリットはハードウェアの大半が検証済みの構成を採用できるので安定的な稼働を受けられると共に、CPU / Memory / ディスクサイズ(キャッシュ、キャパシティ)などを要件に合わせて柔軟に変えられることで、パフォーマンスとコストメリットの両立を実現できることです。

今回の構成では、2 Node vSAN 上に Netapp Ontap Select を実装して、ファイルサーバーとして利用しています。
課題はファイルサーバーを動かすためのディスク容量が必要になるという点はもちろんのこと、快適に利用するためにキャッシュも大容量であることが求められます。
そこで今回の案件では Ready Node 構成に対して以下のような変更をすることで仮想基盤 & ファイルサーバー基盤の両方の要件を満たせる構成を実現しました。

今回のポイントは廉価で高速かつ大容量の SSD をキャッシュに採用して、高速な仮想ストレージを実現するところにあります。
Hybrid 構成の vSAN を採用したため Read Cache が70% 、Write Cache が 30% となります。
今回は1ノードあたり 1.92TB SSD を使用しますので以下の容量になります。
Read Cache のサイズ ⇨ 1.92TB * 0.7 (Read Cache 割合) = 1.34TB
Write Cache のサイズ ⇨ 1.92TB – 1.34TB (Read Cache サイズ) = 580GB
これだけの容量があれば仮想基盤とファイルサーバーを共存しても安心ですね!!
※キャッシュ構成の情報は以下の VMware ブログを参照ください。
https://blogs.vmware.com/vmware-japan/2016/04/vsan_04.html

そして、性能指標でも Read IOPSが57,000 で Write IOPS が27,000 ということで、十分に収容可能であることが確認できます。
https://www.hpe.com/au/en/product-catalog/servers/server-solid-state-drives/pip.specifications.hpe-1dot92tb-sata-6g-read-intensive-sff-2dot5in-sc-3yr-wty-digitally-signed-firmware-ssd.1010129362.html
もし vSAN 導入時のコストでお悩みの際は、手組みの vSAN でコストの最適化を検討してみてください。

4. 構築時のポイント

最後に 2 Node vSAN ばら撒き構成を構築する際のポイントをいくつかご紹介します。

・2 Node vSAN クラスタ 1つに対して、vSAN Witness アプライアンスが1つ必要です。今回の構成は 3拠点に vSAN ノードをバラ撒いていますので、データセンターに Witness アプライアンスを3台展開しています。

・拠点内の vSAN ノードを10G NIC 直結で構成する場合は、Witness アプライアンスに疎通可能なインターフェースに、vSAN Witness 通信のタグをつけるようにしてください。
※詳細な構成は世界で70名ほどしかいない vExpert-vSAN の一人である「Captain 大塚」ことSBC&S 大塚正之さんのブログも参照してみてください。
https://vm-fun.blogspot.com/2019/04/2-node-vsan.html

・2 Node vSAN の障害時の挙動を知りたいという方向けに良いブログを見つけました。
vExpert-vSAN の一人である SBC&S 稲葉直之さんのブログで障害時の挙動がサマリにされており、とても見やすいのでそちらを抜粋しつつ紹介します。
https://www.dell.com/support/article/jp/ja/jpdhs1/sln313110/

今回のブログでは 2 Node vSAN の構成や導入に関する情報を書かせていただきました。
お役に立つ情報がまたありましたらこちらでご紹介させていただきますのでご期待ください。