超融合架构

VMware vSAN OSA & ESA 技术简介

在我们的上篇博文“vSAN 8 开启超融合新纪元”中,我们回顾了 vSAN 发展的时代背景,并展望了全新的 VMware vSAN 8™,在这个版本中,我们在 Original Storage Architecture™ (OSA) 引入了革命性的 Express Storage Architecture™ (ESA)。在经过验证的 vSAN ReadyNode 服务器上运行时,能够充分发挥现代硬件的功能和性能,这使得 vSAN ESA 在提供最高级别的可扩展性、弹性和数据服务的同时,并不影响性能表现,真正实现功能和性能合二为一,完美适配传统和新兴工作负载的运行需求。

接下来,有请我们今天的主角 vSAN Original Storage Architecture™ (OSA) 和 vSAN Express Storage Architecture™ (ESA),让我们一探究竟!

vSAN Original Storage Architecture™ (OSA)

vSAN OSA 是在 vSAN 8 之前的 vSAN 版本架构基础上更新发展而来的,它同样使用双层架构,使用市场上广为存在,且通过兼容性验证的高速闪存 SSD 作为缓存层,加上 HDD 或 SSD 作为容量层的架构提供 HCI 集群存储资源,这点相信熟悉原有 vSAN 架构的大家都不陌生。 VMware 了解我们的客户已经为此进行了大量投资,所以 vSAN OSA 的存在是必要的,并且在未来的很多年也会存在,VMware 将继续为此提供更新和服务支持。

此次 vSAN 8 OSA 升级内容概述:

  • 对于全闪存配置的服务器,vSAN OSA 将缓存设备 (Cache) 的逻辑大小从 600GB*1 增加到 1.6TB。对于我们的许多已经拥有更大设备的客户而言,这意味着在其运行 OSA 的 vSAN 8集群中能够获得提高性能一致性水平的潜力。
  • 在使用带有 OSA 的 vSAN 8 运行 HCI Mesh*2 时,我们将支持相互连接的服务器和客户端集群的最大数量从 5 个增加到 10 个。
  • 在使用带有 OSA 的 vSAN 8 运行文件服务*3时,我们引入了多项增强功能,可改善日常操作和可用性。

备注:

  1. 在 vSAN 8 之前的版本中,vSAN 磁盘组中的缓冲设备的逻辑限制为 600GB。 在全闪存 vSAN 集群中,整个容量(最多 600GB)都保留用于写入缓冲。缓冲层充当缓存,用于存取尚未落盘到容量层的数据。虽然缓冲设备存在 600GB 的逻辑限制,但是相对于闪存刚面世时奇货可居的情况,现在大于 600GB 的设备已经很容易获得并且在大量的客户场景中广泛使用。得益于 vSAN 数据算法,大容量缓冲设备的优势,不仅体现在高压力并发时更好的存取效率,同时也提高闪存设备的写入耐久性。
  2. vSAN HCI Mesh 是一种独特的、基于软件的方法,用于解绑计算和存储资源。它允许一个或多个 vSphere 或 vSAN 集群从 vCenter 清单中的其他 vSAN 集群远程挂载数据存储。这种方法并不改变现有的 vSphere 或 HCI 架构,但支持从远程 vSAN 集群分享存储资源。
  3. vSAN 文件服务是指位于 vSAN 之上且可提供文件共享的层。目前支持 SMB、NFSv3 和 NFSv4.1 文件共享。vSAN 文件服务由 vSAN 分布式文件系统 (vDFS) 和存储服务平台组成,前者通过聚合 vSAN 对象来提供可扩展文件系统,后者提供弹性文件服务器端点和控制平面以用于部署、管理和监控。文件共享已集成到基于现有 vSAN 存储策略的管理功能中,并且是基于每个共享进行集成。vSAN 文件服务引入了直接在 vSAN 集群中托管文件共享的功能。

vSAN Express Storage Architecture™ (ESA)

vSAN ESA 是处理和存储数据的新架构。它作为 vSAN 中的一种可选架构,旨在实现全新级别的效率、可扩展性和性能。经过优化,vSAN ESA 可充分利用最新硬件的全部潜力,并为我们的客户解锁新功能。它是在 vSAN 8 中引入的,当使用经 ESA 验证的 ReadyNodes 服务器时,可以在创建 vSAN 集群时进行选择。

vSAN ESA 技术创新主要体现在两个方面:

  • 新的日志结构文件系统。vSAN 堆栈中的这个新层(称为 vSAN LFS)允许 vSAN 快速高效的获取新数据,同时为高效完整的条带写入准备数据,令 vSAN 能以高效且可扩展的方式存储元数据。
  • 优化的日志结构对象管理器和数据结构。该层是围绕新的高性能块引擎和键值存储构建的新设计,可以供大量有效数据进行写入,同时最大限度的减少元数据所需的开销。 新设计专为高效的实现上层 vSAN 将数据发送到设备而不会发生争用而构建,它是高度并行的,帮助在 ESA 中驱动以获得接近设备级的性能。

图 1. vSAN 通过技术创新更好的驱动硬件优化架构

ESA 不仅仅是在 vSAN 数据堆栈处理层中单纯的新增功能。它是 VMware 审视并重新思考如何在堆栈中更有效的处理数据的成果。我们已将一些数据服务移至 vSAN 堆栈的最顶层,以减少执行这些任务所需的资源。例如,数据现在在最高层进行压缩和加密,以最大限度的减少过程放大。校验和以创新的方式重复使用,从而最大程度的减少重复工作。我们的 LFS 以弹性、节省空间的方式写入数据,而不会影响性能。并且,它允许我们引入全新的原生快照引擎*。正是这些特性的组合成就了 vSAN ESA 超融合的与众不同!

图 2. vSAN ESA 中经过优化的数据处理过程

备注:

原生快照引擎: vSAN 8 ESA 的引入意味着 vSAN 现在可以以新颖有趣的方式管理数据。 构建新的原生快照功能是利用 ESA 功能支持我们客户需求和用例的好办法。因为,无论拍摄多少快照,用户都能够创建数据的时间点状态,从而对 VM 的性能影响最小。新的本机快照功能直接集成在 vSphere 中,并通过对 VADP 备份集成的持续支持,全面支持我们广泛的备份合作伙伴生态。

基于新的日志结构和优化的数据结构,vSAN ESA 提供的最值得关注的功能是使用 RAID-5/6* 纠删码以节省空间的方式交付高弹性数据,而不会影响性能。与 RAID-1* 镜像相比,客户现在可以使用 RAID-5/6 纠删码技术实现 RAID-1 级别的性能,该方案可提供最佳且可预测的空间节省水平。

消除对性能/空间效率的权衡

纠删码是一种以弹性和节省空间的方式存储数据的常用方法。使用这种类型的弹性数据存储方案需要进行容量和性能的权衡。因为以这种方式存储数据虽然能够获得存储容量的节省,但通常会需要更多性能的开销。虽然 vSAN 8 之前的版本在提高纠删码效率方面取得了长足进步,但管理员仍需要根据给定工作负载的情况来决定存储策略的选择:性能或空间效率。虽然存储策略允许进行实时在线的调整,但 vSAN 的用户不做选择,空间节省 & 性能保证,可以都有!

vSAN ESA 如何同时实现空间节省 & 性能保证

这个优势的核心关键在于 vSAN ESA 新的日志结构化文件系统 (vSAN LFS) 及其优化的数据结构。请注意,对“日志结构文件系统”指的并非传统的文件系统,例如 NTFS、ext4 等。而是指数据和元数据如何在存储中持久保存的方法。

在图 3 中,我们展示了使用 RAID-6 分配 FTT=2* 弹性级别的 VM 的数据路径。 vSAN LFS 将接收虚拟机传入的写入数据、合并这些数据、并将它们与元数据打包,然后将数据包写入与该特定对象相关联的持久日志。当持久日志接收到打包的数据时,它将向来宾虚拟机返回写确认,将延迟降至最低。

图 3. vSAN 日志结构化文件系统

此持久日志位于称为“性能分支”的对象数据结构的处理分支上。此持久日志中的数据将作为组件存储在本地,同时以镜像方式跨多个主机存储。对于使用 RAID-5 分配 FTT=1* 的对象,它会创建一个双向镜像。对于 RAID-6,则会创建一个三向镜像。

备注:

关于 vSAN RAID-1/5/6, FTT 的解释,请参考文档“vSAN 策略”的说明。

随着持久日志中的数据累积,LFS 将获取这些大数据块并将它们写入对象数据结构中称为“容量分支”的另一个处理分支来为新的传入 I/O 腾出空间。根据分配给对象的存储策略(RAID-5 或 RAID-6),它将数据作为完全对齐的完整条带写入发送。这种数据处理方式使得 CPU 和 I/O 放大量最小,非常高效!

vSAN LFS 仅将数据负载写入容量分支上的完整条带写入。与该数据块关联的元数据被转换到元数据日志中,在那里可以快速访问并保留更长的时间。LFS 通过其他机制,使用称为 B-Tree 的多个数据树结构,可以更长时间的保留元数据。

在图 4 中,我们可以看到 RAID-6 对象是如何跨集群中的 vSAN 主机放置的。对象的性能分支中的组件将始终与同一对象的容量分支中的组件*存在于相同的主机上。组件是 vSAN 数据对象中包含的数据,这意味着管理员无需对其进行任何的管理。

图 4. 使用 vSAN ESA 时 RAID-6 对象的组成

备注:

关于 vSAN 对象和组件,请参阅博文“vSAN Objects and Components Revisited”说明。

建议:当集群使用 vSAN ESA 时,配置向导将针对支持数据放置方案的所有集群类型和大小使用 RAID-5/6 纠删码。双活延伸群集中的站点级别容差和 2 节点集群的主机级别容差仍需要 RAID-1 镜像。但是,延伸群集中满足规模需求的站点内数据容差仍可选择 RAID-5/6 纠删码技术,以此提供兼具容量和性能保证的资源池环境。

总结

关于 vSAN 8 OSA & ESA 的改进在很大程度上对用户是透明的,因此,vSAN 的用户所获得的管理和使用体验与以往 vSAN 的版本是基本相同的。同时,vSAN 8 在更近一步的简化管理的同时提高了性能和效率,借助 vSAN ESA,客户现在可以在不影响性能的情况下为其所有工作负载选择 RAID-5/6,提高空间效率。而原有 vSAN 用户也能够通过升级 vSAN 8 来获得更多新的功能和性能提升。

评论

发表评论

电子邮件地址不会被公开。