KVM 服务器集群的共享存储？

Question

我有 Dell EMC SCv3020 存储阵列，我想为所有 3 台物理服务器创建共享存储，以使用相同的（LVM？）在集群中创建 KVM 虚拟机，因此如果 1 台服务器死机，我们可以将虚拟机移至另一台。我们有 HA 故障转移的解决方案，但我们不确定如何进行此共享存储设置。

我们应该在虚拟机上设置简单的 NFS 并共享吗？如果是，哪个文件系统将位于 NFS 上，我们是否应该在其上创建 LVM？文件系统是否需要具有集群感知能力，以免因为所有服务器都访问相同的存储而导致数据损坏？

我们还在此基础架构上使用 VMware 使用戴尔存储阵列和生产虚拟机，因此是否可以使用 VMFS Vmware 数据存储来创建虚拟机，我们将在所有 3 台新物理服务器上设置此共享存储，以部署 KVM 虚拟机所有服务器在同一个共享存储上？

Answer 1

我有 Dell EMC SCv3020 存储阵列，我想为所有 3 台物理服务器创建共享存储，以使用相同的（LVM？）在集群中创建 KVM 虚拟机，因此如果 1 台服务器死机，我们可以将虚拟机移至另一台。我们有 HA 故障转移的解决方案，但我们不确定如何进行此共享存储设置。

您拥有的是一个经典的所谓双控制器 SAN，根据您的连接性（光纤通道与 iSCSI），您只需从 SAN 磁盘池创建一个新的虚拟 LUN，并将此虚拟 LUN 公开给您的存储消费者。如果您将使用 VMware，它将使用 VMFS 对其进行格式化，VMFS 是集群感知文件系统，并将将此新数据存储用于 VM。

这是您应该遵循的一些很好的指南：

https://www.delltechnologies.com/asset/en-us/products/storage/industry-market/h16391-dellemc-unity-storage-vmware-vsphere.pdf

如果您只使用一些没有虚拟机管理程序的服务器，您将不得不使用一些集群感知文件系统，否则您将通过一些非仲裁写入破坏虚拟 LUN 上的元数据。看：

https://forums.starwindsoftware.com/viewtopic.php?f=5&t=1392

我们应该在虚拟机上设置简单的 NFS 并共享吗？

您可以将 NFS 用于 VMware 数据存储（因此使用 KVM，但不适用于 Hyper-V），但是您需要一定程度的 HA，因为您不希望您的 VM 数据存储成为单点故障 (SPOF)。

如果是，哪个文件系统将位于 NFS 上，我们是否应该在其上创建 LVM？文件系统是否需要具有集群感知能力，以免因为所有服务器都访问相同的存储而导致数据损坏？

看上面。如果您将使用 VMware，它将是虚拟 LUN 之上的 VMFS，并且会有 VM 数据存储，您可以从生产 VM 内部公开任何文件系统。

我们还在此基础架构上使用 VMware 使用戴尔存储阵列和生产虚拟机，因此是否可以使用 VMFS Vmware 数据存储来创建虚拟机，我们将在所有 3 台新物理服务器上设置此共享存储，以部署 KVM 虚拟机所有服务器在同一个共享存储上？

这实际上是一种方法。

Answer 2

描述不全面；这个答案应该起到介绍 HA 集群存储的作用，这就是问题的本质。

传统上，这个问题是使用虚拟化集群外部的专用 SAN 来解决的。SAN 在内部变得可靠。它有两个协调控制器，所有存储介质都是双端口 (SAS)，它们的端口一个连接到第一个存储控制器，另一个连接到第二个控制器。磁盘被组装成RAID阵列。为了访问这些控制器，每台主机都有两个 SAN NIC，一个连接到一个控制器或 SAN 交换机，另一个连接到另一个控制器，如果使用交换机，则每个网卡都有到每个控制器的链接，因此总共每台主机每个 RAID 阵列有 2 或 4 条不同的路径。结果，我们得到了一个没有单点故障的存储系统。可以通过多种协议提供对该 SAN 的访问，包括 SAS、光纤通道、FCoE、iSCSI；还有一些存储通过 pNFS 提供作为 NAS 的访问。

所有主要的虚拟化集群解决方案都支持此类 SAN。一般来说，SAN卷被每个主机视为块设备，并且节点之间存在一定保证的仲裁。然后，这些块设备用于托管集群感知文件系统以存储 VM 虚拟磁盘。例如，在 Linux 中可以使用 cLVM（LVM 的集群感知版本）；在 Hyper-V 群集中，NTFS 具有群集感知能力。

目前业界趋向于融合网络，即SAN和LAN使用相同的NIC，并通过引入虚拟子接口（例如VLAN）来进行区分。这也产生了进一步融合服务并将所有高可用 SAN 职责分散到与运行虚拟机的主机相同的主机上的吸引力，从而有效地创建虚拟网络 SAN。这被认为是超融合解决方案（“软件定义存储”）。我知道有适用于 VMWare 的 vSAN 解决方案，但我没有尝试过。Linux vSAN解决方案包括CEPH和DRBD；两者都需要至少三台主机（用于仲裁）才能真正冗余，并且还需要足够的网络容量（它们需要冗余的 10G 网络）。可以只拥有三台功能强大的服务器，每台服务器有两个 10G 接口，这就是您拥有冗余 HA 虚拟化集群所需的全部；Proxmox VE（这是一种基于 Linux KVM 的虚拟化集群，具有内置的 CEPH 支持）在其 YouTube 频道上有视频解释如何实现此设置。然而，出于各种原因，没有人建议在生产中运行此类设置，即使选择使用超融合存储，通常也建议专门使用一些主机来托管 vSAN，而其他主机则专门运行虚拟机。