标签: cluster

跨多个服务器管理应用程序,或 PXE 与 cfEngine/Chef/Puppet

我们有一个应用程序正在几个(5 个左右,并且会增长)机器上运行。所有机器的硬件都是相同的,理想情况下软件也是如此。到目前为止,我一直在手动管理它们,并且不想再(静态 IP 地址、禁用所有必要的服务、安装所需的软件包......)。任何人都可以平衡以下选项的利弊,或者提出更明智的建议?

1:在所有机器上单独安装centos并使用chef/cfengine/puppet管理配置。这会很好,因为我想要一个借口来学习使用其中一个应用程序,但我不知道这是否真的是最好的解决方案。

2:制作一个完美的盒子并对其进行成像。通过 PXE 提供映像,每当我想进行修改时,我只需从新映像重新启动这些框即可。集群人员通常如何处理诸如在 /etc/sysconfig/network-scripts/ifcfg* 文件中包含 mac 地址之类的事情?我们也使用infiniband,如果hwaddr错误,它也拒绝启动。这些可以在启动时正确生成吗?

我倾向于使用 PXE 解决方案,但我认为使用 munin 或 nagios 进行监控会更复杂一些。任何人都有这种类型的问题的经验?

所有服务器都装有固态硬盘,速度快且功能强大。

谢谢,马特。

networking linux cluster centos puppet

15
推荐指数
2
解决办法
5576
查看次数

多台服务器就像一台拥有所有硬件的服务器?

到现在为止,我有 10 台 HPC 服务器,面向功率计算。我的用户需要使用 qmake 启动多个进程。用户习惯于使用 ubuntu 9.10,并且存储库中的软件对他们来说是可切换的。

我已将 ubuntu 9.10 部署到所有 10 个服务器(pxe 岩石)。

现在我们使用并行 ssh 和集群 ssh,它们允许向所有服务器启动相同的进程。使用这个工具这个工具服务器保持独立,但具有相同的软件和相同的启动命令。

现在我们想进入下一步,将所有服务器视为一个服务器,其他 9 个服务器的所有资源都被视为它的资源。

在处理时间和设计启动命令的时间上,差异将是巨大的。

关于使用哪些软件的任何建议都会非常有用?

谢谢

linux cluster gridengine

14
推荐指数
1
解决办法
7210
查看次数

跨几台服务器的镜像文件系统

我正在寻找一种解决方案来在几个 Linux 服务器上镜像或复制一个目录(或一个文件系统)。理想的解决方案是一种允许所有服务器读写访问的解决方案。我还希望它具有弹性,如果其中一台服务器出现故障,rest 应该仍然可以正常工作,而不会丢失任何数据。

我一直在寻找一些解决方案:

  • DRBD:块级复制,似乎有点矫枉过正;
  • lsyncd:看起来很简单,但我对性能有疑问;
  • GlusterFS:看起来这将是一个很好的匹配,还没有弄清楚复制模式究竟是如何工作的。它会具有我需要的特性吗?

欢迎任何其他建议。

linux cluster filesystems replication mirroring

14
推荐指数
2
解决办法
2万
查看次数

一个集群多台机器如何作为一台机器在这台看似单一的机器上运行多个虚拟机?

如何使用多台计算机并使它们成为一体,以便现在将它们的所有处理器和内存组合在一起,并且您正在运行任何应用程序,以便您在一台非常快的计算机上运行它们。这样它就可以用于运行虚拟机(在 vmware 等软件上)。

这可以用什么操作系统来完成?或者需要什么软件?

cluster

14
推荐指数
2
解决办法
5万
查看次数

Redis 集群:最少 3 个主节点?

我正在评估 Redis 3 的集群功能(我目前正在独立使用 Redis 2),所以我正在阅读http://redis.io/topics/cluster-tutorial 上的信息。

在这份文件中,我读到了一个非常重要的信息:

请注意,按预期工作的最小集群需要包含至少三个主节点。对于您的第一次测试,强烈建议启动一个具有三个主节点和三个从节点的六节点集群。

真的吗?在我看来,如果我使用分片功能(数据在节点之间共享),这是正确的,但是如果我不需要它并且我很高兴只在一个节点上拥有数据怎么办?

我基本上需要一个主站和两个从站(所以如果一个节点出现故障,集群将处于活动状态),我可以在生产环境中进行这种配置吗?如果是,禁忌症是什么?

非常感谢您的帮助!

cluster redis

13
推荐指数
3
解决办法
3万
查看次数

linux 用什么集群管理软件?

我找到了以下集群管理软件工具:

  • 起搏器 (clusterlabs.org), - 最初的一个 Heartbeat 项目,专注于高可用性,将在下一个 debian 版本中
  • openqrm (openqrm.com), - web gui - 更广泛的使用,一个

一个网站,两者都有演示文稿

  • 虚拟整合 HA:使用 KVM、Pacemaker 和 DRBD 进行虚拟化
  • 虚拟机管理 mit openORM

看来起搏器的使用范围更广了。我有 2 个用于 12 个不同 VM 的硬件服务器。我将使用的 linux 系统是 debian lenny。我想使用的设置:drddb、heartbeart、kvm。我没有使用集群管理软件的经验。

有人对起搏器和/或 openqrm 有一些经验吗?哪个更容易使用?还有其他候选人吗?

linux cluster high-availability kvm-virtualization

12
推荐指数
1
解决办法
4953
查看次数

在多个静态文件服务器之间进行负载平衡以实现带宽分配的最佳方法?

首先,我将向您说明我的情况。我正在运行一个相当受欢迎的网站作为一个副项目,所以我不能真正投入大量资金。我目前只有一台带有 HAProxy 的服务器在前端向 Apache 发送正常请求,向 Lighttpd 发送所有静态文件请求。这非常有效,因为所有 php 和 post 请求都由 Apache 处理,而所有图像都发送到更快的 Lighttpd(该站点主要是图像,所以这非常重要)。不必为提供图像而设置子域会很好,因为短 URL 也非常重要,因此我使用 HAProxy 的原因。

我找到了一个托管服务提供商,它提供了我一直在使用的非常便宜的未计量带宽,当我开始推出 100mbs 网卡可以处理的带宽时,问题就出现了,因此需要第二台服务器。

我已经考虑了很多我的选择,所以我会向你解释每一个。希望您能提供一些见解,了解哪个对我来说是最好的选择,或者也许还有另一种我还没有想到的选择。

要求:

  • 甚至带宽分配也是必须的。我有一个非常强大的服务器,所以不能选择扩展。我需要向外扩展以获得更多带宽。

  • 短网址。我真的不想设置子域,比如 img.example.com,来提供我的图像。example.com/image.jpg 是现在的样子,我真的希望它留下来。但如果没有其他办法,那我就明白了。

  • 处理请求的最近服务器会非常好,但不是必须的。要记住的事情。

HAProxy 负载均衡:

  • 这真的很容易做到,因为我已经在使用 HAProxy 了。但是,我认为分配带宽时会出现问题。我在这方面可能是错的,但是 HAProxy 不会将请求发送到服务器处理它的服务器,然后通过 HAProxy 将其发送回客户端吗?因此,所有流量都通过负载平衡器返回,导致它使用的带宽与所有服务器的总和一样多。

DNS 循环:

  • 这可能是我最好的选择。只需在多台服务器上复制网站,然后做我现在正在做的事情。缺点是如果一台服务器出现故障,客户端仍会被发送到它。我还需要在多台服务器上复制站点。我有点希望我可以有一个主服务器来处理除静态文件之外的所有内容,然后有几个静态文件服务器。我还读到这是一种“穷人的负载平衡”,如果有一些更复杂的东西会很好。

直接服务器返回:

  • 这看起来很复杂,但可能是一个不错的选择。我还能将某些 URL 发送到某些服务器吗?就像现在的 HAProxy 一样,每个以正确文件扩展名结尾的 URL 都被发送到 Lighttpd,而其他扩展名则被发送到 Apache。所以我需要类似的东西。就像,所有 php 请求都由运行平衡软件的同一台服务器处理,而所有 jpg 请求都发送到多个服务器。

理想情况下,如果 HAProxy 支持 Direct Server Return,那么我的问题就可以解决了。我也不想使用 CDN,因为它们真的很贵,毕竟这只是一个副项目。

你明白我的问题吗?如果我没有解释正确或者您需要更多信息,请告诉我。

bandwidth cluster load-balancing haproxy

12
推荐指数
1
解决办法
1万
查看次数

如何在 2 节点主动/被动 linux HA 起搏器集群中设置 STONITH?

我正在尝试使用 corosync 和起搏器设置一个主动/被动(2 个节点)Linux-HA 集群来启动和运行 PostgreSQL 数据库。它通过 DRBD 和 service-ip 工作。如果节点 1 失败,节点 2 应该接管。如果 PG 在 node2 上运行并且失败,则相同。除了 STONITH 之外,一切正常。

节点之间是专用的 HA 连接(10.10.10.X),所以我有以下接口配置:

eth0            eth1            host
10.10.10.251    172.10.10.1     node1
10.10.10.252    172.10.10.2     node2
Run Code Online (Sandbox Code Playgroud)

Stonith 已启用,我正在使用 ssh-agent 进行测试以杀死节点。

crm configure property stonith-enabled=true
crm configure property stonith-action=poweroff
crm configure rsc_defaults resource-stickiness=100
crm configure property no-quorum-policy=ignore

crm configure primitive stonith_postgres stonith:external/ssh \
                params hostlist="node1 node2"
crm configure clone fencing_postgres stonith_postgres
Run Code Online (Sandbox Code Playgroud)

crm_mon -1 显示:

============
Last updated: Mon Mar 19 15:21:11 2012
Stack: openais …
Run Code Online (Sandbox Code Playgroud)

cluster high-availability drbd pacemaker

12
推荐指数
2
解决办法
4万
查看次数

用于管理多个 SSH 服务器的 Clusterssh 替代方案

是否有任何替代 Clusterssh、pssh 等的方法来通过一个界面管理多个基于 ssh 的服务器?

Clusterssh 的一个弱点是我的服务器使用基于密钥的身份验证,使用 passhprase 登录,而无法使用私钥登录服务器。

是否有任何可用的替代方法支持使用私钥进行身份验证?

remote-access linux cluster ssh

12
推荐指数
3
解决办法
1万
查看次数

RabbitMQ - 我如何配置服务器以实现零停机升级?

通读文档和RabbitMQ in Action 后,创建 RabbitMQ 集群似乎很简单,但升级或修补现有的 RabbitMQ 集群似乎需要重新启动整个集群。

有没有一种方法可以将集群、铲、联合和负载平衡结合起来,在不丢失队列或消息的情况下进行滚动升级,或者我是否错过了一些更明显的东西?

cluster high-availability rabbitmq

12
推荐指数
1
解决办法
2143
查看次数