标签: cluster-computing

两者都被定义为一组协同工作的计算机,并为最终用户提供对在其后面运行的单个计算机的感知.

那么这里的区别是什么？

我是weblogic的新手.

我已经阅读了http://download.oracle.com/docs/cd/E11035_01/wls100/cluster/overview.html并在互联网上搜索了这个主题,但仍然很难理解一些weblogic的集群概念.

任何人都可以在下面确认/纠正我的理解吗？

• 群集包含一个或多个可驻留在一个或多个物理服务器上的逻辑服务器
• 将j2ee应用程序部署到群集时,它将绑定到该群集中的一个服务器
• 部署的应用程序的外部用户不知道群集
• 该应用程序的日志文件位于其部署的服务器上
• 如果托管应用程序的服务器出现故障,那可以,因为应用程序位于群集中,另一台服务器将接收工作？
• 如果托管应用程序的服务器失败,登录会发生什么？

也许我把整个概念弄错了.有人能指出我正确的方向吗？

非常感谢.

我正在努力将我的应用程序扩展到多个服务器,并且一个要求是客户端始终与同一服务器通信(过多的实时数据用于允许服务器之间的有效弹跳).

我目前的设置是一个小型服务器集群(使用Linode).我有一个使用"平衡源"运行HAProxy的前端节点,因此IP始终指向同一节点.

我注意到"平衡源"不是一个非常均匀的分布.使用我当前的测试设置(2个后端服务器),当使用80-100个源IP的样本大小时,一个服务器通常具有3-4倍的连接.

有没有办法实现更均衡的分配？显然,粘性会议禁止"完美"平衡,但是40/60分割将优于25/75分割.

我正在尝试使用Erlang作为粘合剂来实现一个集群.我喜欢它创建一个完全连接的节点图的想法,但是在网上阅读不同的文章时,似乎这不能很好地扩展(最多有50到100个节点).OTP的开发人员是否故意强制实施此限制？我知道您可以将节点设置为仅具有显式连接以及具有隐藏节点等.但是,似乎默认的开箱即用设置不是非常可扩展.

那么问题:

1. 如果您有5个节点(A,B,C,D,E),它们都具有明确的连接,例如ABCDE.Erlang/OTP是否允许A直接与E通信,或A是否必须将消息从B传递到D才能到达E,这就是完全连接图的原因？同样,它是有道理的,但它不能从我所见的很好地扩展.

2. 如果要尝试使用可扩展且容错的系统,您有什么选择？好像,如果由于节点太多而无法创建完全连接的图形,那么下一个最好的方法就是创建某种树.但是,这似乎不是容错的,因为如果子节点的根节点或任何父节点死亡,您将丢失很大一部分集群.

3. 在调查主管和工作人员时,我看到的所有示例都将此应用于单个节点上的进程.它可以应用于节点集群以帮助实现容错吗？

4. 节点可以成为多个集群的一部分吗？

感谢您的帮助,如果有一个我最近错过的半新网站或博客帖子(大约1岁),我很乐意看看这些.但是,我已经很好地搜索了互联网.

Apache Helix和Hadoop YARN(MRv2)有什么区别.有没有人有这两种技术的经验？有人能解释一下Helix对YARN的优缺点,以及为什么LinkedIn人开发自己的集群管理而不是使用YARN？

在此先感谢Tobi

我有几千个工作要在一个有16个节点的slurm集群上运行.这些作业应仅在大小为7的可用节点的子集上运行.某些任务是并行化的,因此使用单个节点的所有CPU功率,而其他任务是单线程的.因此,多个作业应该在单个节点上同时运行.任何任务都不应该在多个节点上产生.

目前我提交的每个职位都包括:

sbatch --nodelist=myCluster[10-16] myScript.sh

但是这个参数让slurm等到提交的作业终止,因此完全不使用3个节点,并且根据任务(多线程或单线程),当前活动节点在CPU能力方面也可能处于低负载状态.

sbatch在指定节点上同时运行多个作业的强制slurm 的最佳参数是什么？

我一直在研究在AWS中创建自己的mongodb集群.Aws mongodb模板提供了一些很好的起点.但是,它不包括自动缩放或节点发生故障时.例如,如果我有1个主节点和2个辅助节点.并且主要关闭并且自动缩放开始.如何将新启动的mongodb实例添加到副本集？

如果查看模板,它将使用init.sh脚本检查正在启动的节点是否为主节点,并等待所有其他节点存在,并在主节点上创建具有其IP地址的副本集.在初始配置副本集时,所有节点都已存在.

不仅如此,我的节点应用程序使用mongoose.部分数据库连接允许您指定多个节点.我如何跟踪当前正在运行的内容(我想我可以使用DynamoDB但不确定).

如果实例出现故障,通常的流程是什么？如果发生这种情况,人们通常会手动重新配置群集吗？

有什么想法吗？谢谢.

.Net是否有像terracotta(http://www.terracotta.org/)这样的开源集群产品？

我正在尝试构建nodejs应用程序,它将利用多核机器(也称为群集),我得到了一个关于会话的问题.我的代码看起来像这样:

var cluster = exports.cluster = require('cluster');
var numCPUs = require('os').cpus().length;

if (cluster.isMaster) {

  for (var i = 0; i < numCPUs; i++) {
    cluster.fork();
  }

  cluster.on('exit', function(worker, code, signal) {
    console.log('worker ' + worker.process.pid + ' died. Trying to respawn...');
    cluster.fork();
  });

} else {

//spawn express etc

}

我的问题是:每当一个用户点击随机节点实例或者例如他第一次打开页面并点击节点N4并且直到他的会话到期时,他会在每次请求时命中节点N4？对于那些不理解我的问题的人,我会尝试解释我担心的问题:用户进入我的页面,他登录节点N3,然后我将req.session.userdata设置为随机数据,他刷新了页面,他点击节点N4,我将能够从不同的节点访问req.session.userdata？这意味着用户有机会随机退出,或者我只是不了解如何使用快递进行聚类？

我可以访问计算集群,特别是一个带有两个12核CPU的节点,它与Slurm Workload Manager一起运行.

我想在该系统上运行TensorFlow,但遗憾的是我无法找到有关如何执行此操作的信息,或者甚至是否可能.我是新手,但据我所知,我必须通过创建Slurm作业来运行TensorFlow,并且不能通过ssh直接执行python/tensorflow.

有没有人有关于这个主题的想法,教程或任何类型的来源？