标签: cluster-computing

我刚刚想出了如何使用Condor在集群上的机器上发送要处理的作业.既然我们有很多机器,而不是每台机器都配置相同,我想知道:

是否有可能告诉condor只将我的作业(python脚本)发送到机器上,因为我的脚本依赖于这个包,所以机器上安装了numpy？

我是Solr的新手.我正在尝试创建一个将结构化数据存储在数据库中的服务器,并且可以使用Solr/Lucene进行搜索.服务器可以集群到任意数量的相同节点中以实现高可用性.

似乎标准配置Solr将索引存储在文件系统上的文件中.这似乎引入了一致性和聚类的一些问题.

如何使索引在事务上与DB保持一致？有没有办法做到这一点？(例如,通过提交Solr索引协调提交到DB的某种方式？)

有没有办法将索引存储在(关系)数据库中？这将解决一致性问题和集群问题,但我没有找到很多关于如何做到这一点的文献.

配置为群集时,每个群集节点是否需要维护自己的索引副本.目前尚不清楚Solr的多个实例是否可以更新单个索引.

或者 - 我们是否放弃接受索引不保证一致,每天重建它？人们通常对此做些什么？

makeClusterSNOW包的功能具有不同的簇类型" SOCK"," PVM"," MPI"和" NWS",但我不太清楚它们之间的差异,更具体地说,哪个最适合我的程序.

目前我有一个不同长度的任务队列进入负载平衡群集,clusterApplyLB并使用64位32核Windows机器.

我正在寻找四种群集类型之间差异的简要描述,这对我的使用和原因最有用.

我想为MySQL Cluster 6实现NDB Cluster.我想用非常庞大的数据结构来完成它,最少有200万条记录.

我想知道是否存在实施NDB集群的任何限制.例如,RAM大小,数据库数或NDB集群的数据库大小.

关于这个问题,我需要您的专家建议.问题是我们几天前创建了一个Facebook应用程序,幸运的是它得到了大量的病毒式传播,问题是我们的数据库开始变得非常满(一些表现在有超过2500万行)并且它达到了这一点该应用程序刚停止工作,因为有一个成千上万的写入队列.

我需要实现一个快速扩展这个应用程序的解决方案,但是我不确定我是否应该进行Sharding或Clustering,因为我不确定每个人的专业版和内容是什么,我正在考虑进行分区/复制方法,但我认为如果负载在写入上,这没有帮助？

我正在开发一个需要非常高可用性的项目,我的团队目前正在为未来版本升级一些基础架构和软件.

我们希望启用的功能之一是不仅跨不同服务器进行会话复制,而且理想情况下跨不同站点进行会话复制(地理位置分散).那可能吗？有什么办法？

对于我到目前为止所看到的,为了启用会话复制,通常的供应商方法是以下之一:

• 可序列化的会话属性
• web.xml中的<distributable />标记,以及特定于供应商的xml中的其他配置

还有其他方法吗？我应该进行内存复制吗？或者我应该坚持会话状态？哪些应用服务器厂商实施每个解决方

编辑:我开始了赏金,所以我真的在寻找一个全面的答案.:)

我的应用程序使用MongoDB作为数据库.我们期待与mongodb集群同时连接20K +.如果我想在20台服务器上运行mongodb并以20种方式对集群进行分片,我该如何配置服务器？

以下是我到目前为止所做的:在我的20台服务器中,我有一台mongos(路由器)在30000端口上运行,在3台服务器上我在端口20000上运行mongo配置服务器.然后在每台服务器上运行3 mongod的例子.其中一个是主要的.换句话说,我有20个mongos,3个mongo-config,60个mongod服务器(20个主要服务器和40个副本服务器).

然后在我的应用程序中(也在每个服务器上运行并连接到localhost:30000 mongos),我设置了mongoOptions,使得connectionsPerHost = 1000.

所有服务开始后10-15分钟,其中一些已不再是ssh-able.这些服务器仍然可以ping通.我怀疑连接太多,导致服务器死机.

我自己的分析如下:每个连接池1K连接意味着每个分片的主要,它将有1K*20(分片)= 20K同时连接打开.一些服务器可能会运行多个主服务器,这将使连接数增加一倍或三倍,达到60K.不知怎的,mongod无法处理这么多连接,虽然我改变了系统设置以允许每个进程打开更多文件.

这是'ulimit -a'显示的内容:

core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 20
file size (blocks, -f) unlimited
pending signals (-i) 16382
max locked memory (kbytes, -l) 64000000
max memory size (kbytes, -m) unlimited
open files (-n) 320000
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited …

我被要求重新开发一个旧的php web应用程序,它当前使用mysql_query函数来访问一个复制的数据库(4个奴隶,1个主人).

这次重新开发的一部分将把一些数据库移动到一个mysql集群中.我这些天经常使用PDO访问数据库,我试图找出PDO是否可以很好地与群集一起使用,但我在网上找不到很多有用的信息.

有人对这个有经验么？我以前从未使用集群...

我想这个标题非常客观,但只是为了澄清:

创建Aurora数据库实例时,会要求它为数据库实例,数据库群集和数据库命名(数据库的名称是可选的,如果未指定数据库,则不会创建数据库...) .当您创建另一个实例时,您必须再次为它们命名,并且它们都不能与第一个实例相同.

那么,Aurora数据库实例和Aurora数据库群集之间有什么区别？

此外,您可以(以及何时)连接到它们中的每一个？

谢谢!!

我在SLURM集群中工作，并且同时（在多个输入文件上）使用相同的bash脚本运行多个进程。

在工作结束时，该过程被终止，这是我获得的错误。

slurmstepd: error: Detected 1 oom-kill event(s) in step 1090990.batch cgroup.

我的猜测是内存有问题。但是我怎么能知道更多呢？我没有提供足够的内存吗？还是作为用户我要求的权限超出了我的权限？

有什么建议吗？