标签: cluster-computing

我可以在我的开发机器上模拟MS Compute Cluster Server吗?

我有一个客户端项目,包括管理MS Compute Cluster上的作业.我将在他们的网络之外开发应用程序,并且想要一种开发/调试我的应用程序的方法,而无需在他们的网络上.

我正在使用C#开发应用程序,到目前为止我所拥有的只是Microsoft Compute Cluster Pack SDK.

.net c# hpc cluster-computing

5
推荐指数
0
解决办法
335
查看次数

开发群集感知非基于Web的企业应用程序中的常见问题

我要将基于Windows的多线程应用程序(使用全局变量以及RDBMS用于存储)移动到NLB(即网络负载平衡器)集群.立即浮现在脑海中的常见建筑问题是

  • 全局变量(都是读/写)必须移动到共享存储.这里的最佳做法是什么?Windows Clustering API中是否有可用于管理此类内容的内容?

  • 我的应用程序使用套接字,持久连接是我工作领域的常态.我认为持久连接不能进行负载平衡.同样,这方面的架构建议是什么?

windows cluster-computing

5
推荐指数
1
解决办法
1144
查看次数

MySQL集群问题

我已经阅读了很多MySQL Cluster文档和一些教程,但我仍然有一些不清楚的东西,现在主要的是:

  1. 当数据节点重新启动(崩溃并再次启动)时,它的数据是否仍然可用?更新/添加将照常工作?它会"同步"吗?
  2. 群集的工作速度是否比独立群集快?特别是,我多次更新行,但一次更新一行,这意味着网络延迟可能会对性能产生影响.我可以遵循哪些模式来加快速度,例如添加更多SQL节点或添加模式数据节点?

关于问题#2,行的更新采用以下语法:

UPDATE db_accounts.tbl_items SET items=items+%lld WHERE id_account=%u
Run Code Online (Sandbox Code Playgroud)

"id_account"是一个索引(唯一).

mysql cluster-computing

5
推荐指数
2
解决办法
1178
查看次数

使qsub阻塞直到工作完成?

目前,我有一个驱动程序,它运行数千个"有效负载"程序实例,并对输出进行一些后处理.驱动程序当前使用shell()函数直接从多个线程调用有效负载程序.该shell()函数在当前工作目录中执行命令,阻塞直到命令完成运行,并返回由命令发送到stdout的数据.这适用于单个多核计算机.我想修改驱动程序以将qsub作业提交到大型计算群集,以获得更多并行性.

有没有办法让qsub命令输出结果到stdout而不是文件和块,直到作业完成?基本上,我希望它尽可能像命令的"正常"执行一样,以便我可以尽可能少地修改我的驱动程序来并行化到集群.

编辑:我认为所有的网格引擎都非常标准化.如果它们不重要而且很重要,我正在使用Torque.

parallel-processing shell performance cluster-computing qsub

5
推荐指数
1
解决办法
2068
查看次数

在群集中运行Mathematica程序

假设我想在集群或使用云计算解决方案中运行我编写的Mathematica程序.Mathematica程序可以在没有许可证的情况下自行运行吗?如果他们不这样做,云计算解决方案是否与资源一起打包?

cloud wolfram-mathematica cluster-computing

5
推荐指数
2
解决办法
2449
查看次数

将socket.io与Cluster一起使用?

我很好奇我可以同时使用socket.io和Cluster.

我知道集群使用多核来处理具有多个worker的node.js.

这意味着如果我使用cluster for socket.io,两个用户连接

两个不同的socket.io可能会导致他们无法相互通信的问题?

所以不是在socket.io上使用集群会是一个答案吗?

cluster-computing node.js socket.io

5
推荐指数
1
解决办法
5079
查看次数

如何使用qdel all仅删除空闲作业

我有一个问题,如果我有2000个工作排队并尝试删除它们qdel all,它将继续尝试删除正在运行的作业.这意味着我必须等待很长时间才能删除作业,因为从Running列表中删除比Idle列表慢.

因此,如何在Idle不触及作业的情况下删除所有Running作业?

ubuntu cluster-computing qsub torque

5
推荐指数
1
解决办法
945
查看次数

监视节点集群

我在群集中有> 10个节点.我使用Cloudera(YARN,HBase,Hue,Hadoop FS,Spark,Flink)在集群上安装了Hadoop堆栈.是否有一种简单的方法来收集所有节点的全局统计信息(在CPU使用率,内存使用和网络使用方面)并使用Python读取它?使用Python的目的是我可以完全自由地指定绘图并确保报表中的统一绘图样式.我可以使用哪种软件来完成此任务?它不必分发,只需一个简单的库就足够了.

python statistics hadoop monitor cluster-computing

5
推荐指数
1
解决办法
722
查看次数

Docker Swarm发现仍然相关吗?

我正在学习docker swarm,并对群发现选项感到困惑,我看到互联网上的很多教程都使用这个选项来创建带有docker-machine的容器,但是当我输入docker swarm doc上的文档时,它说:

您正在查看旧版独立Swarm的文档.这些主题描述了独立的Docker Swarm.在Docker 1.12及更高版本中,Swarm模式与Docker Engine集成在一起.大多数用户应该使用集成的Swarm模式.

那么,发现选项的用例是什么?所有教程都使用docker-machine创建一个swarm,我总是需要它,或者只是在我的集群中的机器上安装docker,将它们加入swarm并使用normal?

我看到了一些像Docker Swarm和的名字Docker Swarm Mode,是否有任何不同或只是不同的方式来调用相同的功能?

distributed cluster-computing docker docker-swarm docker-swarm-mode

5
推荐指数
1
解决办法
299
查看次数

使用MPI在多个节点上启动ipyparallel集群

我正在尝试使用MPI启动ipyparallel集群.

ipcluster_config具有如下修改的以下行:

c.MPILauncher.mpi_cmd = ['mpiexec']
c.MPIControllerLauncher.controller_args = ['--ip=*']
c.MPILauncher.mpi_args = ["-machinefile", "~/mpi_hosts"]
Run Code Online (Sandbox Code Playgroud)

ipcontroller_config.py配置如下:

c.HubFactory.engine_ip = '*'
c.HubFactory.ip = '*'
c.HubFactory.client_ip = '*'
Run Code Online (Sandbox Code Playgroud)

但是,当我使用命令启动集群时, ipcluster start --profile mpi -n 2 它会失败并显示以下消息

Engines shutdown early, they probably failed to connect.
You can set this by adding "--ip='*'" to your ControllerLauncher.controller_args
Run Code Online (Sandbox Code Playgroud)

不确定如何进一步调试.

cluster-computing mpi ipython ipython-parallel

5
推荐指数
0
解决办法
249
查看次数