我有一个客户端项目,包括管理MS Compute Cluster上的作业.我将在他们的网络之外开发应用程序,并且想要一种开发/调试我的应用程序的方法,而无需在他们的网络上.
我正在使用C#开发应用程序,到目前为止我所拥有的只是Microsoft Compute Cluster Pack SDK.
我要将基于Windows的多线程应用程序(使用全局变量以及RDBMS用于存储)移动到NLB(即网络负载平衡器)集群.立即浮现在脑海中的常见建筑问题是
全局变量(都是读/写)必须移动到共享存储.这里的最佳做法是什么?Windows Clustering API中是否有可用于管理此类内容的内容?
我的应用程序使用套接字,持久连接是我工作领域的常态.我认为持久连接不能进行负载平衡.同样,这方面的架构建议是什么?
我已经阅读了很多MySQL Cluster文档和一些教程,但我仍然有一些不清楚的东西,现在主要的是:
关于问题#2,行的更新采用以下语法:
UPDATE db_accounts.tbl_items SET items=items+%lld WHERE id_account=%u
Run Code Online (Sandbox Code Playgroud)
"id_account"是一个索引(唯一).
目前,我有一个驱动程序,它运行数千个"有效负载"程序实例,并对输出进行一些后处理.驱动程序当前使用shell()函数直接从多个线程调用有效负载程序.该shell()函数在当前工作目录中执行命令,阻塞直到命令完成运行,并返回由命令发送到stdout的数据.这适用于单个多核计算机.我想修改驱动程序以将qsub作业提交到大型计算群集,以获得更多并行性.
有没有办法让qsub命令输出结果到stdout而不是文件和块,直到作业完成?基本上,我希望它尽可能像命令的"正常"执行一样,以便我可以尽可能少地修改我的驱动程序来并行化到集群.
编辑:我认为所有的网格引擎都非常标准化.如果它们不重要而且很重要,我正在使用Torque.
parallel-processing shell performance cluster-computing qsub
假设我想在集群或使用云计算解决方案中运行我编写的Mathematica程序.Mathematica程序可以在没有许可证的情况下自行运行吗?如果他们不这样做,云计算解决方案是否与资源一起打包?
我很好奇我可以同时使用socket.io和Cluster.
我知道集群使用多核来处理具有多个worker的node.js.
这意味着如果我使用cluster for socket.io,两个用户连接
两个不同的socket.io可能会导致他们无法相互通信的问题?
所以不是在socket.io上使用集群会是一个答案吗?
我有一个问题,如果我有2000个工作排队并尝试删除它们qdel all,它将继续尝试删除正在运行的作业.这意味着我必须等待很长时间才能删除作业,因为从Running列表中删除比Idle列表慢.
因此,如何在Idle不触及作业的情况下删除所有Running作业?
我在群集中有> 10个节点.我使用Cloudera(YARN,HBase,Hue,Hadoop FS,Spark,Flink)在集群上安装了Hadoop堆栈.是否有一种简单的方法来收集所有节点的全局统计信息(在CPU使用率,内存使用和网络使用方面)并使用Python读取它?使用Python的目的是我可以完全自由地指定绘图并确保报表中的统一绘图样式.我可以使用哪种软件来完成此任务?它不必分发,只需一个简单的库就足够了.
我正在学习docker swarm,并对群发现选项感到困惑,我看到互联网上的很多教程都使用这个选项来创建带有docker-machine的容器,但是当我输入docker swarm doc上的文档时,它说:
您正在查看旧版独立Swarm的文档.这些主题描述了独立的Docker Swarm.在Docker 1.12及更高版本中,Swarm模式与Docker Engine集成在一起.大多数用户应该使用集成的Swarm模式.
那么,发现选项的用例是什么?所有教程都使用docker-machine创建一个swarm,我总是需要它,或者只是在我的集群中的机器上安装docker,将它们加入swarm并使用normal?
我看到了一些像Docker Swarm和的名字Docker Swarm Mode,是否有任何不同或只是不同的方式来调用相同的功能?
distributed cluster-computing docker docker-swarm docker-swarm-mode
我正在尝试使用MPI启动ipyparallel集群.
ipcluster_config具有如下修改的以下行:
c.MPILauncher.mpi_cmd = ['mpiexec']
c.MPIControllerLauncher.controller_args = ['--ip=*']
c.MPILauncher.mpi_args = ["-machinefile", "~/mpi_hosts"]
Run Code Online (Sandbox Code Playgroud)
ipcontroller_config.py配置如下:
c.HubFactory.engine_ip = '*'
c.HubFactory.ip = '*'
c.HubFactory.client_ip = '*'
Run Code Online (Sandbox Code Playgroud)
但是,当我使用命令启动集群时,
ipcluster start --profile mpi -n 2
它会失败并显示以下消息
Engines shutdown early, they probably failed to connect.
You can set this by adding "--ip='*'" to your ControllerLauncher.controller_args
Run Code Online (Sandbox Code Playgroud)
不确定如何进一步调试.