Python似乎有许多不同的包可用于协助基于SMP的系统或群集上的并行处理.我有兴趣构建一个客户端服务器系统,其中服务器维护一个作业队列,客户端(本地或远程)连接并运行作业,直到队列为空.在上面列出的包中,建议使用哪些包?
编辑:特别是,我编写了一个模拟器,它接受了一些输入并处理了一段时间.我需要从模拟中收集足够的样本来估计用户指定的置信区间内的平均值.为了加快速度,我希望能够在许多不同的系统上运行模拟,每个系统都会以一定的间隔向服务器报告他们收集的样本.然后,服务器计算置信区间并确定客户端进程是否需要继续.收集到足够的样本后,服务器终止所有客户端模拟,根据过去的结果重新配置模拟,并重复这些过程.
由于需要客户端和服务器进程之间的相互通信,我质疑批量调度是否是一个可行的解决方案.对不起,我应该更清楚一点.
当您有多个服务器都运行相同的Web应用程序时,您如何确保多个作业不会被解雇(相同的工作)?
你是否必须使用数据库来监控作业是否已经运行?
我们使用Cron4j java调度程序来调度每晚执行的作业.现在,当在客户端站点的集群(2个节点)上部署(Tomcat)相同的Web应用程序时,作业将运行两次.有什么方法可以避免这个问题吗?
当我们慢慢地从SVN迁移到GIT时,我们正在寻找创建一个git服务器集群,以便在我们的wan上卸载克隆,并在出现问题时创建冗余或热备用.我们的主要要求之一是我们可以提交任何gitserver,它将在层次结构中进一步复制它.
随着我们同时在三大洲开发,我不会非常信任使用rsync/crontab的git克隆,因为我认为同时在多个服务器上提交可能会破坏存储库(或者给git关于如何合并变化的头痛).这种部署的最佳实践是什么?有提示或指针的人吗?当我们迁移到Git时,Wandisco的SVN集群没有削减它.
我不是node.js的主人,所以我想对此有更多的观点.
我正在创建一个HTTP node.js Web服务器,它不仅必须处理大量并发连接,还必须处理长时间运行的作业.默认情况下,node.js在一个进程上运行,如果有一段代码需要很长时间才能执行任何后续连接,则必须等到代码结束它在前一个连接上执行的操作.
例如:
var http = require('http');
http.createServer(function (req, res) {
doSomething(); // This takes a long time to execute
// Return a response
}).listen(1337, "127.0.0.1");
Run Code Online (Sandbox Code Playgroud)
所以我想使用node-webworker库在不同的线程中运行所有长时间运行的作业:
var http = require('http');
var sys = require('sys');
var Worker = require('webworker');
http.createServer(function (req, res) {
var w = new Worker('doSomething.js'); // This takes a long time to execute
// Return a response
}).listen(1337, "127.0.0.1");
Run Code Online (Sandbox Code Playgroud)
为了使整个事情更高效,我还想使用集群为每个CPU核心创建一个新的节点进程.
通过这种方式,我希望通过不同的进程平衡客户端连接cluster(如果我在四核上运行它,则说4个节点进程),然后在不同的线程上执行长时间运行的作业node-webworker.
这个配置有问题吗?
concurrency performance cluster-computing web-worker node.js
我听过"Hadoop集群"一词,但它似乎与我对"网格"和"集群"的理解相反.
我的理解是网格是一个由2个以上的计算机(节点)组成的分布式系统,它们彼此共享计算资源以解决同样的问题.因此,如果你正在尝试进行某种重型科学计算,数字运算,你会创建一个机器网格,以便在同一个问题上进行协作.
我认识一个的集群是,它是由计算机2+这都是一个分布式系统独立工作,以解决不同的,较小的问题.因此,您通常将一个集群置于负载均衡器后面,并让每个节点在负载均衡器为其分配一个小问题.
因此,如果我的理解是正确的,那么你使用网格来解决少量巨大的(计算量很大的)作业,并使用集群来解决大量的小(计算轻)工作.
首先,如果我对网格和群集的理解不正确,请首先纠正我!
假设我或多或少是正确的,那为什么我们有Hadoop 集群?如果Hadoop的目的是解决大数据问题(一些计算密集的问题)并使用大量商品硬件来创建大量能够与其他人协作以解决相同问题的节点,那么这不是一个网格吗?
说我们有Hadoop 网格更正确吗?为什么或者为什么不?提前致谢!
我试图调整一些bash脚本,使它们在(pbs)集群上运行.
各个任务由几个由主脚本启动的脚本执行.到目前为止,这个主要脚本在后台启动多个脚本(通过附加&),使它们在一个多核机器上并行运行.我希望用qsubs 代替这些调用来分配集群节点的负载.
但是,有些工作依赖于其他工作才能开始.到目前为止,这是通过wait主脚本中的语句实现的.但是使用Grid Engine的最佳方法是什么?
我已经在手册页中找到了这个问题和-W after:jobid[:jobid...]文档,qsub但我希望有更好的方法.我们正在谈论几个并行运行的thousend作业和另一个相同大小的一组,以便在最后一个完成之后同时运行.这意味着我必须根据很多工作排队很多工作.
我可以通过在中间使用虚拟作业来减少这种情况,除了取决于第二组可能依赖的第一组作业之外什么都不做.这会将依赖数量从数百万减少到数千,但仍然是:它是错误的,我甚至不确定shell是否会接受如此长的命令行.
qwait -u <user>)?qwait [-p <PID>])?当然可以在循环中使用qstat和编写这样的东西,但我想这个用例非常重要,有一个内置的解决方案,我只是无法想出那个.sleepwhile
在这种情况下你会推荐/使用什么?
附录一:
由于在评论中要求:
$ qsub --version
version: 2.4.8
Run Code Online (Sandbox Code Playgroud)
也许也有助于确定准确的pbs系统:
$ qsub --help
usage: qsub [-a date_time] [-A account_string] [-b secs]
[-c [ none | { enabled | periodic | shutdown |
depth=<int> | dir=<path> | interval=<minutes>}... ] …Run Code Online (Sandbox Code Playgroud) 我正在尝试使用Google的计算引擎来运行R,但仍会遇到分段错误.这是我到目前为止所做的:
1)我安装了Cygwin和Google Cloud SDK并成功通过了Google Cloud Platform认证.
2)我使用谷歌提供的"debian-7-wheezy-v20140318"图像和"n1-standard-4"机器创建了一个虚拟机.
3)我已使用命令在此虚拟机上安装了R(使用add'l软件)
sudo apt-get update
sudo apt-get install -y libopenblas-base openmpi-bin libopenmpi-dev r-base openjdk-7-jre openjdk-7-jdk
Run Code Online (Sandbox Code Playgroud)
4)我已经使用该命令验证了软件是否已安装
apt-cache policy r-base
Run Code Online (Sandbox Code Playgroud)
返回安装v2.15.1-4.
每次我尝试提交一个简单的R脚本来安装一些常见的R包(通过命令"sudo R CMD BATCH --no-save installRpkgs.R"),输出日志给我错误
Segmentation fault
Run Code Online (Sandbox Code Playgroud)
当我ssh到虚拟机尝试显式运行R时,我也得到相同的错误.我有一种感觉,我错过了一些东西.也许我需要指定内存或写权限.我不确定,因为我还是云计算的新手.如果有人能帮助所有人,我会非常感激.
谢谢!
编辑:经过一些故障排除后,我设法确定罪魁祸首是"libopenblas-base".不知道为什么会造成这种情况,但是现在我只是继续没有它.
linux r cluster-computing segmentation-fault google-compute-engine
在Twitter的开源办公室负责人的第25 次演讲中,主持人说,Mesos允许人们跟踪和管理GPU(我认为他的意思是GPGPU)资源.但我无法在其他地方找到任何相关信息.有人可以帮忙吗?除了Mesos之外,还有其他支持GPGPU的集群管理器吗?
我是Redis的新手,我已经使用Redis几个月了。目前,我正在使用2.8.x稳定版本,但我正在尝试使用3.0.0导入redis集群功能。我正在使用Java jedis作为客户端?这是我的问题吗?我发现最新版本的Jedis客户端支持redis集群lua脚本编制(JedisCluster.evalsha),但是我在哪里找不到可以与管道和事务相关的功能,所以我想知道如果是Jedis尚未实现(管道,事务),还是redis集群根本不支持管道和事务?