标签: cluster-computing

在服务器群集上部署Java应用程序的最佳方法?

我有一个由32个服务器组成的集群,我需要一个工具来将Java服务(打包为Jar文件)分发到每台机器并远程启动服务.该集群由Linux(Suse 10)服务器组成,每个刀片有8个核心.该应用程序是一个使用Oracle Coherence的数据网格.这样做的最佳工具是什么?

java deployment cluster-computing

5
推荐指数
1
解决办法
2923
查看次数

Hazelcast地图的程序化属性设置?

有没有办法以编程方式为Hazelcast中的分布式地图设置"生存时间"属性(或实际上是任何属性)?

我想避免为此更改Hazelcast配置XML.

我正在使用Hazelcast版本1.7.1

java datagrid cluster-computing hazelcast

5
推荐指数
1
解决办法
6766
查看次数

用于Python中的集群计算的快速JSON序列化(以及与Pickle的比较)?

我有一组数据点,每个数据点由字典描述.每个数据点的处理是独立的,我将每个数据点作为一个单独的作业提交给一个集群.每个数据点都有一个唯一的名称,我的集群提交包装器只调用一个脚本,该脚本获取数据点的名称和描述所有数据点的文件.然后该脚本从文件访问数据点并执行计算.

由于每个作业必须加载所有点的集合才能检索要运行的点,我想通过将描述点集的文件序列化为易于检索的格式来优化此步骤.

我尝试使用JSONpickle,使用以下方法,序列化描述文件的所有数据点的字典:

def json_serialize(obj, filename, use_jsonpickle=True):
    f = open(filename, 'w')
    if use_jsonpickle:
    import jsonpickle
    json_obj = jsonpickle.encode(obj)
    f.write(json_obj)
    else:
    simplejson.dump(obj, f, indent=1)   
    f.close()
Run Code Online (Sandbox Code Playgroud)

字典包含非常简单的对象(列表,字符串,浮点数等),总共有54,000个键.json文件的大小约为20兆字节.

将此文件加载到内存大约需要20秒,这对我来说似乎很慢.我切换到使用具有相同确切对象的pickle,并发现它生成一个大约7.8兆字节的文件,并且可以在1-2秒内加载.这是一个重大的改进,但似乎加载一个小对象(少于100,000个条目)应该更快.除此之外,泡菜不是人类可读的,这对我来说是JSON的最大优势.

有没有办法使用JSON来获得类似或更好的加速?如果没有,你对构建这个有什么想法吗?

(将解决每个事件的文件简单地"切片"到一个单独的文件中并将其传递给在集群作业中运行数据点的脚本是正确的解决方案吗?看起来这可能会导致文件激增).

谢谢.

python serialization json cluster-computing pickle

5
推荐指数
1
解决办法
3429
查看次数

使用Hazelcast的Java高可伸缩应用程序

我正在开发高度可扩展的应用程序,所以我决定使用Hazelcast.我有一个前端服务器,它为节点放置消息.集群中的每个节点都在分布式映射中的后台线程中改变它的工作负载,因此,前端服务器选择队列(每个节点都有自己的消息队列)来放入消息.我的问题是:Hazelcast是否适合这种设计(我们需要工作负载分配和负载平衡)或者可能是一些替代方案?我喜欢Hazelcast的简洁和漂亮的设计.

java load-balancing cluster-computing grid-computing hazelcast

5
推荐指数
1
解决办法
2191
查看次数

在简单桌面上模拟计算机集群以测试并行算法

我想尝试学习MPI以及并行编程.

可以在我的台式PC上创建沙箱吗?

如何才能做到这一点?

欢迎Linux和Windows解决方案.

parallel-processing virtualization cluster-computing mpi

5
推荐指数
1
解决办法
1542
查看次数

映射减少插槽定义

我正在成为一名cloudera Hadoop管理员.从我开始,我听到很多关于在Hadoop集群中计算每台机器的插槽,比如定义Map Slots和Reduce插槽的数量.

我已经在互联网上搜索了一个日志时间,以获得Map Reduce Slot的Noob定义,但没有找到任何.

通过PDF解释Map Reduce的配置,我真的很生气.

请解释一下集群机器中计算插槽的确切含义.

hadoop mapreduce cluster-computing job-scheduling cloudera-cdh

5
推荐指数
1
解决办法
5971
查看次数

Node.JS,Socket.IO和Clusters中的WebSocket握手不起作用

我在使用Node.js,socket.io和node.js集群集群我的应用程序时遇到问题.

我使用socket.io-redis来共享所有工作人员的信息,但是无法正常工作.

我的代码:

var cluster   = require('cluster');
var numCPUs = require('os').cpus().length;

if (cluster.isMaster) {   
  // Fork workers.
  for (var i = 0; i < numCPUs; i++) {      
    cluster.fork();
  }

  cluster.on('exit', function(worker, code, signal) {
    console.log('worker ' + worker.process.pid + ' died');
  });
} else {

    ...

         var express   = require("express");
         //Server
         var server = express();
         //Socket.io
         var http  = require('http').Server(server);
         var io    = require('socket.io')(http);
         var redis_io = require('socket.io-redis'); 
         var redis = require("redis");

         io.adapter(redis_io({host: "127.0.0.1", port: 6379 })); 

    ...
}
Run Code Online (Sandbox Code Playgroud)

在客户端,我得到握手错误,如400错误或WebSocket在建立连接之前关闭. …

cluster-computing node.js express socket.io

5
推荐指数
1
解决办法
3367
查看次数

如何在Windows故障转移群集管理器2012中启用"持久模式"?

在Windows Server 2008 R2中,在群集资源的"属性"的"常规"选项卡上有一个名为"启用持久模式"的复选框.

在Windows Server 2012中,似乎已经消失了.

我的群集资源是一个"通用脚本"资源(并没有任何区别).

如何在Windows Server 2012中为群集资源启用"持久模式"?

谢谢

windows failover cluster-computing

5
推荐指数
1
解决办法
335
查看次数

@ApplicationScoped在一个集群中

我目前没有集群环境,但我很好奇 @ApplicationScoped集群环境中的行为.群集中是否只有一个群集,或者群集中每个JVM仍然只有一个群集?

我已经读过@Singleton根据JVM创建的内容

如何在群集环境中使用javax.ejb.Singleton?

java cluster-computing cdi

5
推荐指数
1
解决办法
776
查看次数

PBS:在转到下一个节点之前,填充节点中的所有核心

默认情况下,PBS将所有串行作业提交到队列中的所有节点,然后再从节点中使用更多资源(cpus).

我可以强制PBS将我的作业提交到一个节点,直到它耗尽该节点的所有CPUS(例如12 cpus;还假设12个串行作业的内存要求小于分配给每个节点的内存),然后才提交第13个节点作业到下一个节点.

我想这样做以便以后当我想提交具有更高内存要求的作业时,我不会进入"队列"模式,因为所有节点都有一些作业正在运行.

理想情况下,我应该有单独的队列用于此目的,但我希望我的队列是动态的,因为我可能需要更多的大型mem作业,我无法运行,因为虽然没有完全使用小内存队列,但它有一些作业在运行节点.

hpc cluster-computing pbs job-scheduling

5
推荐指数
0
解决办法
250
查看次数