标签: cluster-computing

通过Java EE进行集群和负载均衡

我想通过使用Java EE开发集群和负载平衡,我想在后端使用两个Tomcats,如果有任何请求到达我的应用程序,它应该根据加载因子向tomcats发送请求.我想添加故障转移和会话复制到我的应用程序.请建议..

  1. 用于加载平衡和群集的API,我必须使用它以及应该从哪里下载?
  2. 有哪些书可以参考我的应用程序编程?
  3. Apache Web服务器对我的应用程序是否有用?
  4. 我必须使用哪些网站来开发我的应用程序?

java load-balancing web-applications cluster-computing

4
推荐指数
2
解决办法
6595
查看次数

MySQL NDB Cluster + Hibernate

有谁知道你是否可以将mySQL Cluster与Hibernate一起使用?

mysql hibernate cluster-computing

4
推荐指数
1
解决办法
4050
查看次数

为什么Hibernate会尝试"缓存",以及它如何在集群环境中工作?

假设您有一个4节点J2EE应用服务器集群,所有正在运行的Hibernate应用程序实例.缓存如何在这种情况下工作?它有什么好处吗?它应该只是关闭?

在我看来,一个特定节点上的数据很快就会变得陈旧,因为其他用户点击其他节点会对数据库数据进行更改.在这种情况下,怎么可能休眠永远相信它的缓存是最新的吗?

java caching hibernate cluster-computing java-ee

4
推荐指数
1
解决办法
2688
查看次数

MySQL容量规划

在我的生产环境中,我有一个运行在16gig内存上的MySQL服务器实例,每小时处理多达20,000个查询.我的桌子的大小正以每月200万的速度增长.这些数字预计会随着时间的推移而上升,但我不确定何时需要改进架构.

如何能够对这种情况采取主动态度并对未来的系统进行验证?

升级硬件在时间和资本效率方面的购买量是否很大?

在这种情况下通常的做法是什么,如果我们每3个月将流量增加一倍,那么分片是否会自然发展?还是有其他选择吗?

我如何判断我的系统是否达到峰值,有哪些工具可用于分析数据库?我会用什么指标衡量它?

mysql profiling cluster-computing data-profiling

4
推荐指数
1
解决办法
1938
查看次数

在Linux上以批处理模式运行R:输出问题

我在Linux集群上运行R程序,因为它对我的处理器要求很高.我的程序旨在将多个(大约15个)绘图作为PDF输出到程序收集其输入的文件夹中.

我希望我的程序在后台运行,并在我退出群集时继续运行.

首先,我试过这个:

cd /Users/The/Folder/With/My/RScript #changed working directory
nohup ./BatchProgram.R &
Run Code Online (Sandbox Code Playgroud)

但是,这不起作用,因为它将输出附加到一个名为的文件nohup.out,并且没有输出我需要的任何PDF.

接下来我尝试了这个:

cd /Users/The/Folder/With/My/RScript #changed working directory
R #to run R
source(‘BatchProgram.R’) #to run my program
Run Code Online (Sandbox Code Playgroud)

这给了我想要的输出,但没有在后台运行程序(当我退出集群时会停止).

有人可以告诉我如何获取第二块代码的输出,同时在后台运行程序并导致它甚至在我注销linux集群后继续运行(如第一块代码)?

非常感谢!

linux pdf r batch-file cluster-computing

4
推荐指数
2
解决办法
5904
查看次数

使用node.js集群时,如何在工作者死亡时访问它?

我正在使用node.js集群模块来创建工作进程.我在fork它时在每个worker的环境中设置一个自定义变量.

我需要在工作者死亡时读取该自定义变量,但是当工作者死亡时,我无法再访问其环境对象.

这是我到目前为止所尝试的:

var cluster = require('cluster'),
    os = require('os');

if (cluster.isMaster) {

    cluster.on('exit', function (worker, code, signal) {

        console.log('worker ' + worker.process.pid + ' died');

        var x = {
            workerId: worker.process.env.workerId // This is undefined.
        };
        cluster.fork(x);
    });

    for (var i = 0; i < os.cpus().length; i++) {
        var x = {
            workerId: i
        };
        cluster.fork(x);
    }

}
else {
    console.log("workerId: ", process.env.workerId);

    // simulate an exeption:
    throw "fakeError";

}
Run Code Online (Sandbox Code Playgroud)

我知道这不会起作用,我的问题是:如何在死亡之前获得工人的最新状态?

cluster-computing node.js

4
推荐指数
1
解决办法
2147
查看次数

JBAS010153:节点标识符属性设置为默认值.请确保它是独一无二的

我在启动主机时收到WARN消息,主机是连接到域控制器(DC)的主机控制器(HC)之一....

[服务器:server-two] 14:06:13,822 WARN [org.jboss.as.txn](ServerService线程池 - 33)JBAS010153:节点标识符属性设置为默认值.请确保它是独一无二的.

我的host-slave.xml有以下配置...

        <server-identities>
             <!-- Replace this with either a base64 password of your own, or use a vault with a vault expression -->
             <secret value="c2xhdmVfdXNlcl9wYXNzd29yZA=="/>
        </server-identities>
Run Code Online (Sandbox Code Playgroud)

我希望这个配置是原因......也许我不明白.....但我找不到node identifier property这是默认的秘密值,我希望可能是这个WARN消息的原因... .

但是我没有提到HC来查找host-slave.xml.....我运行启动我的HC的命令是.....

[host-~-\-\-\bin]$./domain.sh -Djboss.domain.master.address=nnn.nn.nn.88 -b nnn.nn.nn.89 -bmanagement nnn.nn.nn.89 &

nnn.nn.nn.88是我的DC

否则请告知WARN消息的原因是什么........

请告诉我这条WARN消息的含义,并告诉我们所需的配置,以克服和理清本次WARN绑定的任何连续后果....

cluster-computing jboss7.x jboss-eap-6

4
推荐指数
1
解决办法
7605
查看次数

选择配置文件以启动弹性集群

我在一台机器上有一个双节点集群,一个配置文件(elasticsearch.yml).是否可以创建另一个.yml-config文件并使用不同的配置文件启动每个实例?例如,我希望同时在两个端口(localhost:9200和localhost:9201)上运行集群.

我找不到用于启动弹性集群的命令行API(config-file作为参数?).

yaml cluster-computing command-line-arguments elasticsearch

4
推荐指数
2
解决办法
6052
查看次数

R:makeCluster(多核)中的错误:无法打开连接

我有以下问题.

为什么在标准节点上提交作业(最大核56)时一切运行正常,但是当我向big_memory节点(最大核128)提交相同的作业/代码时,我收到错误?

- R中的并行化代码:

no_cores < - detectCores() - 1

cl < - makeCluster(no_cores,outfile = paste0('./ info_parallel.log'))

- 错误......

socketConnection出错(master,port = port,blocking = TRUE,open ="a + b",:

无法打开连接

调用:... doTryCatch - > recvData - > makeSOCKmaster - > socketConnection

另外:警告信息:

在socketConnection中(master,port = port,blocking = TRUE,open ="a + b",:

localhost:11232无法打开

执行停止

反序列化错误(节点$ con):从连接读取错误

调用:... doTryCatch - > recvData - > recvData.SOCKnode - > unserialize

执行停止

反序列化错误(节点$ con):从连接读取错误

调用:... doTryCatch - > recvData - > recvData.SOCKnode - > unserialize

执行停止


正如我所说,R代码在标准节点上运行良好,所以我认为它是large_memory节点的问题.那可能是什么?

谢谢,

parallel-processing r cluster-computing

4
推荐指数
1
解决办法
1088
查看次数

Haskell如何处理多核机器/集群上的并行计算

我正在考虑用一种新语言来学习那些在我们拥有的计算机集群中用于高性能计算的日子,在这些语言中,我正在考虑使用Haskell.

我已经阅读了一些关于Haskell的内容,但仍然有关于在高性能和分布式计算中使用Haskell的问题,这种语言是众所周知的,但是我读到一些关于Haskell的争论因为懒惰而对那些类型的系统不利,我可以总结一下我的问题如下:

  1. Haskell使用绿色线程,这对于处理大量并发连接非常有用,但当其中一个任务占用时间超过平均值并阻塞其余任务时会发生什么,整个线程阻塞(Node.js样式),将下一个任务转发给另一个处理器/线程(Golang),使用简化技术(Erlang),在预定数量的滴答之后将任务从处理上下文中踢出,否则?

  2. 在分布式计算环境中,懒惰评估函数会发生什么,它们是否必须被强制严格?

  3. 如果一个函数/模块需要严格的评估,但它依赖于其他惰性函数/模块,我是否应该修改其他函数/模块的代码以使它们严格,或者编译器将对我处理这个并强制该链中的所有内容严格或懒惰.

  4. 当处理非常大的数据序列时,Haskell如何处理并行处理,是通过遵循某种隐式map-reduce技术,还是我自己做的.

  5. 在语言中是否存在聚类摘要,它为我处理计算能力,它会自动将下一个任务转发到免费处理器,无论它位于同一台计算机上的同一计算机还是另一台计算机上.

  6. Haskell如何确保公平共享的工作均匀分布到同一台计算机或可用集群上的所有可用核心.

concurrency multithreading haskell cluster-computing

4
推荐指数
2
解决办法
871
查看次数