标签: cluster-computing

我的应用程序在我的四核机器上运行良好.它是"令人尴尬的并行",具有大约100K的进程,因此非常适合在一组机器上运行.但是,我无法找到有关如何在群集中的所有可用节点上传播所有这些进程的文档.

分布式Erlang的文档似乎侧重于服务器 - 客户端应用程序,其中每个节点都是运行单个应用程序的客户端,并且您手动指定哪个节点运行哪个进程.

我正在创建一个Java Web Services应用程序.我打算在群集中的每台机器上运行多个WebLogic实例.

我希望每个应用程序实例都写入自己的日志文件,但我不知道如何在不创建特定于实例的log4j属性文件的情况下这样做.有没有办法让我动态确定WebLogic实例并将其附加到日志文件名？有没有更好的方法来做到这一点,我没见过？

任何见解将不胜感激.谢谢!

莱昂

我想设置一个ActiveMQ群集。当我遇到无共享方法的问题时，我想使用共享文件系统来实现。但是，ActiveMQ文档警告与文件系统锁有关的可能问题。我不确定，我想问一下GlusterFS是否适合共享文件系统。

我正在尝试运行一个简单的MPI程序(多个阵列添加),它在我的PC中运行完美,但只是挂起或在群集中显示以下错误.我正在使用open mpi和以下命令来执行

集群的Netwok配置(master和node1)

        MASTER

eth0链接封装:以太网HWaddr 00:22:19:A4:52:74
inet地址:10.1.1.1 Bcast:10.1.255.255掩码:255.255.0.0 inet6地址:fe80 :: 222:19ff:fea4:5274/64范围: Link UP BROADCAST RUNNING MULTICAST MTU:1500公制:1 RX数据包:16914错误:0丢弃:0超限:0帧:0 TX数据包:7183错误:0丢弃:0超限:0载波:0冲突:0 txqueuelen:0 RX字节:2050581(1.9 MiB)TX字节:981632(958.6 KiB)

eth1链接封装:以太网HWaddr 00:22:19:A4:52:76
inet地址:192.168.41.203 Bcast:192.168.41.255掩码:255.255.255.0 inet6地址:fe80 :: 222:19ff:fea4:5276/64范围: Link UP BROADCAST RUNNING MULTICAST MTU:1500公制:1 RX数据包:701错误:0丢弃:0超限:0帧:0 TX数据包:228错误:0丢弃:0超限:0载波:0冲突:0 txqueuelen:0 RX字节:75457(73.6 KiB)TX字节:25295(24.7 KiB)

lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0 inet6 addr ::: 1/128 Scope:Host UP LOOPBACK RUNNING MTU:16436公制:1 RX包:88362错误:0丢弃:0超限:0帧:0 TX包:88362错误:0丢弃:0溢出:0载波:0冲突:0 txqueuelen:0 RX字节:21529504(20.5 MiB)TX字节:21529504(20.5 MiB)

peth0链接封装:以太网HWaddr 00:22:19:A4:52:74
inet6地址:fe80 :: 222:19ff:fea4:5274/64范围:链接广播运行多播MTU:1500公制:1 RX包:17175错误:0丢弃:0溢出:0帧:0 TX数据包:7257错误:0丢弃:0溢出:0载波:0冲突:0 txqueuelen:1000 RX字节:2373869(2.2 MiB)TX字节:1020320(996.4 KiB)中断:16内存:da000000-da012800

peth1链接封装:以太网HWaddr 00:22:19:A4:52:76
inet6地址:fe80 :: 222:19ff:fea4:5276/64范围:链接广播运行多播MTU:1500公制:1个RX数据包:1112个错误:0丢弃:0溢出:0帧:0 …

我正在使用已经开发了几年的大型C++代码.我已添加到代码中并已在Mac OX 10.7.5上成功运行它.但是,它非常慢,我现在想在集群上运行它(g ++(SUSE Linux)4.3.4 [gcc-4_3-branch revision 152973]).就C++而言,我不是很有经验,就处理编译/链接而言,我是一个完整的新手.

我无法通过与"jpeg"库相关的链接错误,并且非常感谢任何帮助.我将库代码安装在我的代码所在的目录中,但我的理解是它也可以从编译器获得.

有很多错误输出,所以我不会发布它.这是第一部分:

/data/place/number/account/program/libraries/libfile_intel.a(Grid.o):在功能program::Grid<double>::SaveToJPG(char const*, int, bool, bool) const': Grid.cpp:(.text._ZNK3program20GridIdE9SaveToJPGEPKcibb[program::Grid<double>::SaveToJPG(char const*, int, bool, bool) const]+0x499): undefined reference to jpeg_std_error(jpeg_error_mgr*)" Grid.cpp :( text._ZNK3program20GridIdE9SaveToJPGEPKcibb [程序::网格:: SaveToJPG(字符常量.*,int,bool,bool)const] + 0x4b5):未定义的引用`jpeg_CreateCompress(jpeg_compress_struct*,int,unsigned long)'

我尝试过的:

• 当我在Google上搜索这个问题时,我从旧的论坛帖子中发现jpeg库在C中编译.这显然会导致C++编译器弄乱名称.我不清楚这意味着什么,但我按照建议添加:

extern"C"{
#include"jpeglib.h"}

在我的jpeg目录中包含"#include"jpeglib.h的所有文件中."我写道,"jpeglib.h"因为,正如我所提到的,我有一个包含jpeg代码的目录.但是,我也尝试过使用默认提供的jpeg代码,我收到一条消息,说它在集群编译器上不可用.

• 在我的makefile中,我检查了所有包含和路径.这些似乎不是问题.此外,我有类似的路径,包括在其他目录中的其他库,他们很好.

• 我还在我的编译器选项列表中添加了:-lstdc ++(来自另一个旧论坛帖子的建议).它没有效果.

我做的一个奇怪的观察是,当我"完成"整个代码(各个目录中的几个库)时,jpeg库不会生成,除非我专门进入其目录并在那里"make".正如我所说,代码太大了,不能发布这个来证明我没有路径错误.我很确定我没有,但这种行为似乎很奇怪.

如果有人在这篇长篇文章后仍然和我在一起,我将非常感谢任何提示.谢谢.

编辑:在我的makefile中,这是我编译/链接的内容:

CC = g ++

OPTIONS = -O3 -fpermissive -w -DSAMG_UNIX_LINUX -DSAMG_LCASE_USCORE -DNDEBUG -DCSP_WITH_SAMG_SOLVER

编辑2:Svens建议的结果

我做了:

找/ usr/opt -iname libjpeg*so*

得到了:

/usr/lib/libjpeg.so.62

/usr/lib/libjpeg.so.62.0.0

/usr/lib64/libjpeg.so.62

/usr/lib64/libjpeg.so.62.0.0

/usr/lib64/libjpeg.so找到:

/usr/lib64/mozilla': Permission denied find: / usr/lpp/mmfs/gui/runtime':权限被拒绝@ login1:/ data/place/number/account/program/support_libraries/jpeg> cd …

我目前正在修改CoreOS并基于它创建一个集群.到目前为止,CoreOS在单个主机上的体验非常顺畅.但是在服务发现方面,事情变得有点模糊.不知怎的,我没有得到整体想法,因此我现在在这里寻求帮助.

我想要做的是让两个Docker容器运行,第一个依赖于第二个.如果我们谈论纯粹的Docker,我可以使用链接容器解决这个问题.到现在为止还挺好.

但是这种方法不适用于跨机器边界,因为Docker无法跨多个主机链接容器.所以我想知道如何做到这一点.

到目前为止我所了解的是,CoreOS关于如何处理这个问题的想法是使用它的etcd服务,它基本上是一个分布式键值存储,可以通过端口在本地的每个主机上访问4001,所以你不必处理(作为消费者etcd)有任何网络细节:只是访问localhost:4001,你没事.

所以,在我看来,我现在认为这意味着当提供服务的Docker旋转时,它会在本地注册自己(即其IP地址和端口)etcd,并etcd负责在整个网络中分发信息.网络.这样,例如,您获得键值对,例如:

RedisService => 192.168.3.132:49236

现在,当另一个Docker容器需要访问a时RedisService,它从其自己的本地获取IP地址和端口etcd,至少一旦信息已经通过网络分发.到现在为止还挺好.

但现在我有一个我无法回答的问题,这让我困惑了几天:当服务出现故障时会发生什么？谁清理了里面的数据etcd？如果未清除,则所有客户端都会尝试访问不再存在的服务.

我现在能想到的唯一(可靠)解决方案是利用etcd数据的TTL功能,但这需要权衡:要么你有相当高的网络流量,因为你需要每隔几秒发送一次心跳,或者你必须忍受过时的数据.两者都不好.

另一个,我能想到的"解决方案"是让服务在停机时注销,但这只适用于计划停机,而不是崩溃,电力,......

那么,你是如何解决这个问题的？

我有一个应用程序,我无法提前知道种子节点进入应用程序配置.因此,应用程序在一个节点上启动,当它在其他节点上启动时,它们使用Cluster.join加入第一个节点上的集群.问题是连接永远不会完成,集群永远不会启动.问题是什么？

我想从HazelcastInsatnce实例中的HazelcastInsatnceImpl中的Hazelcast节点上使用masterIpAddress.

有人知道怎么做吗？

谢谢你的帮助

我该如何设置

群集模式下单台机器中WildFly的多个节点？

如果我想在我的1台机器中创建所有这些多个节点,我应该创建多个独立节点还是多个域节点？

我希望在一台机器中拥有所有节点的原因是因为目前我正在学习并验证它的一些功能.

注意:我提到这个 http://middlewaremagic.com/jboss/?p=1952但是,我一直收到以下错误

ERROR [org.jboss.msc.service.fail] (MSC service thread 1-2) MSC000001: Failed to start service jboss.network.public: org.jboss.msc.service.StartException in service jboss.network.public: JBAS015810: failed to resolve interface public
    at org.jboss.as.server.services.net.NetworkInterfaceService.start(NetworkInterfaceService.java:96) [wildfly-server-8.2.0.Final.jar:8.2.0.Final]
    at org.jboss.msc.service.ServiceControllerImpl$StartTask.startService(ServiceControllerImpl.java:1948) [jboss-msc-1.2.2.Final.jar:1.2.2.Final]
    at org.jboss.msc.service.ServiceControllerImpl$StartTask.run(ServiceControllerImpl.java:1881) [jboss-msc-1.2.2.Final.jar:1.2.2.Final]
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) [rt.jar:1.8.0_25]
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) [rt.jar:1.8.0_25]
    at java.lang.Thread.run(Thread.java:745) [rt.jar:1.8.0_25]

更新了对独立与域的理解:群集中多个节点提供的HA或故障转移功能在独立模式或域模式之间是相同的.不同之处在于,在域模式下,它允许管理员通过单个(域控制器)节点的管理控制台管理/部署所有节点.这个URL有一个很好的解释

参考:https://docs.jboss.org/author/display/WFLY8/Admin+Guide#AdminGuide-

更新:截至目前为了学习目的,我已经配置为使用域模式在我的机器上运行多个节点blog.arungupta.me/wildfly-8-clustering-and-session-failover

我是Spark的新手.我在多个地方读过在RDD上使用cache()会导致它存储在内存中但是到目前为止我还没有找到关于"如何确定数据的最大大小"的明确指南或经验法则塞进记忆？如果我调用"缓存"的数据量超过内存,会发生什么？它会导致我的工作失败还是仍然会对集群性能产生明显影响？

谢谢!