标签: cluster-computing

MPI还是套接字?

我正在开发一个松散耦合的集群来进行一些数据处理.网络代码和处理代码已经到位,但我们正在评估我们方法中的不同方法.现在,正如我们应该的那样,我们在性能问题上受到I/O限制,我们正试图减少这个瓶颈.显然,像Infiniband这样的更快的交换机会很棒,但是我们无法承受抛弃我们所拥有的东西并获得新设备的奢侈品.

我提出的问题是这个.在群集上完成的所有传统和严重的HPC应用程序通常通过消息传递与直接通过套接字发送来实现.这对性能有什么好处?如果我们从套接字切换,我们应该看到加速吗?

c c++ hpc cluster-computing

8
推荐指数
2
解决办法
6145
查看次数

从C#管理Windows群集

我试图在C#中启动/停止基于Windows的集群,下面是我到目前为止使用的代码...当我到达下面的TakeOffLine函数时,我从System.Management.ManagementStatus得到一个"未找到"异常.未找到.不知道到底发现了什么?如果有(替代)更好的方法,请告诉我.

谢谢!

using System.Management;
class App
{
    public static void Main()
    {
        string clusterName = "clusterHex";    // cluster alias
        string custerGroupResource = "clusterHex.internal.com"; // Cluster group name

        ConnectionOptions options = new ConnectionOptions();
        options.Authentication = System.Management.AuthenticationLevel.PacketPrivacy;

        // Connect with the mscluster WMI namespace on the cluster named "MyCluster"
        ManagementScope s = new ManagementScope("\\\\" + clusterName +
            "\\root\\mscluster", options);

        ManagementPath p = new ManagementPath("Mscluster_Clustergroup.Name='" + custerGroupResource + "'");

        using (ManagementObject clrg = new ManagementObject(s, p, null))
        {
            // Take clustergroup off line …
Run Code Online (Sandbox Code Playgroud)

.net c# cluster-computing

8
推荐指数
1
解决办法
3422
查看次数

Go中的集群计算

Go中是否有集群计算框架?(我希望将多个PC组合在一起进行自定义并行计算,并想知道Go是否适合使用).

cluster-computing go

8
推荐指数
1
解决办法
6483
查看次数

YarnException:未经授权的启动容器的请求

我在3个集群上设置了hadoop2.2.0.一切都很顺利.NodeManager和Datanode在每个集群中启动.但是,当我运行wordcount示例时,会发生100%映射,并给出以下异常:

map 100% reduce 0%
13/11/28 09:57:15 INFO mapreduce.Job: Task Id : attempt_1385611768688_0001_r_000000_0, Status : FAILED
Container launch failed for container_1385611768688_0001_01_000003 : org.apache.hadoop.yarn.exceptions.
YarnException: Unauthorized request to start container.
This token is expired. current time is 1385612996018 found 1385612533275
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
Run Code Online (Sandbox Code Playgroud)

我已经通过互联网找出解决方案.但我找不到.帮帮我.

java hadoop mapreduce cluster-computing hadoop-yarn

8
推荐指数
1
解决办法
6748
查看次数

在docker容器上运行hadoop集群

我想运行一个多节点hadoop集群,其中每个节点位于不同主机上的docker容器中.这个图像 - https://github.com/sequenceiq/hadoop-docker可以很好地在伪分布式模式下启动hadoop,修改它的最简单方法是将每个节点放在单独的ec2主机上的不同容器中吗?

networking hadoop cluster-computing amazon-ec2 docker

8
推荐指数
1
解决办法
2109
查看次数

具有Docker的多节点Hadoop集群

我正在计划基于环境的多节点Hadoop集群的阶段Docker.所以它应该基于轻量级易用的虚拟化系统.当前架构(关于文档)包含1个主节点和3个从节点.该主机使用HDFS文件系统和KVM虚拟化.整个云由管理Cloudera Manager.此群集上安装了多个Hadoop模块.还有一个NodeJS数据上传服务.这次我应该以架构为Docker基础.我已阅读了几篇教程并提出了一些意见,但也提出了一些问题.

A.您怎么看?https://github.com/Lewuathe/docker-hadoop-cluster是我项目的良好基础吗?我发现了一个官方图片,但它是单节点的.

B.如果我想在单个容器中进行此操作,系统要求将如何变化?这将是很好的,因为这种架构应该在不同的位置工作,因此可以在这些位置之间轻松传输更改.这些所谓的克隆之间的同步将是重要的.

C.你有其他想法,也许是最佳做法?

hadoop cluster-computing hdfs cloudera docker

8
推荐指数
1
解决办法
7152
查看次数

分布式张量流如何工作?(tf.train.Server问题)

我对tensorflow的新选项有一些麻烦,它允许我们运行分布式张量流.

我只想运行2个tf.constant和2个任务,但我的代码永远不会结束.它看起来像那样:

import tensorflow as tf

cluster = tf.train.ClusterSpec({"local": ["localhost:2222", "localhost:2223"]})
server = tf.train.Server(cluster,
                        job_name="local",
                        task_index=0)

with tf.Session(server.target) as sess:
    with tf.device("/job:local/replica:0/task:0"):
        const1 = tf.constant("Hello I am the first constant")
    with tf.device("/job:local/replica:0/task:1"):
        const2 = tf.constant("Hello I am the second constant")
    print sess.run([const1, const2])
Run Code Online (Sandbox Code Playgroud)

我有以下代码(只有一个localhost:2222):

import tensorflow as tf

cluster = tf.train.ClusterSpec({"local": ["localhost:2222"]})
server = tf.train.Server(cluster,
                        job_name="local",
                        task_index=0)

with tf.Session(server.target) as sess:
    with tf.device("/job:local/replica:0/task:0"):
        const1 = tf.constant("Hello I am the first constant")
        const2 = tf.constant("Hello I am the second constant")
    print …
Run Code Online (Sandbox Code Playgroud)

python distributed cluster-computing server tensorflow

8
推荐指数
1
解决办法
1184
查看次数

为什么在pyspark中"n个任务的序列化结果(XXXX MB)"可能大于"spark.driver.memory"?

我使用这些设置(以及其他)启动了一个spark作业:

spark.driver.maxResultSize  11GB
spark.driver.memory         12GB
Run Code Online (Sandbox Code Playgroud)

我正在调试我的pyspark工作,它一直给我错误:

serialized results of 16 tasks (17.4 GB) is bigger than spark.driver.maxResultSize (11 GB)
Run Code Online (Sandbox Code Playgroud)

所以,我在配置设置中增加了spark.driver.maxResultSizeto 18 G.而且,它工作!!

现在,这很有趣,因为在这两种情况下spark.driver.memory是SMALLER比系列化返回结果.

为什么允许这样做?我认为这是不可能的,因为序列化的结果是17.4 GB在我调试的时候,这超过了驱动程序的大小12 GB,如上所示?

这怎么可能?

buffer jvm cluster-computing apache-spark pyspark

8
推荐指数
1
解决办法
374
查看次数

如何在Elixir/Phoenix群集中分发持久连接?

所以这个问题困扰着我,我实际上并不需要这种规模,我只是好奇.最近,Chris Mccord使用Elixir/Phoenix在一个盒子里获得了200万个持久连接.如果我在一个集群中有3个盒子,每个盒子处理200万个持久连接:

  1. 这是否意味着负载均衡器必须保留600万个持久连接,或者是否可以将连接转发到后端服务器并关闭负载均衡器上的连接?
  2. 我是否必须使用客户端中的某些逻辑来分发连接并避免单个入口点?喜欢的东西box1.foo.com,box2.foo.com,box3.foo.com并告诉客户端连接到其中的一个?

我知道答案可能是特定于应用程序的,但是请您举例说明如何实现这种规模?同样,这只是一个思考练习,我无法在任何地方找到答案,我对水平缩放感兴趣.

谢谢.

erlang load-balancing cluster-computing elixir horizontal-scaling

8
推荐指数
1
解决办法
922
查看次数

Elasticsearch 5.0.0.群集节点未加入

好吧,这不应该是这么难,我试图在elasticsearch集群中运行2个节点,并在尝试启动node-1时获得异常(node-2是master已经启动).对两个实例使用elasticsearch v 5.0.0

异常:无法向master发送join请求,原因是RemoteTransportException无法添加节点,发现现有节点具有相同的id但是是不同的节点实例]

节点1配置:

node.name:SANNNNN-1

network.host:10.3.185.250

discovery.zen.ping.unicast.hosts:["10.3.185.251:9300"]

节点2配置:

node.name:SAN-2

network.host:10.3.185.251

discovery.zen.ping.unicast.hosts:["10.3.185.251:9300"]

节点2上的完全异常:

[INFO] [oedzZenDiscovery] [SANNNNN-1]无法向master [{SAN-2} {DxExoYHHTu2-rFvuvQSuEg} {OfYBe97HQCmcha63CFiYlQ} {10.3.185.251} {10.3.185.251:9300}]发送加入请求,原因[RemoteTransportException [ [SAN-2] [10.3.185.251:9300] [内部:发现/禅/加入]]; 嵌套:IllegalArgumentException [无法添加节点{SANNNNN-1} {DxExoYHHTu2-rFvuvQSuEg} {hP4gLRugRgWzSuNnEhGHSw} {10.3.185.250} {10.3.185.250:9300},找到现有节点{SAN-2} {DxExoYHHTu2-rFvuvQSuEg} {OfYBe97HQCmcha63CFiYlQ {10.3.185.251} {10.3.185.251:9300}具有相同的id但是是不同的节点实例]; ]

exception cluster-computing elasticsearch

8
推荐指数
1
解决办法
2682
查看次数