我正在开发一个松散耦合的集群来进行一些数据处理.网络代码和处理代码已经到位,但我们正在评估我们方法中的不同方法.现在,正如我们应该的那样,我们在性能问题上受到I/O限制,我们正试图减少这个瓶颈.显然,像Infiniband这样的更快的交换机会很棒,但是我们无法承受抛弃我们所拥有的东西并获得新设备的奢侈品.
我提出的问题是这个.在群集上完成的所有传统和严重的HPC应用程序通常通过消息传递与直接通过套接字发送来实现.这对性能有什么好处?如果我们从套接字切换,我们应该看到加速吗?
我试图在C#中启动/停止基于Windows的集群,下面是我到目前为止使用的代码...当我到达下面的TakeOffLine函数时,我从System.Management.ManagementStatus得到一个"未找到"异常.未找到.不知道到底发现了什么?如果有(替代)更好的方法,请告诉我.
谢谢!
using System.Management;
class App
{
public static void Main()
{
string clusterName = "clusterHex"; // cluster alias
string custerGroupResource = "clusterHex.internal.com"; // Cluster group name
ConnectionOptions options = new ConnectionOptions();
options.Authentication = System.Management.AuthenticationLevel.PacketPrivacy;
// Connect with the mscluster WMI namespace on the cluster named "MyCluster"
ManagementScope s = new ManagementScope("\\\\" + clusterName +
"\\root\\mscluster", options);
ManagementPath p = new ManagementPath("Mscluster_Clustergroup.Name='" + custerGroupResource + "'");
using (ManagementObject clrg = new ManagementObject(s, p, null))
{
// Take clustergroup off line …Run Code Online (Sandbox Code Playgroud) Go中是否有集群计算框架?(我希望将多个PC组合在一起进行自定义并行计算,并想知道Go是否适合使用).
我在3个集群上设置了hadoop2.2.0.一切都很顺利.NodeManager和Datanode在每个集群中启动.但是,当我运行wordcount示例时,会发生100%映射,并给出以下异常:
map 100% reduce 0%
13/11/28 09:57:15 INFO mapreduce.Job: Task Id : attempt_1385611768688_0001_r_000000_0, Status : FAILED
Container launch failed for container_1385611768688_0001_01_000003 : org.apache.hadoop.yarn.exceptions.
YarnException: Unauthorized request to start container.
This token is expired. current time is 1385612996018 found 1385612533275
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
Run Code Online (Sandbox Code Playgroud)
我已经通过互联网找出解决方案.但我找不到.帮帮我.
我想运行一个多节点hadoop集群,其中每个节点位于不同主机上的docker容器中.这个图像 - https://github.com/sequenceiq/hadoop-docker可以很好地在伪分布式模式下启动hadoop,修改它的最简单方法是将每个节点放在单独的ec2主机上的不同容器中吗?
我正在计划基于环境的多节点Hadoop集群的阶段Docker.所以它应该基于轻量级易用的虚拟化系统.当前架构(关于文档)包含1个主节点和3个从节点.该主机使用HDFS文件系统和KVM虚拟化.整个云由管理Cloudera Manager.此群集上安装了多个Hadoop模块.还有一个NodeJS数据上传服务.这次我应该以架构为Docker基础.我已阅读了几篇教程并提出了一些意见,但也提出了一些问题.
A.您怎么看?https://github.com/Lewuathe/docker-hadoop-cluster是我项目的良好基础吗?我发现了一个官方图片,但它是单节点的.
B.如果我想在单个容器中进行此操作,系统要求将如何变化?这将是很好的,因为这种架构应该在不同的位置工作,因此可以在这些位置之间轻松传输更改.这些所谓的克隆之间的同步将是重要的.
C.你有其他想法,也许是最佳做法?
我对tensorflow的新选项有一些麻烦,它允许我们运行分布式张量流.
我只想运行2个tf.constant和2个任务,但我的代码永远不会结束.它看起来像那样:
import tensorflow as tf
cluster = tf.train.ClusterSpec({"local": ["localhost:2222", "localhost:2223"]})
server = tf.train.Server(cluster,
job_name="local",
task_index=0)
with tf.Session(server.target) as sess:
with tf.device("/job:local/replica:0/task:0"):
const1 = tf.constant("Hello I am the first constant")
with tf.device("/job:local/replica:0/task:1"):
const2 = tf.constant("Hello I am the second constant")
print sess.run([const1, const2])
Run Code Online (Sandbox Code Playgroud)
我有以下代码(只有一个localhost:2222):
import tensorflow as tf
cluster = tf.train.ClusterSpec({"local": ["localhost:2222"]})
server = tf.train.Server(cluster,
job_name="local",
task_index=0)
with tf.Session(server.target) as sess:
with tf.device("/job:local/replica:0/task:0"):
const1 = tf.constant("Hello I am the first constant")
const2 = tf.constant("Hello I am the second constant")
print …Run Code Online (Sandbox Code Playgroud) 我使用这些设置(以及其他)启动了一个spark作业:
spark.driver.maxResultSize 11GB
spark.driver.memory 12GB
Run Code Online (Sandbox Code Playgroud)
我正在调试我的pyspark工作,它一直给我错误:
serialized results of 16 tasks (17.4 GB) is bigger than spark.driver.maxResultSize (11 GB)
Run Code Online (Sandbox Code Playgroud)
所以,我在配置设置中增加了spark.driver.maxResultSizeto 18 G.而且,它工作!!
现在,这很有趣,因为在这两种情况下spark.driver.memory是SMALLER比系列化返回结果.
为什么允许这样做?我认为这是不可能的,因为序列化的结果是17.4 GB在我调试的时候,这超过了驱动程序的大小12 GB,如上所示?
这怎么可能?
所以这个问题困扰着我,我实际上并不需要这种规模,我只是好奇.最近,Chris Mccord使用Elixir/Phoenix在一个盒子里获得了200万个持久连接.如果我在一个集群中有3个盒子,每个盒子处理200万个持久连接:
box1.foo.com,box2.foo.com,box3.foo.com并告诉客户端连接到其中的一个?我知道答案可能是特定于应用程序的,但是请您举例说明如何实现这种规模?同样,这只是一个思考练习,我无法在任何地方找到答案,我对水平缩放感兴趣.
谢谢.
erlang load-balancing cluster-computing elixir horizontal-scaling
好吧,这不应该是这么难,我试图在elasticsearch集群中运行2个节点,并在尝试启动node-1时获得异常(node-2是master已经启动).对两个实例使用elasticsearch v 5.0.0
异常:无法向master发送join请求,原因是RemoteTransportException无法添加节点,发现现有节点具有相同的id但是是不同的节点实例]
节点1配置:
node.name:SANNNNN-1
network.host:10.3.185.250
discovery.zen.ping.unicast.hosts:["10.3.185.251:9300"]
节点2配置:
node.name:SAN-2
network.host:10.3.185.251
discovery.zen.ping.unicast.hosts:["10.3.185.251:9300"]
节点2上的完全异常:
[INFO] [oedzZenDiscovery] [SANNNNN-1]无法向master [{SAN-2} {DxExoYHHTu2-rFvuvQSuEg} {OfYBe97HQCmcha63CFiYlQ} {10.3.185.251} {10.3.185.251:9300}]发送加入请求,原因[RemoteTransportException [ [SAN-2] [10.3.185.251:9300] [内部:发现/禅/加入]]; 嵌套:IllegalArgumentException [无法添加节点{SANNNNN-1} {DxExoYHHTu2-rFvuvQSuEg} {hP4gLRugRgWzSuNnEhGHSw} {10.3.185.250} {10.3.185.250:9300},找到现有节点{SAN-2} {DxExoYHHTu2-rFvuvQSuEg} {OfYBe97HQCmcha63CFiYlQ {10.3.185.251} {10.3.185.251:9300}具有相同的id但是是不同的节点实例]; ]
hadoop ×3
docker ×2
.net ×1
amazon-ec2 ×1
apache-spark ×1
buffer ×1
c ×1
c# ×1
c++ ×1
cloudera ×1
distributed ×1
elixir ×1
erlang ×1
exception ×1
go ×1
hadoop-yarn ×1
hdfs ×1
hpc ×1
java ×1
jvm ×1
mapreduce ×1
networking ×1
pyspark ×1
python ×1
server ×1
tensorflow ×1