标签: cluster-computing

Python计算集群

是否有可能通过编写telnet服务器来创建python集群,然后telnet-ing命令和来回输出?有没有人对python计算集群有更好的想法?PS.对于python 3.x最好,如果有人知道如何.

python parallel-processing cluster-computing python-3.x

7
推荐指数
3
解决办法
2万
查看次数

那么分布式和集群式的区别是什么?

我听过很多次这两个词,

但总是困惑.

我猜:

  1. 对于分布式服务器,每个服务器都有自己唯一的服务数据
  2. 对于群集服务器,每个服务器应该具有相同的数据,给予足够的时间进行同步

这有区别吗?

terminology distributed-computing cluster-computing

7
推荐指数
1
解决办法
3981
查看次数

Postgres 9.1复制与MySQL复制

由于Postgres现在具有内置的复制/集群/ HA支持,它与MySQL复制/集群/ HA 的内置特性和功能相比如何?

Postgres与MySQL的PRO/CON严格地与复制/集群/ HA功能有什么关系?

请不要将其作为一种产品的爆炸产品而不是另一种产品.我只是在寻找一个客观的功能矩阵和两种产品的支持,这两种产品严格地与复制/集群/ HA功能相关.


更新:

我找到了这个非常古老的比较矩阵.如果有人更新它并包含MySQL - 这将回答我的问题.

--------------------------------------------------------------------------------------------------------------------------------------------
Product  |  License  |  Replication Method  |  (A)Synch?  |  Connection Pooling (Y/N)  |  Load Balancing (Y/N)  |  Query Partioning (Y/N)  |
--------------------------------------------------------------------------------------------------------------------------------------------
MYSQL    |           |                      |             |                            |                        |                          |
--------------------------------------------------------------------------------------------------------------------------------------------
POSTGRES |           |                      |             |                            |                        |                          |
--------------------------------------------------------------------------------------------------------------------------------------------
Run Code Online (Sandbox Code Playgroud)

mysql database postgresql replication cluster-computing

7
推荐指数
0
解决办法
1450
查看次数

Lucene.NET集群的选项?

我有兴趣为在Windows群集中运行的应用程序运行Lucene.NET.搜索问题本身相当小,但仍然需要处理无状态/集群问题.

我知道SOLR处理我的场景(以及更多),但是需要一个servlet容器(和Java)给我带来了一些问题.但是,根据基于Lucene.NET的方法的复杂性,它可能仍然是一个小瓶选项.

我现在的问题是我有什么选择来处理在多个主机上运行的问题:

  • 坚持共享存储,对所有节点都是通用的?Lucene.NET会透明地处理并发吗?服务器是否会使用RAM进行缓存,如果是这样,Lucene.NET会根据更新的文件透明地处理这种情况的失效吗?

  • 复制?每个服务器都有自己所需的一切副本.在任何更新中,所有服务器都会获得一个新的副本(如果这相当简单,则为diff).现有的工具,或由我来处理?

  • 工作负载分区/分片?每个服务器只处理自己的数据,包括读取和更新.处理这个的工具,加入部分结果等?

  • 我在初步调查中可能错过的其他选择?

在尝试本地版本时,我的Lucene目录大约有几百兆.从长期来看,我可能会看到1-5 GB.如果更新的频率是一个困难,我可以相当灵活地控制它.并发读取/搜索负载预计非常温和.

.net lucene.net cluster-computing

7
推荐指数
1
解决办法
580
查看次数

Hadoop dfs错误:INFO ipc.Client:重试连接到服务器:localhost

我已经成功设置了一个包含6个节点的Hadoop集群(master,salve <1-5>)

  • 格式化namenode - >完成
  • 启动和关闭群集 - >工作正常
  • 执行"hadoop dfs -ls /"会出现此错误 - > 错误:INFO ipc.Client:重试连接到服务器:localhost

我试图看到运行的服务使用:

sudo netstat -plten | grep java
hduser@ubuntu:~$ sudo netstat -plten | grep java
Run Code Online (Sandbox Code Playgroud)

tcp 0 0 0.0.0.0:50070 0.0.0.0:*LISTEN 1000 93307 11384/java
tcp 0 0 0.0.0.0:44440 0.0.0.0:*LISTEN 1000 92491 11571/java
tcp 0 0 0.0.0.0:40633 0.0.0.0:*LISTEN 1000 92909 11758/java
tcp 0 0 0.0.0.0:50010 0.0.0.0:*LISTEN 1000 93449 11571/java
tcp 0 0 0.0.0.0:50075 0.0.0.0:*LISTEN 1000 93673 11571/java
tcp 0 0 0.0. 0.0:50020 0.0.0.0:*LISTEN 1000 93692 11571/java
tcp …

hadoop localhost cluster-computing

7
推荐指数
1
解决办法
2万
查看次数

可以在多台计算机上使用OpenCL吗?

据我所知,答案是否定的.OpenCL专为多核系统而设计.

但是,有没有办法在多台计算机上使用OpenCL(每台计算机都是多核系统)?如果没有,是否需要任何其他工具,框架?

我读了一些关于分布式计算,集群计算,网格计算的文章......但我找不到满意的答案

任何想法将不胜感激

谢谢 :)

parallel-processing distributed-computing cluster-computing grid-computing opencl

7
推荐指数
1
解决办法
4194
查看次数

中间层和核心之间的主要区别

首先,比较这两种产品是否正确?如果是,它们之间的主要区别是什么?

cluster-computing mesos mesosphere coreos

7
推荐指数
1
解决办法
4002
查看次数

群集中的Apache Flink流不会与工作人员分离作业

我的目标是使用Kafka作为源和Flink作为流处理引擎来设置高吞吐量集群.这就是我所做的.

我在主服务器和从服务器上设置了以下配置的双节点集群.

主flink-conf.yaml

jobmanager.rpc.address: <MASTER_IP_ADDR> #localhost

jobmanager.rpc.port: 6123

jobmanager.heap.mb: 256

taskmanager.heap.mb: 512

taskmanager.numberOfTaskSlots: 50

parallelism.default: 100
Run Code Online (Sandbox Code Playgroud)

奴隶flink-conf.yaml

jobmanager.rpc.address: <MASTER_IP_ADDR> #localhost

jobmanager.rpc.port: 6123

jobmanager.heap.mb: 512 #256

taskmanager.heap.mb: 1024 #512

taskmanager.numberOfTaskSlots: 50

parallelism.default: 100
Run Code Online (Sandbox Code Playgroud)

主节点上的从属文件如下所示:

<SLAVE_IP_ADDR>
localhost
Run Code Online (Sandbox Code Playgroud)

两个节点上的flink设置位于具有相同名称的文件夹中.我通过运行在master上启动集群

bin/start-cluster-streaming.sh
Run Code Online (Sandbox Code Playgroud)

这将启动从属节点上的任务管理器.

我的输入源是Kafka.这是片段.

final StreamExecutionEnvironment env = 
    StreamExecutionEnvironment.getExecutionEnvironment();

DataStreamSource<String> stream = 
    env.addSource(
    new KafkaSource<String>(kafkaUrl,kafkaTopic, new SimpleStringSchema()));
stream.addSink(stringSinkFunction);

env.execute("Kafka stream");
Run Code Online (Sandbox Code Playgroud)

这是我的Sink功能

public class MySink implements SinkFunction<String> {

    private static final long serialVersionUID = 1L;

    public void invoke(String arg0) throws Exception {
        processMessage(arg0);
        System.out.println("Processed Message");
    } …
Run Code Online (Sandbox Code Playgroud)

streaming cluster-computing apache-kafka apache-flink

7
推荐指数
1
解决办法
2128
查看次数

R foreach:从单机到集群

以下(简化)脚本在unix集群的主节点(4个虚拟核心)上正常工作.

library(foreach)
library(doParallel)

nc = detectCores()
cl = makeCluster(nc)
registerDoParallel(cl)

foreach(i = 1:nrow(data_frame_1), .packages = c("package_1","package_2"), .export = c("variable_1","variable_2"))  %dopar% {     

    row_temp = data_frame_1[i,]
    function(argument_1 = row_temp, argument_2 = variable_1, argument_3 = variable_2)

}

stopCluster(cl)
Run Code Online (Sandbox Code Playgroud)

我想利用集群中的16个节点(16 * 4总共虚拟核心).

我想我需要做的就是更改指定的并行后端makeCluster.但是我应该怎么做呢?文档不是很清楚.

基于这个相当古老的(2013年)帖子http://www.r-bloggers.com/the-wonders-of-foreach/,似乎我应该更改默认类型(sock或者MPI- 哪个可以在unix上工作? )

编辑

来自foreach作者的这个小插图:

默认情况下,doParallel在类Unix系统上使用多核功能,在Windows上使用snow功能.请注意,多核功能仅在一台计算机上运行任务,而不是在一组计算机上运行.但是,您可以使用snow功能在群集上执行,使用类Unix操作系统,Windows甚至组合.

什么you can use the snow functionality意思?我该怎么办?

parallel-processing r cluster-computing parallel-foreach snow

7
推荐指数
1
解决办法
3248
查看次数

如何知道PySpark应用程序的部署模式?

我正在尝试修复内存不足的问题,我想知道是否需要spark-defaults.conf在spark home文件夹中的默认配置文件()中更改这些设置.或者,如果我可以在代码中设置它们.

我看到了这个问题PySpark:java.lang.OutofMemoryError:Java堆空间,它说它取决于我是否在client模式下运行.我在集群上运行spark并使用独立监控它.

但是,我怎么弄清楚我是否在client模式下运行spark ?

cluster-computing apache-spark pyspark

7
推荐指数
2
解决办法
7750
查看次数