是否有可能通过编写telnet服务器来创建python集群,然后telnet-ing命令和来回输出?有没有人对python计算集群有更好的想法?PS.对于python 3.x最好,如果有人知道如何.
我听过很多次这两个词,
但总是困惑.
我猜:
这有区别吗?
由于Postgres现在具有内置的复制/集群/ HA支持,它与MySQL复制/集群/ HA 的内置特性和功能相比如何?
Postgres与MySQL的PRO/CON严格地与复制/集群/ HA功能有什么关系?
请不要将其作为一种产品的爆炸产品而不是另一种产品.我只是在寻找一个客观的功能矩阵和两种产品的支持,这两种产品严格地与复制/集群/ HA功能相关.
更新:
我找到了这个非常古老的比较矩阵.如果有人更新它并包含MySQL - 这将回答我的问题.
--------------------------------------------------------------------------------------------------------------------------------------------
Product | License | Replication Method | (A)Synch? | Connection Pooling (Y/N) | Load Balancing (Y/N) | Query Partioning (Y/N) |
--------------------------------------------------------------------------------------------------------------------------------------------
MYSQL | | | | | | |
--------------------------------------------------------------------------------------------------------------------------------------------
POSTGRES | | | | | | |
--------------------------------------------------------------------------------------------------------------------------------------------
Run Code Online (Sandbox Code Playgroud) 我有兴趣为在Windows群集中运行的应用程序运行Lucene.NET.搜索问题本身相当小,但仍然需要处理无状态/集群问题.
我知道SOLR处理我的场景(以及更多),但是需要一个servlet容器(和Java)给我带来了一些问题.但是,根据基于Lucene.NET的方法的复杂性,它可能仍然是一个小瓶选项.
我现在的问题是我有什么选择来处理在多个主机上运行的问题:
坚持共享存储,对所有节点都是通用的?Lucene.NET会透明地处理并发吗?服务器是否会使用RAM进行缓存,如果是这样,Lucene.NET会根据更新的文件透明地处理这种情况的失效吗?
复制?每个服务器都有自己所需的一切副本.在任何更新中,所有服务器都会获得一个新的副本(如果这相当简单,则为diff).现有的工具,或由我来处理?
工作负载分区/分片?每个服务器只处理自己的数据,包括读取和更新.处理这个的工具,加入部分结果等?
我在初步调查中可能错过的其他选择?
在尝试本地版本时,我的Lucene目录大约有几百兆.从长期来看,我可能会看到1-5 GB.如果更新的频率是一个困难,我可以相当灵活地控制它.并发读取/搜索负载预计非常温和.
我已经成功设置了一个包含6个节点的Hadoop集群(master,salve <1-5>)
我试图看到运行的服务使用:
sudo netstat -plten | grep java
hduser@ubuntu:~$ sudo netstat -plten | grep java
Run Code Online (Sandbox Code Playgroud)
tcp 0 0 0.0.0.0:50070 0.0.0.0:*LISTEN 1000 93307 11384/java
tcp 0 0 0.0.0.0:44440 0.0.0.0:*LISTEN 1000 92491 11571/java
tcp 0 0 0.0.0.0:40633 0.0.0.0:*LISTEN 1000 92909 11758/java
tcp 0 0 0.0.0.0:50010 0.0.0.0:*LISTEN 1000 93449 11571/java
tcp 0 0 0.0.0.0:50075 0.0.0.0:*LISTEN 1000 93673 11571/java
tcp 0 0 0.0. 0.0:50020 0.0.0.0:*LISTEN 1000 93692 11571/java
tcp …
据我所知,答案是否定的.OpenCL专为多核系统而设计.
但是,有没有办法在多台计算机上使用OpenCL(每台计算机都是多核系统)?如果没有,是否需要任何其他工具,框架?
我读了一些关于分布式计算,集群计算,网格计算的文章......但我找不到满意的答案
任何想法将不胜感激
谢谢 :)
parallel-processing distributed-computing cluster-computing grid-computing opencl
首先,比较这两种产品是否正确?如果是,它们之间的主要区别是什么?
我的目标是使用Kafka作为源和Flink作为流处理引擎来设置高吞吐量集群.这就是我所做的.
我在主服务器和从服务器上设置了以下配置的双节点集群.
主flink-conf.yaml
jobmanager.rpc.address: <MASTER_IP_ADDR> #localhost
jobmanager.rpc.port: 6123
jobmanager.heap.mb: 256
taskmanager.heap.mb: 512
taskmanager.numberOfTaskSlots: 50
parallelism.default: 100
Run Code Online (Sandbox Code Playgroud)
奴隶flink-conf.yaml
jobmanager.rpc.address: <MASTER_IP_ADDR> #localhost
jobmanager.rpc.port: 6123
jobmanager.heap.mb: 512 #256
taskmanager.heap.mb: 1024 #512
taskmanager.numberOfTaskSlots: 50
parallelism.default: 100
Run Code Online (Sandbox Code Playgroud)
主节点上的从属文件如下所示:
<SLAVE_IP_ADDR>
localhost
Run Code Online (Sandbox Code Playgroud)
两个节点上的flink设置位于具有相同名称的文件夹中.我通过运行在master上启动集群
bin/start-cluster-streaming.sh
Run Code Online (Sandbox Code Playgroud)
这将启动从属节点上的任务管理器.
我的输入源是Kafka.这是片段.
final StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
DataStreamSource<String> stream =
env.addSource(
new KafkaSource<String>(kafkaUrl,kafkaTopic, new SimpleStringSchema()));
stream.addSink(stringSinkFunction);
env.execute("Kafka stream");
Run Code Online (Sandbox Code Playgroud)
这是我的Sink功能
public class MySink implements SinkFunction<String> {
private static final long serialVersionUID = 1L;
public void invoke(String arg0) throws Exception {
processMessage(arg0);
System.out.println("Processed Message");
} …Run Code Online (Sandbox Code Playgroud) 以下(简化)脚本在unix集群的主节点(4个虚拟核心)上正常工作.
library(foreach)
library(doParallel)
nc = detectCores()
cl = makeCluster(nc)
registerDoParallel(cl)
foreach(i = 1:nrow(data_frame_1), .packages = c("package_1","package_2"), .export = c("variable_1","variable_2")) %dopar% {
row_temp = data_frame_1[i,]
function(argument_1 = row_temp, argument_2 = variable_1, argument_3 = variable_2)
}
stopCluster(cl)
Run Code Online (Sandbox Code Playgroud)
我想利用集群中的16个节点(16 * 4总共虚拟核心).
我想我需要做的就是更改指定的并行后端makeCluster.但是我应该怎么做呢?文档不是很清楚.
基于这个相当古老的(2013年)帖子http://www.r-bloggers.com/the-wonders-of-foreach/,似乎我应该更改默认类型(sock或者MPI- 哪个可以在unix上工作? )
编辑
来自foreach作者的这个小插图:
默认情况下,doParallel在类Unix系统上使用多核功能,在Windows上使用snow功能.请注意,多核功能仅在一台计算机上运行任务,而不是在一组计算机上运行.但是,您可以使用snow功能在群集上执行,使用类Unix操作系统,Windows甚至组合.
什么you can use the snow functionality意思?我该怎么办?
parallel-processing r cluster-computing parallel-foreach snow
我正在尝试修复内存不足的问题,我想知道是否需要spark-defaults.conf在spark home文件夹中的默认配置文件()中更改这些设置.或者,如果我可以在代码中设置它们.
我看到了这个问题PySpark:java.lang.OutofMemoryError:Java堆空间,它说它取决于我是否在client模式下运行.我在集群上运行spark并使用独立监控它.
但是,我怎么弄清楚我是否在client模式下运行spark ?
.net ×1
apache-flink ×1
apache-kafka ×1
apache-spark ×1
coreos ×1
database ×1
hadoop ×1
localhost ×1
lucene.net ×1
mesos ×1
mesosphere ×1
mysql ×1
opencl ×1
postgresql ×1
pyspark ×1
python ×1
python-3.x ×1
r ×1
replication ×1
snow ×1
streaming ×1
terminology ×1