标签: cluster-computing

Python计算集群

是否有可能通过编写telnet服务器来创建python集群,然后telnet-ing命令和来回输出?有没有人对python计算集群有更好的想法?PS.对于python 3.x最好,如果有人知道如何.

python parallel-processing cluster-computing python-3.x

7
推荐指数
3
解决办法
2万
查看次数

在群集配置中进行Hibernate搜索?

我正在开发一个Java Web应用程序,使用JBoss Seam作为应用程序框架.我想利用Hibernate Search来提供实体搜索功能.整合已经很好,我正在接近部署.生产中的应用程序的设置将是:

  • 2(或更多)Tomcat应用服务器,负载均衡
  • 后端的PostgreSQL数据库

我的问题是,我如何配置Hibernate Search,以便在App Server#1上持有实体时,在App Server#2上更新本地Lucene索引,反之亦然?Hibernate Search是否支持任何类型的群集配置?由于持久化可能发生在任何一个负载均衡的应用服务器上,因此设置必须是某种主 - 主.

有没有人有任何关于如何解决这个问题的建议?感谢您的帮助!

java tomcat hibernate cluster-computing hibernate-search

7
推荐指数
1
解决办法
2982
查看次数

查找在群集上运行的多线程程序的分段错误

gdb在交互模式下运行简单程序时,使用它非常简单,以便找到分段错误.但是考虑一下我们有一个多线程程序 - 写入pthread- 提交给集群节点(通过qsub命令).所以我们没有互动操作.

我们如何定位分段错误?我正在寻找一般方法,程序或测试工具.我不能提供一个可重现的例子,因为程序非常大并且在某些未知情况下会在集群上崩溃.

我需要在这种困难的情况下找到问题,因为程序在具有任意数量线程的本地机器上正确运行.

c++ multithreading hpc cluster-computing segmentation-fault

7
推荐指数
1
解决办法
538
查看次数

H2群集设置

由于H2支持群集,因此过程非常类似于:

  • 启动服务器
  • 用于java org.h2.tools.CreateCluster在所需群集中复制数据库

并且知道CreateCluster期望一个目标,一个源和一个集群端点列表,我有以下问题:

  1. 当我说为了启动3个服务器(A,B和C)的集群时,我是正确的,我需要准确知道集群上的服务器数量,因为每个服务器都需要有用于SET CLUSTER语句的数据库服务器列表org.h2.tools.CreateCluster.process(String, String, String, String, String)方法调用.

    • 启动服务器A;
    • 启动服务器B;
    • 启动服务器C;
    • 在B机器CreateCluster上执行,A为源,B为目标,A,B,C为簇列表;
    • 在B机器CreateCluster上执行,以B为源,C为目标,A,B,C为簇列表;
  2. 假设我正在启动服务进程并启动A和B,应用程序开始在集群上执行一些SQL.找不到C,C会被处理掉吗?

  3. 继续在第二个问题上启动启动过程,我启动了C,我已经准备好执行CreateClusterB作为源和A,B,C作为集群节点列表,在这个时刻发生了两件事:

    • B将被锁定在独占模式(SET EXCLUSIVE 2)由于CreateCluster
    • SQL SET CLUSTER 'A,B,C'将在B和C上执行

B被锁定时执行的SQL是否在A中执行?如果是这样他们已经承诺?当B被释放后,客户还在等待吗?之后会通知C这个命令吗?

java transactions cluster-computing h2

7
推荐指数
0
解决办法
1720
查看次数

什么是农场,而不是网格或集群?

我试图理解"农场"在计算中的意义,因此,如果一个农场可以作为一个集群示例,那么必须有一个农场独立于集群的东西.

它与网格有什么不同?

这些概念是否具有一般意义,例如,谈论Web服务器只是一种常见的情景,或者它们是否完全不同于上下文?如果是这样,有什么不同的含义(或最常见的含义)?

另外,我应该在其他地方问这个吗?(如果是的话,我表示道歉).

parallel-processing grid distributed-computing cluster-computing web-farm

7
推荐指数
1
解决办法
4767
查看次数

Quartz Scheduler:在每个集群节点上触发一些作业,每个集群只触发一些作业

我在集群环境中使用Quartz Scheduler作为Spring bean.

我有一些使用@NotConcurrent注释的作业,它们每个集群运行一次(即仅在一个节点中运行,仅在一个线程中).

现在我需要在集群的每个节点上运行一个作业.我删除了@NotConcurrent注释,但它只在一台机器上的每个线程上运行.它不会在其他节点上被触发.

我应该用什么来诠释这份工作?

示例:Job1 NotConcurrent annotated安排在午夜=>它每隔午夜只在一台机器上触发.Job2注释安排在午夜=>它每隔午夜在每台机器上启动.

谢谢.

java spring cluster-computing quartz-scheduler job-scheduling

7
推荐指数
1
解决办法
6125
查看次数

群集中的Apache Flink流不会与工作人员分离作业

我的目标是使用Kafka作为源和Flink作为流处理引擎来设置高吞吐量集群.这就是我所做的.

我在主服务器和从服务器上设置了以下配置的双节点集群.

主flink-conf.yaml

jobmanager.rpc.address: <MASTER_IP_ADDR> #localhost

jobmanager.rpc.port: 6123

jobmanager.heap.mb: 256

taskmanager.heap.mb: 512

taskmanager.numberOfTaskSlots: 50

parallelism.default: 100
Run Code Online (Sandbox Code Playgroud)

奴隶flink-conf.yaml

jobmanager.rpc.address: <MASTER_IP_ADDR> #localhost

jobmanager.rpc.port: 6123

jobmanager.heap.mb: 512 #256

taskmanager.heap.mb: 1024 #512

taskmanager.numberOfTaskSlots: 50

parallelism.default: 100
Run Code Online (Sandbox Code Playgroud)

主节点上的从属文件如下所示:

<SLAVE_IP_ADDR>
localhost
Run Code Online (Sandbox Code Playgroud)

两个节点上的flink设置位于具有相同名称的文件夹中.我通过运行在master上启动集群

bin/start-cluster-streaming.sh
Run Code Online (Sandbox Code Playgroud)

这将启动从属节点上的任务管理器.

我的输入源是Kafka.这是片段.

final StreamExecutionEnvironment env = 
    StreamExecutionEnvironment.getExecutionEnvironment();

DataStreamSource<String> stream = 
    env.addSource(
    new KafkaSource<String>(kafkaUrl,kafkaTopic, new SimpleStringSchema()));
stream.addSink(stringSinkFunction);

env.execute("Kafka stream");
Run Code Online (Sandbox Code Playgroud)

这是我的Sink功能

public class MySink implements SinkFunction<String> {

    private static final long serialVersionUID = 1L;

    public void invoke(String arg0) throws Exception {
        processMessage(arg0);
        System.out.println("Processed Message");
    } …
Run Code Online (Sandbox Code Playgroud)

streaming cluster-computing apache-kafka apache-flink

7
推荐指数
1
解决办法
2128
查看次数

在SLURM中运行没有顶级脚本的二进制文件

在SGE/PBS中,我可以像在本地一样向集群提交二进制可执行文件.例如:

qsub -b y -cwd echo hello
Run Code Online (Sandbox Code Playgroud)

将提交一个名为echo的作业,该作业将"hello"一词写入其输出文件.

我如何向SLURM提交类似的工作.它希望文件在第一行有一个hash-bang解释器.在SLURM我得到

$ sbatch echo hello
sbatch: error: This does not look like a batch script.  The first
sbatch: error: line must start with #! followed by the path to an interpreter.
sbatch: error: For instance: #!/bin/sh
Run Code Online (Sandbox Code Playgroud)

或使用pseuodo qsub:

$ qsub echo hello
There was an error running the SLURM sbatch command.
The command was:
'/cm/shared/apps/slurm/14.11.3/bin/sbatch echo hello  2>&1'
and the output was:
'sbatch: error: This does not look like a batch script. …
Run Code Online (Sandbox Code Playgroud)

bash cluster-computing pbs sungridengine slurm

7
推荐指数
1
解决办法
1795
查看次数

R foreach:从单机到集群

以下(简化)脚本在unix集群的主节点(4个虚拟核心)上正常工作.

library(foreach)
library(doParallel)

nc = detectCores()
cl = makeCluster(nc)
registerDoParallel(cl)

foreach(i = 1:nrow(data_frame_1), .packages = c("package_1","package_2"), .export = c("variable_1","variable_2"))  %dopar% {     

    row_temp = data_frame_1[i,]
    function(argument_1 = row_temp, argument_2 = variable_1, argument_3 = variable_2)

}

stopCluster(cl)
Run Code Online (Sandbox Code Playgroud)

我想利用集群中的16个节点(16 * 4总共虚拟核心).

我想我需要做的就是更改指定的并行后端makeCluster.但是我应该怎么做呢?文档不是很清楚.

基于这个相当古老的(2013年)帖子http://www.r-bloggers.com/the-wonders-of-foreach/,似乎我应该更改默认类型(sock或者MPI- 哪个可以在unix上工作? )

编辑

来自foreach作者的这个小插图:

默认情况下,doParallel在类Unix系统上使用多核功能,在Windows上使用snow功能.请注意,多核功能仅在一台计算机上运行任务,而不是在一组计算机上运行.但是,您可以使用snow功能在群集上执行,使用类Unix操作系统,Windows甚至组合.

什么you can use the snow functionality意思?我该怎么办?

parallel-processing r cluster-computing parallel-foreach snow

7
推荐指数
1
解决办法
3248
查看次数

如何在Android中使用群集算法时使用标记标记

        Marker marker = mMap.addMarker(markerOptions);
        marker.setTag(poi.getKey());
        marker.hideInfoWindow();
        builder.include(marker.getPosition()); 
Run Code Online (Sandbox Code Playgroud)

这段代码正常,因为我把manuel作为manuel.我做了一切marker.tag().我使用哈希键来重新检查我的引脚.

mClusterManager.addItem() 我想用这个方法.但我也想拿标记标记.所以我不想添加到地图中Marker marker = mMap.addMarker(markerOptions);

我怎么解决这个问题?

我想解释更多细节.

public class PoiItem implements ClusterItem{
private final LatLng mPosition;
private String mTitle;
private String mSnippet;
private String tag;
private ResponsePoi pois;

public PoiItem(ResponsePoi poi,double lat, double lng,String tag) {
    mPosition = new LatLng(lat, lng);
    pois = poi;
    mTitle = poi.getName();
    mSnippet = poi.getAddress();
    this.tag = tag;
}


 private void setMyCluster(){
        mClusterManager = new ClusterManager<PoiItem>         (MainActivity.this,mMap);
        mMap.setOnCameraIdleListener(mClusterManager);
        mMap.setOnMarkerClickListener(mClusterManager);
    }

    setMyCluster();
    for(HashMap.Entry<String, ResponsePoi> poi …
Run Code Online (Sandbox Code Playgroud)

android google-maps dictionary cluster-computing marker

7
推荐指数
1
解决办法
1618
查看次数