标签: cluster-computing

H2群集设置

由于H2支持群集,因此过程非常类似于:

  • 启动服务器
  • 用于java org.h2.tools.CreateCluster在所需群集中复制数据库

并且知道CreateCluster期望一个目标,一个源和一个集群端点列表,我有以下问题:

  1. 当我说为了启动3个服务器(A,B和C)的集群时,我是正确的,我需要准确知道集群上的服务器数量,因为每个服务器都需要有用于SET CLUSTER语句的数据库服务器列表org.h2.tools.CreateCluster.process(String, String, String, String, String)方法调用.

    • 启动服务器A;
    • 启动服务器B;
    • 启动服务器C;
    • 在B机器CreateCluster上执行,A为源,B为目标,A,B,C为簇列表;
    • 在B机器CreateCluster上执行,以B为源,C为目标,A,B,C为簇列表;
  2. 假设我正在启动服务进程并启动A和B,应用程序开始在集群上执行一些SQL.找不到C,C会被处理掉吗?

  3. 继续在第二个问题上启动启动过程,我启动了C,我已经准备好执行CreateClusterB作为源和A,B,C作为集群节点列表,在这个时刻发生了两件事:

    • B将被锁定在独占模式(SET EXCLUSIVE 2)由于CreateCluster
    • SQL SET CLUSTER 'A,B,C'将在B和C上执行

B被锁定时执行的SQL是否在A中执行?如果是这样他们已经承诺?当B被释放后,客户还在等待吗?之后会通知C这个命令吗?

java transactions cluster-computing h2

7
推荐指数
0
解决办法
1720
查看次数

什么是农场,而不是网格或集群?

我试图理解"农场"在计算中的意义,因此,如果一个农场可以作为一个集群示例,那么必须有一个农场独立于集群的东西.

它与网格有什么不同?

这些概念是否具有一般意义,例如,谈论Web服务器只是一种常见的情景,或者它们是否完全不同于上下文?如果是这样,有什么不同的含义(或最常见的含义)?

另外,我应该在其他地方问这个吗?(如果是的话,我表示道歉).

parallel-processing grid distributed-computing cluster-computing web-farm

7
推荐指数
1
解决办法
4767
查看次数

Quartz Scheduler:在每个集群节点上触发一些作业,每个集群只触发一些作业

我在集群环境中使用Quartz Scheduler作为Spring bean.

我有一些使用@NotConcurrent注释的作业,它们每个集群运行一次(即仅在一个节点中运行,仅在一个线程中).

现在我需要在集群的每个节点上运行一个作业.我删除了@NotConcurrent注释,但它只在一台机器上的每个线程上运行.它不会在其他节点上被触发.

我应该用什么来诠释这份工作?

示例:Job1 NotConcurrent annotated安排在午夜=>它每隔午夜只在一台机器上触发.Job2注释安排在午夜=>它每隔午夜在每台机器上启动.

谢谢.

java spring cluster-computing quartz-scheduler job-scheduling

7
推荐指数
1
解决办法
6125
查看次数

在SLURM中运行没有顶级脚本的二进制文件

在SGE/PBS中,我可以像在本地一样向集群提交二进制可执行文件.例如:

qsub -b y -cwd echo hello
Run Code Online (Sandbox Code Playgroud)

将提交一个名为echo的作业,该作业将"hello"一词写入其输出文件.

我如何向SLURM提交类似的工作.它希望文件在第一行有一个hash-bang解释器.在SLURM我得到

$ sbatch echo hello
sbatch: error: This does not look like a batch script.  The first
sbatch: error: line must start with #! followed by the path to an interpreter.
sbatch: error: For instance: #!/bin/sh
Run Code Online (Sandbox Code Playgroud)

或使用pseuodo qsub:

$ qsub echo hello
There was an error running the SLURM sbatch command.
The command was:
'/cm/shared/apps/slurm/14.11.3/bin/sbatch echo hello  2>&1'
and the output was:
'sbatch: error: This does not look like a batch script. …
Run Code Online (Sandbox Code Playgroud)

bash cluster-computing pbs sungridengine slurm

7
推荐指数
1
解决办法
1795
查看次数

如何在集群中使用sails(使用更多内核)?

我正在尝试使用cluster库启动sails.js应用程序以允许它生成更多进程以使用我的机器的所有核心,但不知何故,与express一起使用的方法在这里失败.

var cluster = require('cluster'),
    numCPUs = require('os').cpus().length;

// create the server 
if (cluster.isMaster) {
  for (var i = 0; i < numCPUs; i++) {
    cluster.fork();
  }
  cluster.on('exit', function(worker, code, signal) {
    console.log('worker %d died (%s). restarting...', worker.process.pid, signal || code);
    cluster.fork();
  });
} else {
  // Start sails and pass it command line arguments
  require('sails').lift(require('optimist').argv);
  console.log("Sails forked");
}
Run Code Online (Sandbox Code Playgroud)

之后我通常通过以下方式运行它:

$ sails lift
Run Code Online (Sandbox Code Playgroud)

但是当我为这个性能测试运行apache bench时,我得到了相同的结果.有帮助吗?我错过了什么吗?

编辑

甚至当我把console.log在cluster.fork如果部分然后我没有得到的输出.

cluster-computing node.js sails.js

6
推荐指数
1
解决办法
3940
查看次数

Hazelcast记录70%阈值消息没有添加任何地图

我在2节点集群中使用hazel cast以下是我的配置:

<hz:hazelcast id="hazelcast_instance">
        <hz:config>
            <hz:instance-name>hazelcastinstance</hz:instance-name>
            <hz:group name="cluster" password="asdfg" />
            <hz:properties>
                <hz:property name="hazelcast.health.monitoring.level">SILENT</hz:property>

            </hz:properties>
            <hz:network port="5710" port-auto-increment="false">
                <hz:join>
                    <hz:multicast enabled="false" multicast-group="224.2.2.5"
                        multicast-port="54327" />
                    <hz:tcp-ip enabled="true">
                        <hz:members>${cluster.hzmembers}</hz:members>
                    </hz:tcp-ip>
                </hz:join>
                <hz:interfaces enabled="false">
                    <hz:interface>192.168.1.*</hz:interface>
                </hz:interfaces>
            </hz:network>


            <hz:map name="cluster.map" max-size="100" max-idle-seconds="55"
                time-to-live-seconds="55"  eviction-policy="LRU" eviction-percentage="50"/>
        </hz:config>

    </hz:hazelcast>
Run Code Online (Sandbox Code Playgroud)

我只是使用地图来检查分区,这样我就可以在集群中只运行一个批处理实例:

hz.getPartitionService().getPartition("cluster.map").getOwner().localMember()
Run Code Online (Sandbox Code Playgroud)

但是在日志中我一次又一次地看到消息

[cluster] memory.used=1.8G, memory.free=583.9M, memory.total=2.4G, memory.max=2.4G, memory.used/total=76.07%, memory.used/max=76.07%, load.process=-1.00%, load.system=-1.00%, load.systemAverage=13.00%, thread.count=147, thread.peakCount=158, event.q.size=0, executor.q.async.size=0, executor.q.client.size=0, executor.q.operation.size=0, executor.q.query.size=0, executor.q.scheduled.size=0,
Run Code Online (Sandbox Code Playgroud)

不确定是什么填满了hazelcast集群内存.

任何设备将受到高度赞赏.

我正在使用Hazelcasr版本3.1.7

java caching cluster-computing hazelcast

6
推荐指数
2
解决办法
2524
查看次数

Java 8中的Streams:在集群上使用parallelstream()的简单解决方案?

parallelstream() 提供跨单个机器核心的流的操作的无缝并行化.

如何扩展此逻辑以便将parallelstream()这些操作分发到群集的所有计算机?

理想情况下:
- 我使用框架创建一个机器集群?
- 启动myCollection.parallelstream().filter(something).collect()将作业分发到群集中所有计算机的所有核心,并将结果返回到引导群集的计算机.

java parallel-processing cluster-computing java-8 java-stream

6
推荐指数
1
解决办法
435
查看次数

QSUB:为作业阵列中的每个任务指定输出和错误文件

希望这不是一个dublicate,也不仅仅是我们集群配置的问题......

我使用qsub以下命令将作业数组提交到集群:

qsub -q QUEUE -N JOBNAME -t 1:10 -e ${ERRFILE}_$SGE_TASK_ID /path/to/script.sh
Run Code Online (Sandbox Code Playgroud)

哪里

ERRFILE=/home/USER/somedir/errors.
Run Code Online (Sandbox Code Playgroud)

我们的想法是指定一个错误文件(也类似于输出文件),该文件还包含作业数组中的任务ID.

到目前为止,我已经了解了这一行

#$ -e ${ERRFILE}_$SGE_TASK_ID
Run Code Online (Sandbox Code Playgroud)

在script.sh中,不起作用,因为它是一个注释而不是由bash评估.我的第一行不起作用,因为$SGE_TASK_ID仅在作业提交后设置.
我在这里读到逃避评估$SGE_TASK_ID(在那个链接中它是PBS' $PBS_JOBID,但类似的问题)应该有效,但当我试过

qsub -q QUEUE -N JOBNAME -t 1:10 -e ${ERRFILE}_\$SGE_TASK_ID /path/to/script.sh
Run Code Online (Sandbox Code Playgroud)

它没有按预期工作.

我错过了一些明显的东西吗 是否可以$SGE_TASK_ID在错误文件的名称中使用(错误文件的自动命名会这样做,但是我想指定目录,如果可能的话也指定名称)?

一些补充说明:

  • 我正在使用script.sh内部的-cwd选项qsub,但这不是我希望我的错误文件存储的地方.
  • 我几乎无法控制集群的工作方式,也没有root访问权限(在这种情况下我不知道我需要它,但无论如何......).
  • 显然我们的集群不使用PBS.
  • 是的,我的脚本都是可执行的,并且在适用的地方开始#!/bin/bash(我还指定使用带有-S /bin/bashqsub选项的bash ).
  • 似乎有一个解决方案在这里,但我不太清楚如何工作的,它似乎也采用PBS.如果答案适用于我的问题并且我误解了它,请告诉我.

我希望任何暗示正确的方向.谢谢!

bash cluster-computing qsub sungridengine

6
推荐指数
1
解决办法
2822
查看次数

如何用dask执行多线程`merge()`?如何通过q​​sub使用多核?

我刚刚开始使用dask,我仍然在根本上混淆了如何使用多个线程或使用集群执行简单的pandas任务.

让我们pandas.merge()用daskdataframes.

import dask.dataframe as dd

df1 = dd.read_csv("file1.csv")
df2 = dd.read_csv("file2.csv")

df3 = dd.merge(df1, df2)
Run Code Online (Sandbox Code Playgroud)

现在,假设我要在我的笔记本电脑上运行这个,有4个内核.如何为此任务分配4个线程?

看来正确的方法是:

dask.set_options(get=dask.threaded.get)
df3 = dd.merge(df1, df2).compute()
Run Code Online (Sandbox Code Playgroud)

这将使用尽可能多的线程(即,存在多个具有笔记本电脑共享内存的内核,4)?如何设置线程数?

假设我在一个拥有100个核心的工厂.如何以与将作业提交到群集相同的方式提交此内容qsub?(类似于通过MPI在集群上运行任务?)

dask.set_options(get=dask.threaded.get)
df3 = dd.merge(df1, df2).compute
Run Code Online (Sandbox Code Playgroud)

python multithreading cluster-computing pandas dask

6
推荐指数
1
解决办法
379
查看次数

连接到集群时SSH错误的本地转发规范

我正在连接到数据集群,并按照以下步骤操作:

(我显然已经正确设置了.ssh / config文件)

  1. 打开隧道

  2. SSH进入集群

  3. 尝试将端口绑定到服务器,以便我可以通过以下命令使用Jupyter笔记本: ssh -N -L 22127:localhost:22127 [cluster_name]

  4. 通过以下方式在集群上运行ipython命令: ipython notebook --ip=127.0.0.1 --port=22127 --no-browser

最后,在第3步中,我总是收到“错误的本地转发错误”。请注意,我旁边的人在.ssh / config文件上具有完全相同的命令和配置,并且可以连接并运行Jupyter服务器

谢谢

ssh cluster-computing jupyter

6
推荐指数
1
解决办法
6258
查看次数