由于H2支持群集,因此过程非常类似于:
java org.h2.tools.CreateCluster在所需群集中复制数据库并且知道CreateCluster期望一个目标,一个源和一个集群端点列表,我有以下问题:
当我说为了启动3个服务器(A,B和C)的集群时,我是正确的,我需要准确知道集群上的服务器数量,因为每个服务器都需要有用于SET CLUSTER语句的数据库服务器列表org.h2.tools.CreateCluster.process(String, String, String, String, String)方法调用.
CreateCluster上执行,A为源,B为目标,A,B,C为簇列表;CreateCluster上执行,以B为源,C为目标,A,B,C为簇列表;假设我正在启动服务进程并启动A和B,应用程序开始在集群上执行一些SQL.找不到C,C会被处理掉吗?
继续在第二个问题上启动启动过程,我启动了C,我已经准备好执行CreateClusterB作为源和A,B,C作为集群节点列表,在这个时刻发生了两件事:
SET EXCLUSIVE 2)由于CreateClusterSET CLUSTER 'A,B,C'将在B和C上执行B被锁定时执行的SQL是否在A中执行?如果是这样他们已经承诺?当B被释放后,客户还在等待吗?之后会通知C这个命令吗?
我试图理解"农场"在计算中的意义,因此,如果一个农场可以作为一个集群示例,那么必须有一个农场独立于集群的东西.
它与网格有什么不同?
这些概念是否具有一般意义,例如,谈论Web服务器只是一种常见的情景,或者它们是否完全不同于上下文?如果是这样,有什么不同的含义(或最常见的含义)?
另外,我应该在其他地方问这个吗?(如果是的话,我表示道歉).
parallel-processing grid distributed-computing cluster-computing web-farm
我在集群环境中使用Quartz Scheduler作为Spring bean.
我有一些使用@NotConcurrent注释的作业,它们每个集群运行一次(即仅在一个节点中运行,仅在一个线程中).
现在我需要在集群的每个节点上运行一个作业.我删除了@NotConcurrent注释,但它只在一台机器上的每个线程上运行.它不会在其他节点上被触发.
我应该用什么来诠释这份工作?
示例:Job1 NotConcurrent annotated安排在午夜=>它每隔午夜只在一台机器上触发.Job2注释安排在午夜=>它每隔午夜在每台机器上启动.
谢谢.
java spring cluster-computing quartz-scheduler job-scheduling
在SGE/PBS中,我可以像在本地一样向集群提交二进制可执行文件.例如:
qsub -b y -cwd echo hello
Run Code Online (Sandbox Code Playgroud)
将提交一个名为echo的作业,该作业将"hello"一词写入其输出文件.
我如何向SLURM提交类似的工作.它希望文件在第一行有一个hash-bang解释器.在SLURM我得到
$ sbatch echo hello
sbatch: error: This does not look like a batch script. The first
sbatch: error: line must start with #! followed by the path to an interpreter.
sbatch: error: For instance: #!/bin/sh
Run Code Online (Sandbox Code Playgroud)
或使用pseuodo qsub:
$ qsub echo hello
There was an error running the SLURM sbatch command.
The command was:
'/cm/shared/apps/slurm/14.11.3/bin/sbatch echo hello 2>&1'
and the output was:
'sbatch: error: This does not look like a batch script. …Run Code Online (Sandbox Code Playgroud) 我正在尝试使用cluster库启动sails.js应用程序以允许它生成更多进程以使用我的机器的所有核心,但不知何故,与express一起使用的方法在这里失败.
var cluster = require('cluster'),
numCPUs = require('os').cpus().length;
// create the server
if (cluster.isMaster) {
for (var i = 0; i < numCPUs; i++) {
cluster.fork();
}
cluster.on('exit', function(worker, code, signal) {
console.log('worker %d died (%s). restarting...', worker.process.pid, signal || code);
cluster.fork();
});
} else {
// Start sails and pass it command line arguments
require('sails').lift(require('optimist').argv);
console.log("Sails forked");
}
Run Code Online (Sandbox Code Playgroud)
之后我通常通过以下方式运行它:
$ sails lift
Run Code Online (Sandbox Code Playgroud)
但是当我为这个性能测试运行apache bench时,我得到了相同的结果.有帮助吗?我错过了什么吗?
编辑
甚至当我把console.log在cluster.fork如果部分然后我没有得到的输出.
我在2节点集群中使用hazel cast以下是我的配置:
<hz:hazelcast id="hazelcast_instance">
<hz:config>
<hz:instance-name>hazelcastinstance</hz:instance-name>
<hz:group name="cluster" password="asdfg" />
<hz:properties>
<hz:property name="hazelcast.health.monitoring.level">SILENT</hz:property>
</hz:properties>
<hz:network port="5710" port-auto-increment="false">
<hz:join>
<hz:multicast enabled="false" multicast-group="224.2.2.5"
multicast-port="54327" />
<hz:tcp-ip enabled="true">
<hz:members>${cluster.hzmembers}</hz:members>
</hz:tcp-ip>
</hz:join>
<hz:interfaces enabled="false">
<hz:interface>192.168.1.*</hz:interface>
</hz:interfaces>
</hz:network>
<hz:map name="cluster.map" max-size="100" max-idle-seconds="55"
time-to-live-seconds="55" eviction-policy="LRU" eviction-percentage="50"/>
</hz:config>
</hz:hazelcast>
Run Code Online (Sandbox Code Playgroud)
我只是使用地图来检查分区,这样我就可以在集群中只运行一个批处理实例:
hz.getPartitionService().getPartition("cluster.map").getOwner().localMember()
Run Code Online (Sandbox Code Playgroud)
但是在日志中我一次又一次地看到消息
[cluster] memory.used=1.8G, memory.free=583.9M, memory.total=2.4G, memory.max=2.4G, memory.used/total=76.07%, memory.used/max=76.07%, load.process=-1.00%, load.system=-1.00%, load.systemAverage=13.00%, thread.count=147, thread.peakCount=158, event.q.size=0, executor.q.async.size=0, executor.q.client.size=0, executor.q.operation.size=0, executor.q.query.size=0, executor.q.scheduled.size=0,
Run Code Online (Sandbox Code Playgroud)
不确定是什么填满了hazelcast集群内存.
任何设备将受到高度赞赏.
我正在使用Hazelcasr版本3.1.7
parallelstream() 提供跨单个机器核心的流的操作的无缝并行化.
如何扩展此逻辑以便将parallelstream()这些操作分发到群集的所有计算机?
理想情况下:
- 我使用框架创建一个机器集群?
- 启动myCollection.parallelstream().filter(something).collect()将作业分发到群集中所有计算机的所有核心,并将结果返回到引导群集的计算机.
java parallel-processing cluster-computing java-8 java-stream
希望这不是一个dublicate,也不仅仅是我们集群配置的问题......
我使用qsub以下命令将作业数组提交到集群:
qsub -q QUEUE -N JOBNAME -t 1:10 -e ${ERRFILE}_$SGE_TASK_ID /path/to/script.sh
Run Code Online (Sandbox Code Playgroud)
哪里
ERRFILE=/home/USER/somedir/errors.
Run Code Online (Sandbox Code Playgroud)
我们的想法是指定一个错误文件(也类似于输出文件),该文件还包含作业数组中的任务ID.
到目前为止,我已经了解了这一行
#$ -e ${ERRFILE}_$SGE_TASK_ID
Run Code Online (Sandbox Code Playgroud)
在script.sh中,不起作用,因为它是一个注释而不是由bash评估.我的第一行不起作用,因为$SGE_TASK_ID仅在作业提交后设置.
我在这里读到逃避评估$SGE_TASK_ID(在那个链接中它是PBS' $PBS_JOBID,但类似的问题)应该有效,但当我试过
qsub -q QUEUE -N JOBNAME -t 1:10 -e ${ERRFILE}_\$SGE_TASK_ID /path/to/script.sh
Run Code Online (Sandbox Code Playgroud)
它没有按预期工作.
我错过了一些明显的东西吗 是否可以$SGE_TASK_ID在错误文件的名称中使用(错误文件的自动命名会这样做,但是我想指定目录,如果可能的话也指定名称)?
一些补充说明:
-cwd选项qsub,但这不是我希望我的错误文件存储的地方.#!/bin/bash(我还指定使用带有-S /bin/bashqsub选项的bash ).我希望任何暗示正确的方向.谢谢!
我刚刚开始使用dask,我仍然在根本上混淆了如何使用多个线程或使用集群执行简单的pandas任务.
让我们pandas.merge()用daskdataframes.
import dask.dataframe as dd
df1 = dd.read_csv("file1.csv")
df2 = dd.read_csv("file2.csv")
df3 = dd.merge(df1, df2)
Run Code Online (Sandbox Code Playgroud)
现在,假设我要在我的笔记本电脑上运行这个,有4个内核.如何为此任务分配4个线程?
看来正确的方法是:
dask.set_options(get=dask.threaded.get)
df3 = dd.merge(df1, df2).compute()
Run Code Online (Sandbox Code Playgroud)
这将使用尽可能多的线程(即,存在多个具有笔记本电脑共享内存的内核,4)?如何设置线程数?
假设我在一个拥有100个核心的工厂.如何以与将作业提交到群集相同的方式提交此内容qsub?(类似于通过MPI在集群上运行任务?)
dask.set_options(get=dask.threaded.get)
df3 = dd.merge(df1, df2).compute
Run Code Online (Sandbox Code Playgroud) 我正在连接到数据集群,并按照以下步骤操作:
(我显然已经正确设置了.ssh / config文件)
打开隧道
SSH进入集群
尝试将端口绑定到服务器,以便我可以通过以下命令使用Jupyter笔记本: ssh -N -L 22127:localhost:22127 [cluster_name]
通过以下方式在集群上运行ipython命令: ipython notebook --ip=127.0.0.1 --port=22127 --no-browser
最后,在第3步中,我总是收到“错误的本地转发错误”。请注意,我旁边的人在.ssh / config文件上具有完全相同的命令和配置,并且可以连接并运行Jupyter服务器
谢谢