是否有可能通过编写telnet服务器来创建python集群,然后telnet-ing命令和来回输出?有没有人对python计算集群有更好的想法?PS.对于python 3.x最好,如果有人知道如何.
我正在开发一个Java Web应用程序,使用JBoss Seam作为应用程序框架.我想利用Hibernate Search来提供实体搜索功能.整合已经很好,我正在接近部署.生产中的应用程序的设置将是:
我的问题是,我如何配置Hibernate Search,以便在App Server#1上持有实体时,在App Server#2上更新本地Lucene索引,反之亦然?Hibernate Search是否支持任何类型的群集配置?由于持久化可能发生在任何一个负载均衡的应用服务器上,因此设置必须是某种主 - 主.
有没有人有任何关于如何解决这个问题的建议?感谢您的帮助!
gdb在交互模式下运行简单程序时,使用它非常简单,以便找到分段错误.但是考虑一下我们有一个多线程程序 - 写入pthread- 提交给集群节点(通过qsub命令).所以我们没有互动操作.
我们如何定位分段错误?我正在寻找一般方法,程序或测试工具.我不能提供一个可重现的例子,因为程序非常大并且在某些未知情况下会在集群上崩溃.
我需要在这种困难的情况下找到问题,因为程序在具有任意数量线程的本地机器上正确运行.
由于H2支持群集,因此过程非常类似于:
java org.h2.tools.CreateCluster在所需群集中复制数据库并且知道CreateCluster期望一个目标,一个源和一个集群端点列表,我有以下问题:
当我说为了启动3个服务器(A,B和C)的集群时,我是正确的,我需要准确知道集群上的服务器数量,因为每个服务器都需要有用于SET CLUSTER语句的数据库服务器列表org.h2.tools.CreateCluster.process(String, String, String, String, String)方法调用.
CreateCluster上执行,A为源,B为目标,A,B,C为簇列表;CreateCluster上执行,以B为源,C为目标,A,B,C为簇列表;假设我正在启动服务进程并启动A和B,应用程序开始在集群上执行一些SQL.找不到C,C会被处理掉吗?
继续在第二个问题上启动启动过程,我启动了C,我已经准备好执行CreateClusterB作为源和A,B,C作为集群节点列表,在这个时刻发生了两件事:
SET EXCLUSIVE 2)由于CreateClusterSET CLUSTER 'A,B,C'将在B和C上执行B被锁定时执行的SQL是否在A中执行?如果是这样他们已经承诺?当B被释放后,客户还在等待吗?之后会通知C这个命令吗?
我试图理解"农场"在计算中的意义,因此,如果一个农场可以作为一个集群示例,那么必须有一个农场独立于集群的东西.
它与网格有什么不同?
这些概念是否具有一般意义,例如,谈论Web服务器只是一种常见的情景,或者它们是否完全不同于上下文?如果是这样,有什么不同的含义(或最常见的含义)?
另外,我应该在其他地方问这个吗?(如果是的话,我表示道歉).
parallel-processing grid distributed-computing cluster-computing web-farm
我在集群环境中使用Quartz Scheduler作为Spring bean.
我有一些使用@NotConcurrent注释的作业,它们每个集群运行一次(即仅在一个节点中运行,仅在一个线程中).
现在我需要在集群的每个节点上运行一个作业.我删除了@NotConcurrent注释,但它只在一台机器上的每个线程上运行.它不会在其他节点上被触发.
我应该用什么来诠释这份工作?
示例:Job1 NotConcurrent annotated安排在午夜=>它每隔午夜只在一台机器上触发.Job2注释安排在午夜=>它每隔午夜在每台机器上启动.
谢谢.
java spring cluster-computing quartz-scheduler job-scheduling
我的目标是使用Kafka作为源和Flink作为流处理引擎来设置高吞吐量集群.这就是我所做的.
我在主服务器和从服务器上设置了以下配置的双节点集群.
主flink-conf.yaml
jobmanager.rpc.address: <MASTER_IP_ADDR> #localhost
jobmanager.rpc.port: 6123
jobmanager.heap.mb: 256
taskmanager.heap.mb: 512
taskmanager.numberOfTaskSlots: 50
parallelism.default: 100
Run Code Online (Sandbox Code Playgroud)
奴隶flink-conf.yaml
jobmanager.rpc.address: <MASTER_IP_ADDR> #localhost
jobmanager.rpc.port: 6123
jobmanager.heap.mb: 512 #256
taskmanager.heap.mb: 1024 #512
taskmanager.numberOfTaskSlots: 50
parallelism.default: 100
Run Code Online (Sandbox Code Playgroud)
主节点上的从属文件如下所示:
<SLAVE_IP_ADDR>
localhost
Run Code Online (Sandbox Code Playgroud)
两个节点上的flink设置位于具有相同名称的文件夹中.我通过运行在master上启动集群
bin/start-cluster-streaming.sh
Run Code Online (Sandbox Code Playgroud)
这将启动从属节点上的任务管理器.
我的输入源是Kafka.这是片段.
final StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
DataStreamSource<String> stream =
env.addSource(
new KafkaSource<String>(kafkaUrl,kafkaTopic, new SimpleStringSchema()));
stream.addSink(stringSinkFunction);
env.execute("Kafka stream");
Run Code Online (Sandbox Code Playgroud)
这是我的Sink功能
public class MySink implements SinkFunction<String> {
private static final long serialVersionUID = 1L;
public void invoke(String arg0) throws Exception {
processMessage(arg0);
System.out.println("Processed Message");
} …Run Code Online (Sandbox Code Playgroud) 在SGE/PBS中,我可以像在本地一样向集群提交二进制可执行文件.例如:
qsub -b y -cwd echo hello
Run Code Online (Sandbox Code Playgroud)
将提交一个名为echo的作业,该作业将"hello"一词写入其输出文件.
我如何向SLURM提交类似的工作.它希望文件在第一行有一个hash-bang解释器.在SLURM我得到
$ sbatch echo hello
sbatch: error: This does not look like a batch script. The first
sbatch: error: line must start with #! followed by the path to an interpreter.
sbatch: error: For instance: #!/bin/sh
Run Code Online (Sandbox Code Playgroud)
或使用pseuodo qsub:
$ qsub echo hello
There was an error running the SLURM sbatch command.
The command was:
'/cm/shared/apps/slurm/14.11.3/bin/sbatch echo hello 2>&1'
and the output was:
'sbatch: error: This does not look like a batch script. …Run Code Online (Sandbox Code Playgroud) 以下(简化)脚本在unix集群的主节点(4个虚拟核心)上正常工作.
library(foreach)
library(doParallel)
nc = detectCores()
cl = makeCluster(nc)
registerDoParallel(cl)
foreach(i = 1:nrow(data_frame_1), .packages = c("package_1","package_2"), .export = c("variable_1","variable_2")) %dopar% {
row_temp = data_frame_1[i,]
function(argument_1 = row_temp, argument_2 = variable_1, argument_3 = variable_2)
}
stopCluster(cl)
Run Code Online (Sandbox Code Playgroud)
我想利用集群中的16个节点(16 * 4总共虚拟核心).
我想我需要做的就是更改指定的并行后端makeCluster.但是我应该怎么做呢?文档不是很清楚.
基于这个相当古老的(2013年)帖子http://www.r-bloggers.com/the-wonders-of-foreach/,似乎我应该更改默认类型(sock或者MPI- 哪个可以在unix上工作? )
编辑
来自foreach作者的这个小插图:
默认情况下,doParallel在类Unix系统上使用多核功能,在Windows上使用snow功能.请注意,多核功能仅在一台计算机上运行任务,而不是在一组计算机上运行.但是,您可以使用snow功能在群集上执行,使用类Unix操作系统,Windows甚至组合.
什么you can use the snow functionality意思?我该怎么办?
parallel-processing r cluster-computing parallel-foreach snow
Marker marker = mMap.addMarker(markerOptions);
marker.setTag(poi.getKey());
marker.hideInfoWindow();
builder.include(marker.getPosition());
Run Code Online (Sandbox Code Playgroud)
这段代码正常,因为我把manuel作为manuel.我做了一切marker.tag().我使用哈希键来重新检查我的引脚.
mClusterManager.addItem() 我想用这个方法.但我也想拿标记标记.所以我不想添加到地图中Marker marker = mMap.addMarker(markerOptions);
我怎么解决这个问题?
我想解释更多细节.
public class PoiItem implements ClusterItem{
private final LatLng mPosition;
private String mTitle;
private String mSnippet;
private String tag;
private ResponsePoi pois;
public PoiItem(ResponsePoi poi,double lat, double lng,String tag) {
mPosition = new LatLng(lat, lng);
pois = poi;
mTitle = poi.getName();
mSnippet = poi.getAddress();
this.tag = tag;
}
private void setMyCluster(){
mClusterManager = new ClusterManager<PoiItem> (MainActivity.this,mMap);
mMap.setOnCameraIdleListener(mClusterManager);
mMap.setOnMarkerClickListener(mClusterManager);
}
setMyCluster();
for(HashMap.Entry<String, ResponsePoi> poi …Run Code Online (Sandbox Code Playgroud) java ×3
android ×1
apache-flink ×1
apache-kafka ×1
bash ×1
c++ ×1
dictionary ×1
google-maps ×1
grid ×1
h2 ×1
hibernate ×1
hpc ×1
marker ×1
pbs ×1
python ×1
python-3.x ×1
r ×1
slurm ×1
snow ×1
spring ×1
streaming ×1
tomcat ×1
transactions ×1
web-farm ×1