标签: cluster-computing

Erlang:如何从其他节点的节点()中删除节点?

我想动态地模拟 but 的行为erl -sname example -hidden。如何使节点在集群中不再可见?

请参阅 @mwt 在 @Yasir Arsanukaev 的评论,以进一步说明我正在尝试做的事情。

erlang configuration networking cluster-computing erlang-otp

4
推荐指数
1
解决办法
1750
查看次数

WSO2 ESB - 节点未加入集群

我按照本文档https://docs.wso2.com/display/ESB500/Clustered+Deployment配置了 ESB 集群 ,但仍然遇到问题。

在每个 ESB 节点中我收到此日志

WARN - CarbonEventManagementService CEP started with clustering enabled, but SingleNode configuration given.
Run Code Online (Sandbox Code Playgroud)

而不是这个

INFO - RpcMembershipRequestHandler Received JOIN message from
Run Code Online (Sandbox Code Playgroud)

有没有办法在日志上获得更多详细信息以了解错误所在?如果有人可以帮忙的话我可以发布配置文件^^

谢谢 !

esb wso2 cluster-computing

4
推荐指数
1
解决办法
914
查看次数

如何为每个任务 1 个 GPU 设置 slurm/salloc 但让作业使用多个 GPU?

我们正在寻求一些有关 slurm salloc GPU 分配的建议。目前,给出:

% salloc -n 4 -c 2 -gres=gpu:1
% srun env | grep CUDA   
CUDA_VISIBLE_DEVICES=0
CUDA_VISIBLE_DEVICES=0
CUDA_VISIBLE_DEVICES=0
CUDA_VISIBLE_DEVICES=0
Run Code Online (Sandbox Code Playgroud)

然而,我们希望使用的不仅仅是设备 0。
有没有办法用 srun/mpirun 指定 salloc 以获得以下内容?

CUDA_VISIBLE_DEVICES=0
CUDA_VISIBLE_DEVICES=1
CUDA_VISIBLE_DEVICES=2
CUDA_VISIBLE_DEVICES=3
Run Code Online (Sandbox Code Playgroud)

这是期望的,以便每个任务获得 1 个 GPU,但总体 GPU 使用量分布在 4 个可用设备中(请参阅下面的 gres.conf)。不是所有任务都获得 device=0 的地方。

这样,每个任务就不会像当前的情况一样等待设备 0 释放其他任务。

或者即使我们有超过 1 个可用/空闲的 GPU(总共 4 个)用于 4 个任务,这是否是预期的行为?我们遗漏或误解了什么?

  • salloc/srun 参数?
  • slurm.conf 或 gres.conf 设置?

总结我们希望能够使用 slurm 和 mpi,以便每个等级/任务使用 1 个 GPU,但作业可以在 4 个 GPU 之间分散任务/等级。目前看来我们仅限于设备 0。我们还希望避免由于 mpi 使用而在 salloc/sbatch 中多次提交 srun。

操作系统:CentOS …

gpu nvidia cluster-computing slurm

4
推荐指数
1
解决办法
7580
查看次数

如何从 clusGap 函数中获取最佳簇数作为输出?

我有一个包含 2 个变量的数据框,我想使用该clusGap函数来查找最适合使用的聚类数量。这段代码有类似的结果:

library(cluster)    
x <- as.vector(runif(100, 0, 1))
y <- as.vector(runif(100, 0, 1))
df <- data.frame(x, y)
gap_stat <- clusGap(df, FUN = kmeans, nstart = n,
                    K.max = 10, B = 50)
gap_stat
Run Code Online (Sandbox Code Playgroud)

结果:

Clustering Gap statistic ["clusGap"] from call:
clusGap(x = df, FUNcluster = kmeans, K.max = 10, B = 50, nstart = n)
B=50 simulated reference sets, k = 1..10; spaceH0="scaledPCA"
 --> Number of clusters (method 'firstSEmax', SE.factor=1): 1
          logW   E.logW           gap     SE.sim
 [1,] 2.569315 …
Run Code Online (Sandbox Code Playgroud)

r cluster-analysis list cluster-computing output

4
推荐指数
1
解决办法
2004
查看次数

设置 Elastic Search 单节点集群时出现问题

我正在尝试在单节点集群中设置 ElasticSearch 7.3.1。

我尝试添加:

discovery.type: single-node

但后来我收到以下错误:

java.lang.IllegalStateException:当本地节点 {node-1}{O846-1yHRLiOGzLUx 4RycQ}{KKT2Ljj3QUWiFR4K1ICrDg}{127.0.0.1}{127.0.0.1:9300} 时,无法以 [discovery.type] 设置为 [单节点] 的方式启动{dim}{ml.machine_memory=17179262976, xpack.installed=true, ml.max_open_jobs=20} 在投票配置 VotingConfiguration 中没有法定人数

如果我删除该行discovery.type: single-node,则会出现以下错误:

master 尚未发现或选举,选举需要两个 ID 为 [O846-1yHRLiOGzLUx 4RycQ, j1tBqJEtSXO78j6Ym8OceA] 的节点,已发现 [{node-1}{O846-1yHRLiOGzLUx4RycQ}{KE4tPTGtS7ukT7k-6iLxaw}{127.0.0.1}{127.0.0.1 :9300}{dim}{ml.machine_memory=17179262976, xpack.installed=true, ml.max_open_jobs=20}] 这不是法定人数;发现将继续使用 [127.0.0.1:9301, 127.0.0.1:9302, 127.0.0.1:9303, 127.0.0.1:9304, 127.0.0.1:9305, [::1]:9 301, [::1]: 9302、[::1]:9303、[::1]:9304、[::1]:9305] 来自主机提供商和 [{node-1}{O846-1yHRLiOGzLUx4RycQ}{KE4tPTGtS7ukT7k-6iLxaw}{127.0.0.1 }{127.0.0.1:9300}{dim}{ml.machin e_memory=17179262976, xpack.installed=true, ml.max_open_jobs=20}] 来自最后已知的集群状态;节点术语 0,术语 0 中最后接受的版本 0

cluster-computing elasticsearch elasticsearch-7

4
推荐指数
1
解决办法
6803
查看次数

调整 PVC 大小时的问题:只能调整动态配置的 PVC 大小,并且配置 PVC 的存储类必须支持调整大小

我正在尝试创建 PVC,稍后可以根据需要调整大小。

我正在将 github 中的代码用于mongodb pvc

我遵循了所有步骤,PVC 的创建如下:

PS C:\Users> minikube kubectl -- get pvc
NAME         STATUS    VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
mongo-data   Bound     pvc-4a22efc0-9fd3-42dc-80a7-db86e8f2c189   1Gi        RWO            standard       32m
Run Code Online (Sandbox Code Playgroud)

我编辑了文件 mongodb-pvc.yaml 并将存储字段更改为 2 GB。存储:2Gi,然后再次执行 kubectl apply 命令并得到以下错误:

  PS C:\Users> minikube kubectl -- apply -f mongodb-pvc.yaml
    Error from server (Forbidden): error when applying patch:
    {"metadata":{"annotations":{"kubectl.kubernetes.io/last-applied-configuration":"{\"apiVersion\":\"v1\",\"kind\":\"PersistentVolumeClaim\",\"metadata\":{\"annotations\":{},\"name\":\"mongo-data\",\"namespace\":\"default\"},\"spec\":{\"accessModes\":[\"ReadWriteOnce\"],\"resources\":{\"requests\":{\"storage\":\"2Gi\"}}}}\n"}},"spec":{"resources":{"requests":{"storage":"2Gi"}}}}
    to:
    Resource: "/v1, Resource=persistentvolumeclaims", GroupVersionKind: "/v1, Kind=PersistentVolumeClaim"
    Name: "mongo-data", Namespace: "default"
    for: "mongodb-pvc.yaml": persistentvolumeclaims "mongo-data" is forbidden: only dynamically provisioned pvc can be …
Run Code Online (Sandbox Code Playgroud)

storage cluster-computing mongodb minikube kubernetes-pvc

4
推荐指数
1
解决办法
8222
查看次数

购买群集/网格/云时间?

我在工业和学术环境中使用了集群,但它们归我所工作的组织所有.我从来没有从销售集群/云/网格时间的公司购买时间.

假设我想运行一些计算密集型程序,如大型模拟或数据挖掘应用程序.或许我想通过在外包基础架构上运行分布式构建来优化大型产品套件的完整构建.我在哪里购买集群时间来运行这样的程序?

我有兴趣了解运行Linux,BSD,Mac OS X和Windows等流行操作系统平台的集群.

显然,现在使用快速,廉价的硬件构建自己的集群解决方案,但我对外包解决方案特别感兴趣.

cloud cluster-computing grid-computing

3
推荐指数
1
解决办法
1849
查看次数

集群可用于使用Hadoop/MapReduce框架

有没有人知道任何对公众开放且使用Hadoop/MapReduce框架的免费可访问集群?有很多关于如何使用MapReduce的教程,但是有没有办法在不使用我的本地单机并安装所需框架的情况下测试这些示例?

谢谢!

mapreduce distributed-computing cluster-computing

3
推荐指数
1
解决办法
3643
查看次数

什么是最好的node.js集群?

节点http://nodejs.org/docs/v0.6.19/api/cluster.html中有一个集群模块

但我发现了一些其他类似的实现https://github.com/learnboost/cluster

什么是最好的,谁有经验?

其他问题,

是否有必要在生产中使用nginx?如果是这样,为什么?具有节点,100K,200k的单个现代多核服务器可以处理多少个同时连接?

感谢名单!

nginx cluster-computing node.js

3
推荐指数
1
解决办法
2353
查看次数

WSO2 ESB群集概念

我是WSO2 ESB群集的新手,实际上我仍在学习它。我仍然不明白这里的概念。


就我而言,我在2台服务器上安装了WSO2 ESB。我的问题是:


1. WSO2 ESB是作为一个应用程序还是作为两个单独的应用程序工作?
2.如果我配置一个WSO2 ESB,其他ESB是否具有相同的配置?
3.如果将VFS代理服务配置为ESB以从特定目录中轮询文件,则在轮询文件时会产生冲突吗?我认为两个ESB都将轮询同一文件。

请赐教我:)谢谢...

wso2 cluster-computing wso2esb

3
推荐指数
1
解决办法
462
查看次数