标签: cluster-computing

我有一台运行在2台机器上的kubernetes集群(master-minion节点和minion节点).我想在不中断当前设置的情况下添加新的minion节点,有没有办法做到这一点？

我已经看到,当我尝试添加新节点时,其他节点上的服务会停止它,因此我必须在将新节点部署到现有集群之前停止服务.

我的群集具有yellow健康状况,因为它只有一个节点,因此副本保持未分配状态,因为没有其他节点可用于包含它们.

所以我想创建/添加另一个节点,以便Elasticsearch可以开始为它分配副本.我只有一台机器而且我正在运行ES作为服务.

我发现大量的网站有一些信息,但没有一个明确地告诉我如何向ES添加另一个节点.

有人可以解释一下我要编辑哪些文件以及我要启动哪些命令以便在我的群集中创建另一个节点？我要运行两个ES实例吗？我怎样才能做到这一点？

提前致谢.

目前,我的侧面项目的prod环境是一个git repo,我在其中输入一些代码,用Ctrl-C手动终止服务器,然后手动重启.

我意识到这有很多问题.例如,如果用户仍处于重要事项的中间并且该过程正在处理敏感数据,那么我刚刚杀了它？

当我使用node v0.4.x时,有一个很好的Cluster模块可以在应用程序处于安静状态时正常重启服务器.在v0.6.x中,Cluster模块内置于节点中,但它确实非常简单,并且没有优雅的重启能力.

任何人都知道如何在v0.6.x中优雅地重启nodejs服务器？

我想要以下内容

• 在启动期间,主进程从文件加载大表并将其保存到共享变量中.该表有9列和1200万行,大小为432MB.
• 工作进程运行HTTP服务器,接受针对大表的实时查询.

这是我的代码,显然没有实现我的目标.

var my_shared_var;
var cluster = require('cluster');
var numCPUs = require('os').cpus().length;

if (cluster.isMaster) {
  // Load a large table from file and save it into my_shared_var,
  // hoping the worker processes can access to this shared variable,
  // so that the worker processes do not need to reload the table from file.
  // The loading typically takes 15 seconds.
  my_shared_var = load('path_to_my_large_table');

  // Fork worker processes
  for (var i = 0; i < numCPUs; i++) {
    cluster.fork(); …

我的目标是根据单词与文本文档集相似的方式对单词进行聚类.我计算了每对单词之间的Jaccard相似度.换句话说,我有一个稀疏的距离矩阵.任何人都可以指向任何以距离矩阵为输入的聚类算法(可能还有Python中的库)吗？我也事先不知道簇的数量.我只想聚集这些单词并获得哪些单词聚集在一起.

如何确保在父进程被终止时所有child_process被杀死.我有类似下面的东西.

即使节点进程被终止,我也看到FFMPEG继续运行并且生成了out.avi.如何在节点进程退出后停止运行FFMPEG.

var args = "ffmpeg -i in.avi out.avi"
child_process.exec(args , function(err, stdout,stderr){});

child_process.exec(args , function(err, stdout,stderr){});

我如何配置Java(或Scala)代码量的执行程序有SparkConfig和SparkContext？我经常看到2个执行者.看起来spark.default.parallelism不起作用,是关于不同的东西.

我只需要将执行程序的数量设置为等于群集大小,但总是只有2个.我知道我的簇大小.如果这很重要,我会在YARN上运行.

我正在使用node-cron模块来调度Node.js应用程序中的任务.我还想使用核心集群模块在几个进程中运行应用程序.

在多个流程中运行应用程序最终会在每个流程中执行计划任务(例如,如果任务是发送电子邮件,则会多次发送电子邮件).

运行cron作业和集群模块的最佳实践/可能方法是什么？我应该创建一个单独的进程,只处理cron作业,不接受任何请求.如果是,我怎么能以正确的方式做到这一点？

我将有3个Tomcat服务器和一个负载均衡器,可以在不使用" 粘性会话 "的情况下调度请求.

我想在服务器之间共享会话数据,我正在考虑将它们保存在数据库中.我想在我的数据库前面使用memcached作为一个层来更快地处理请求,并且不要让我的数据库负载很重.

我正在考虑提供我的自定义tomcat管理器,它在获取/持久化会话数据到DB之前使用memcached,因为我没有看到这样做的透明方式(这意味着我将不得不再次管理它)我切换到另一个应用程序服务器).

这是一个很好的解决方案还是你看到了更好的方法？

我想在2个不同的主机上运行2个ElasticSeach实例.我已经基于Ubuntu 14.04和elasticsearch的1.3.2版本构建了我自己的docker镜像.如果我在1个主机上运行2个ES'容器,则每个实例都会看到另一个实例并且可以进行通信,但是当我在2个不同的主机上运行2个ES实例时,它无效.容器的9300端口绑定到9300主机的端口.

我的问题是:可以用我的配置创建一个ES'集群吗？

最诚挚的问候,Lucas Rival