标签: cluster-computing

Nodejs+socket.io:在重新连接到工作进程(集群模块)后防止回退到 xhr 轮询

每次工作进程死亡时,我都使用集群模块来派生一个新的工作人员。我的节点服务器和客户端通过 websockets (socket.io) 进行通信。我看到的是,在一个工人死亡并且客户端连接到一个新的工作进程之后,通信偶尔会回落到 xhr-polling。

所以在一个工人死之前:websockets。

工人死后:xhr-polling(有时。但为什么?。发生这种情况时,我会在重新连接时看到握手错误)

我已将传输选项配置为仅使用“websocket”,但这似乎没有帮助。

我还尝试按照此处的建议配置下面提到的参数。但这也无济于事。在重新连接到新工作人员后,我仍然偶尔会回退到 xhr 轮询。

  • tryTransportsOnConnectTimeout - 默认值为 true
  • 记住传输 - 默认值为 true

知道如何强制使用 websockets 吗?

提前致谢。

cluster-computing node.js socket.io

5
推荐指数
0
解决办法
1453
查看次数

nodejs 集群模块 - 地址使用错误

我有一个 express.js 应用程序,它必须在每次有特定请求时运行一个子进程(这里是: /compute/real-time )。将有用户创建的脚本来计算数据。所以,我使用节点集群模块来创建一个工作池并选择一个可以自由执行脚本的工作。但是我在创建集群本身的过程中遇到了麻烦。这是代码 clusterPool.js

var cluster = require('cluster');
exports.setupCluster = function(){
console.log ("Setting up cluster for bot processing " )
  if (cluster.isMaster){
    cluster.fork();   //one is good enough at the moment
  }
}
Run Code Online (Sandbox Code Playgroud)

计算.js

var async = require('async');
var clusterPool = require('.././clusterPool')
//Start the cluster
clusterPool.setupCluster();
exports.computeRealTime = function(req,res){
    clusterPool.cluster.on("listening",function(worker){
        //....Do something with the worker
    })
}
Run Code Online (Sandbox Code Playgroud)

网络服务器.js

// Include Express
var express = require('express');
var compute = require('.././compute');

// Create a new Express application
var app = express(); …
Run Code Online (Sandbox Code Playgroud)

javascript cluster-computing node.js express

5
推荐指数
1
解决办法
1850
查看次数

在 Docker 容器中运行 Node.js 分支进程

我正在考虑使用Docker,因此试图找到尽可能多的关于它与Node.js应用程序集成的信息。

在生产中,我的应用程序运行 Node.jscluster模块到fork()新进程和domain模块来捕获错误,处理它们,然后是fork()新进程。

(官方示例:“警告:不要忽略错误!”)

我的问题如下:

  • 我如何能够将每个新的fork()'ed 进程放入 Docker 容器中?

  • 如果不可能,是否有任何替代方法可以让我从中获取错误捕获/处理功能,例如pm2或forever与 docker 兼容?

也欢迎任何其他有关 Node.js 应用程序的 Docker 良好实践的资源!

先感谢您 !

cluster-computing production-environment node.js forever docker

5
推荐指数
0
解决办法
1347
查看次数

提交到 Spark 集群时出现 FileNotFoundException

我使用 Apache Spark 创建了一个小应用程序,当我在本地运行该应用程序时,一切正常。但是当我将它提交到一个 6 节点集群时,我得到一个 FileNotFoundException,因为他找不到输入文件。

这是我的小应用程序。

def main (args: Array[String]) {
  val sparkContext = new SparkContext(new SparkConf())
  val tweets = sparkContext.textFile(args(0))

  tweets.map { line => (line, LanguageDetector.create().detect(line)) }
     .saveAsTextFile("/data/detected")
}
Run Code Online (Sandbox Code Playgroud)

我使用以下命令提交申请:

/opt/spark-1.0.2-bin-hadoop2/bin/spark-submit --class YarnTest --master spark://luthor-v1:7077 lang_detect.jar twitter_data 
Run Code Online (Sandbox Code Playgroud)

提交后,我收到以下异常:

Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 0.0:1 failed 4 times, most recent failure: Exception failure in TID 6 on host luthor-v5: java.io.FileNotFoundException: File file:/opt/bb/twitter_data does not exist
Run Code Online (Sandbox Code Playgroud)

文件肯定在那里,jar和文件在同一目录中,它可以解析完整路径。

提前致谢

scala filenotfoundexception cluster-computing apache-spark

5
推荐指数
1
解决办法
5063
查看次数

从 nimbus 下载 jar 的 Storm 主管连接错误

我正在设置一个多节点风暴集群。所以我有 3 个 zookeeper 节点,1 个 nimbus,2 个主管和 1 个 Storm 客户端节点。因此,当我查看我与 zookeeper 和 nimbus 以及 zookeeper 和主管的配置时,一切似乎都很好。但是当主管试图从 nimbus 数据目录中拉下 jar 文件时,主管会收到“连接被拒绝”。出于沮丧,我什至打开了盒子之间的 tcp 和 udp 端口​​(0-65535),但最终还是连接被拒绝。

我已经验证了 nimbus 数据目录的权限非常开放,主管应该能够进入该目录并将文件拉下来。这是日志。

Nimbus.log:

2014-11-23 07:07:50 b.s.zookeeper [INFO] Zookeeper state update: :connected:none
2014-11-23 07:07:50 o.a.z.ClientCnxn [INFO] EventThread shut down
2014-11-23 07:07:50 o.a.z.ZooKeeper [INFO] Session: 0x249d964a3c20008 closed
2014-11-23 07:07:50 c.n.c.f.i.CuratorFrameworkImpl [INFO] Starting
2014-11-23 07:07:50 o.a.z.ZooKeeper [INFO] Initiating client connection, connectString=172.31.40.214:2181,172.31.45.110:2181,172.31.47.13:2181/storm sessionTimeout=20000 watcher=com.netflix.curator.ConnectionState@40160f3d
2014-11-23 07:07:50 o.a.z.ClientCnxn [INFO] Opening socket connection to server /172.31.40.214:2181
2014-11-23 07:07:50 o.a.z.ClientCnxn …
Run Code Online (Sandbox Code Playgroud)

cluster-computing amazon-web-services apache-storm

5
推荐指数
1
解决办法
1962
查看次数

基于 Python 文件的队列是进程安全的

是否有进程安全的持久(基于磁盘)Python FIFO 队列?

有人可以提供一个简单的示例,其中包含一个将字符串写入队列的脚本,以及另一个从队列中一次读取一个字符串的脚本吗?请注意,每个进程都可以从命令行启动多次。即多个作者和多个读者。

背景:我有几个脚本,每个脚本每隔一段时间就会产生一些输出。我想了解他们创建的输出,并使用另一个脚本来处理他们产生的信息。不幸的是,我无法使用 Python 的多处理或线程模块,因为脚本可以在同一文件系统上的不同计算机上运行。即每个脚本都是从命令行启动的。

我所需要的只是每个队列元素都是一个字符串,并且队列是进程安全的。

编辑:我找到了queuelib pqueque的模块,但它们不提供进程安全性。我正在考虑用atomicfile调用替换queuelib的文件处理。但我担心调试它的时间太长,因为我时间不够,而且在编写应该是进程安全的软件时总是有一些细节需要注意。

注1:我使用的是Python 2.7。

注意2:我知道这个问题,但是我的要求非常适中,我正在寻找一个简单的解决方案,而该问题提供的答案涉及复杂的库,没有关于如何使用队列的示例。

编辑(2019):对于登陆这里的任何人,我发现SQLite 数据库提供原子访问,它有一个 python API,并且它是无服务器的。因此,我相信用它来实现我的问题中的队列是可能的(并且很容易)。

python queue asynchronous cluster-computing multiprocessing

5
推荐指数
0
解决办法
2921
查看次数

如何在 AWS Batch 中将现有 ECS 集群设置为计算环境

我的环境中正在ECS cluster运行,它配置了任务、存储库和服务以及自动缩放。

我正在发现该AWS Batch服务,当我创建一个新的服务时,compute environment一个新的集群将被添加到该ECS服务中。我想知道如何将 a 设置compute environment为我已有的集群?

solution cluster-computing amazon-web-services amazon-ecs

5
推荐指数
1
解决办法
1719
查看次数

无法从内部 docker swarm 集群连接到外部 mongodb 服务

如果我运行后端的单个 docker 容器,它运行良好并连接到在主机上运行的 mongodb。但是当我使用 docker-compose 运行后端时,它不会连接到 mongodb 并打印到控制台:

MongoError: failed to connect to server [12.345.678.912:27017] on first connect [MongoError: connection 0 to 12.345.678.912:27017 timed out]
Run Code Online (Sandbox Code Playgroud)

docker-compose.yml 内容:

version: "3"
services:
  web:
    image: __BE-IMAGE__
    deploy:
      replicas: 1
      restart_policy:
        condition: on-failure
      resources:
        limits:
          cpus: "0.1"
          memory: 2048M
    ports:
      - "1337:8080"
    networks:
      - webnet
  visualizer:
    image: dockersamples/visualizer:stable
    ports:
      - "1340:8080"
    volumes:
      - "/var/run/docker.sock:/var/run/docker.sock"
    deploy:
      placement:
        constraints: [node.role == manager]
    networks:
      - webnet
networks:
  webnet:
Run Code Online (Sandbox Code Playgroud)

我如何运行单个 docker 容器:

docker run -p 1337:8080 BE-IMAGE
Run Code Online (Sandbox Code Playgroud)

cluster-computing mongodb docker-compose docker-swarm

5
推荐指数
1
解决办法
1260
查看次数

如何从外部连接到 Kubernetes 中的无头服务?

我创建了一个无头服务:

apiVersion: v1
kind: Service
metadata:
  name: myapp-service-headless
spec:
  ports:
    - port: 80
  selector:
    app: myapp
  clusterIP: None
Run Code Online (Sandbox Code Playgroud)

从 Kubernetes 仪表板我可以看到它Internal endpoints:

myapp-service-headless:80 TCP
myapp-service-headless:0 TCP
Run Code Online (Sandbox Code Playgroud)

在此应用程序中,我还将内部端点设置为:

http://myapp-service-headless
Run Code Online (Sandbox Code Playgroud)

但是从外部如何访问其IP来连接API呢?

比如我的Kubernetes的IP是192.168.99.100,那么连接192.168.99.100可以吗?

现在来自 Kubernetes 仪表板的服务状态

服务

在此输入图像描述

服务详情

在此输入图像描述

ip internals cluster-computing endpoint kubernetes

5
推荐指数
1
解决办法
9484
查看次数

如何使用 slurm 在特定节点上运行作业?

我最初的问题是如何在集群上运行 CVX 工具箱(具有学术许可证)。我无法找到直接的方法来做到这一点,所以我决定以不同的方式解决这个问题。

CVX 许可证依赖于硬件,每个学术许可证与 4 个硬件绑定。我想将其中一个节点(可能是两个)添加到许可证列表中。为此,我需要始终在相同的硬件或节点上运行 CVX(我知道这可能不是一种有效的方法)。有什么办法可以做到吗?

cluster-computing slurm cvx

5
推荐指数
1
解决办法
2万
查看次数