标签: cluster-computing

kafka集群配置

我是卡夫卡的新手。我对 kafka 配置有疑问。

我想使用如下所示的单独服务器,

server1:kafka 生产者 server2:kafka broker、kafka 消费者、zookeeper

但是,我无法向经纪人发送消息。我收到了这个错误信息。

在控制台生产者(server1)上,控制台标准输出错误消息`

[2016-05-24 16:41:11,823] ERROR Error when sending message to topic twitter with key: null, value: 3 bytes with error: Failed to update metadata after 60000 ms.(org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
Run Code Online (Sandbox Code Playgroud)

`

在 kafka 生产者(server2)上,控制台标准输出错误消息`

[2016-05-25 10:20:01,588] DEBUG Connection with /192.168.50.142 disconnected (org.apache.kafka.common.network.Selector)
java.io.EOFException
    at org.apache.kafka.common.network.NetworkReceive.readFromReadableChannel(NetworkReceive.java:83)
    at org.apache.kafka.common.network.NetworkReceive.readFrom(NetworkReceive.java:71)
    at org.apache.kafka.common.network.KafkaChannel.receive(KafkaChannel.java:160)
    at org.apache.kafka.common.network.KafkaChannel.read(KafkaChannel.java:141)
    at org.apache.kafka.common.network.Selector.poll(Selector.java:286)
    at kafka.network.Processor.run(SocketServer.scala:413)
    at java.lang.Thread.run(Thread.java:745)
Run Code Online (Sandbox Code Playgroud)

`

运行命令如下

kafka 目录上的 server1,`

./bin/zookeeper-server-start.sh config/zookeeper.properties
./bin/kafka-server-start.sh config/server.properties
./bin/kafka-console-consumer.sh --zookeeper 192.168.50.142:2181 --from-beginning --topic twitter
./bin/kafka-topics.sh --create …
Run Code Online (Sandbox Code Playgroud)

configuration cluster-computing apache-kafka

6
推荐指数
1
解决办法
3935
查看次数

我如何实际使用 Raft 算法

在 Raft 论文中,他们提到所有客户端交互都发生在领导节点上。我不明白的是,领导者一直在变化。因此,假设我的集群位于负载均衡器之后。如何通知负载均衡器领导者已更改?或者,如果我是对的,负载均衡器是否可以向任何节点(跟随者或领导者)发送客户端请求,并且跟随者节点有责任将请求发送给领导者?

distributed cluster-computing raft

6
推荐指数
1
解决办法
1316
查看次数

Python 多处理工具与 Py(Spark)

一个新手问题,因为我对 pyspark 越来越感到困惑。我想扩展现有的 python 数据预处理和数据分析管道。我意识到如果我用 pyspark 对我的数据进行分区,我不能再将每个分区视为一个独立的 Pandas 数据框,并且需要学习使用 pyspark.sql 行/列函数进行操作,并更改大量现有代码,加上我必然会激发 mllib 库,并且无法充分利用更成熟的 scikit-learn 包。那么,如果我可以使用多处理工具进行集群计算并在现有数据帧上并行化任务,我为什么还需要使用 Spark?

python cluster-computing multiprocessing scikit-learn pyspark

6
推荐指数
1
解决办法
2142
查看次数

如何阻止脚本直到 slurm 作业(从 srun 开始)完全完成?

我正在使用 SLURM 运行一个作业数组,其中包含以下作业数组脚本(我使用它运行sbatch job_array_script.sh [args]:

#!/bin/bash

#SBATCH ... other options ...

#SBATCH --array=0-1000%200

srun ./job_slurm_script.py $1 $2 $3 $4

echo 'open' > status_file.txt
Run Code Online (Sandbox Code Playgroud)

为了解释一下,我想job_slurm_script.py作为一个数组作业运行 1000 次,最多并行 200 个任务。当所有这些都完成后,我想写 'open' 到status_file.txt. 这是因为实际上我有超过 10,000 个作业,这高于我的集群的 MaxSubmissionLimit,所以我需要将它拆分成更小的块(在 1000 个元素的作业数组中)并一个接一个地运行它们(仅当前一个完成)。

但是,为了使其工作,echo 语句只能在整个作业数组完成后触发(除此之外,我有一个循环来检查status_file.txt作业是否完成,即当内容是字符串“open”时) .

到目前为止,我认为srun将脚本保留到整个作业数组完成。然而,有时srun“返回”并且脚本会在作业完成之前转到 echo 语句,因此所有后续作业都会从集群中反弹,因为它超出了提交限制。

那么如何srun在整个作业数组完成之前“保持”状态?

cluster-computing slurm

6
推荐指数
2
解决办法
1万
查看次数

Spring boot - 如何使用故障转移 URL 连接到外部 ActiveMQ 主/从集群

我们在不同的 VM 上有 2 个 ActiveMQ 节点(例如主机:amq1、amq2)。它们作为主/从集群链接。

我们想使用故障转移协议连接到这个集群。如何才能做到这一点?春季启动配置:

@Configuration
@EnableWebSocketMessageBroker
public class WebsocketConfiguration extends AbstractWebSocketMessageBrokerConfigurer {

  @Override
  public void configureMessageBroker(MessageBrokerRegistry config) {
        config.enableStompBrokerRelay("/topic")
        .setRelayHost(activeMQProperties.getRelayHost())
        .setRelayPort(activeMQProperties.getRelayPort());
  }
}
Run Code Online (Sandbox Code Playgroud)

不幸的是,这里我们只能设置一台主机和一个端口。我们怎么能设置这样的东西:

failover:(stomp://amq1:61613,stomp://amq2:61613)
Run Code Online (Sandbox Code Playgroud)

更新:目前使用的是 Spring Boot 2.3.5

activemq-classic stomp message-queue cluster-computing spring-boot

6
推荐指数
1
解决办法
686
查看次数

异构集群中的 Kubernetes cpu 请求/限制

Kubernetes 允许为 POD指定 CPU限制和/或请求。

CPU 资源的限制和请求以 CPU 为单位进行衡量。在 Kubernetes 中,一个 cpu 相当于:

1 AWS vCPU
1 GCP Core
1 Azure vCore
1 IBM vCPU
1 Hyperthread on a bare-metal Intel processor with Hyperthreading
Run Code Online (Sandbox Code Playgroud)

不幸的是,当使用异构集群(例如使用不同处理器)时,cpu 限制/请求取决于分配 POD 的节点;特别是对于实时应用。

如果我们假设:

  • 我们可以为集群的每种硬件计算 POD 的微调 CPU 限制
  • 我们想让 Kubernetes 调度器在整个集群中选择一个匹配的节点

有没有办法启动 POD,以便 cpu 限制/请求取决于 Kubernetes 调度程序(或节点标签)选择的节点?

获得的行为应该是(或等价于):

  • 在分配 POD 之前,调度器通过根据 Node(或 Node Label)检查不同的 cpu 请求来选择节点
  • 在运行时,Kublet 根据节点(或节点标签)检查特定的 CPU 限制

cpu cluster-computing request heterogeneous kubernetes

6
推荐指数
1
解决办法
239
查看次数

为数据科学/机器学习任务设置多用户作业调度程序

背景

最近我的实验室投资了 GPU 计算基础设施。更具体地说:两个 TitanV 安装在标准服务器机器上。目前,该机器正在运行一个根本没有配置的 Windows Server。我实验室的每个人都可以登录并做任何他们想做的事情。时不时会发生机器对其他人完全无用的情况,因为有人不小心占用了所有可用内存。

由于机器学习在这里增长。我正在寻找一种更好的方式来利用我们的基础设施。

要求

  • 多用户。博士和学生应该能够完成他们的任务。
  • 作业队列或调度(最好是时间片调度)
  • 资源的动态分配。如果单个任务正在运行,则可以利用整个内存,但是一旦启动第二个任务,它们就应该共享资源。
  • 轻松/远程提交作业:也许是网页?

到目前为止我尝试过的

我有一个小型测试设置(带有 GTX 1070 的消费类 PC)用于实验。我的互联网研究将我指向了 SLURM 和 Kubernetes。

首先,我喜欢集群管理系统的想法,因为它提供了未来扩展基础设施的选项。

SLURM 设置起来相当容易,但我无法设置诸如远程提交或时间片调度之类的东西。

与此同时,我也尝试使用 Kubernetes。对我来说,它提供了更多有趣的功能,尤其是容器化。但是,所有这些功能都使设置和理解变得更加复杂。我再次无法构建像远程提交这样的东西。

我的问题

有没有人遇到过同样的问题,可以报告他/她的解决方案吗?我有一种感觉,Kubernetes 为未来做好了更好的准备。

如果您需要更多信息,请告诉我。

谢谢蒂姆!

gpu cluster-computing slurm kubernetes docker-datacenter

6
推荐指数
1
解决办法
875
查看次数

Vertx 聚类替代方案

任何人只要有Vertx集群管理的实战经验,其他比Hazelcast对低于我们要求的建议?

对于我们(实时传感器数据)系统,我们有数百个在多个JVM verticles的,但我们确实没有需要,或想,在eventbus跨越多个物理服务器。

我们在多台服务器上运行 Vertx,但如果我们不在所有服务器之间汇集单个事件总线,我们的平台就不那么复杂(我们更愿意明确地在服务器之间传递消息)。

Hazelcast 对我们来说是错误的集群管理器。我们不需要服务器之间的对等发现,但至关重要的是,Hazelcast 的任何版本更改都意味着新客户端无法加入具有运行先前版本的现有运行客户端的集群,因此将使用 vertx 3.6.3 编译的新 Verticle 引入现有集群这是不可能的,除非我们停止整个集群并在所有顶点重新编译到 3.6.3 的情况下重新启动它。这严重影响了我们的发展。verticles 更即插即用是有帮助的,vertx 可以做到这一点,但 Hazelcast 不能(由于不断的版本不兼容)。

谁能推荐一个适合我们用例的 vertx 集群管理器?

cluster-computing hazelcast vert.x

6
推荐指数
1
解决办法
2168
查看次数

Dask:如何为 Dask 集群添加安全性 (TLS/SSL)?

我正在尝试弄清楚如何向在 GCP 上的 GKE 上使用 helm 部署的 Dask 集群添加安全层,这将强制用户将证书和密钥文件输入到安全对象中,如本文档中所述 [1] . 不幸的是,我从调度程序 pod 崩溃中收到超时错误。查了一下日志,报错如下:

Traceback (most recent call last):
  File "/opt/conda/bin/dask-scheduler", line 10, in <module>
    sys.exit(go())
  File "/opt/conda/lib/python3.7/site-packages/distributed/cli/dask_scheduler.py", line 226, in go
    main()
  File "/opt/conda/lib/python3.7/site-packages/click/core.py", line 764, in __call__
    return self.main(*args, **kwargs)
  File "/opt/conda/lib/python3.7/site-packages/click/core.py", line 717, in main
    rv = self.invoke(ctx)
  File "/opt/conda/lib/python3.7/site-packages/click/core.py", line 956, in invoke
    return ctx.invoke(self.callback, **ctx.params)
  File "/opt/conda/lib/python3.7/site-packages/click/core.py", line 555, in invoke
    return callback(*args, **kwargs)
  File "/opt/conda/lib/python3.7/site-packages/distributed/cli/dask_scheduler.py", line 206, in main
    **kwargs
  File "/opt/conda/lib/python3.7/site-packages/distributed/scheduler.py", line 1143, …
Run Code Online (Sandbox Code Playgroud)

python ssl cluster-computing dask dask-distributed

6
推荐指数
1
解决办法
438
查看次数

如何检查ECS Fargate容器内的日志?

我正在 ECS Fargate 集群中运行 springboot 应用程序。有什么方法可以登录 Fargate docker 容器来查看日志吗?

logging cluster-computing amazon-ecs aws-fargate

6
推荐指数
1
解决办法
8531
查看次数