标签: cluster-computing

计算Mysql Ndb Cluster表大小

我试图在 mysql ndb 集群中计算我的表的表行大小。正如文档所说,该值由 IndexMemory + DataMemory + 每行开销 16 个字节 + 每个 DataMemory 页 128 个字节组成。

我的 NDB Cluster 配置:服务器版本:5.6.25-ndb-7.4.7-cluster-gpl-log MySQL Cluster Community Server (GPL)

NoOfReplica: 1

节点数:1

数据内存:2Gb

索引内存:512Mb

其他默认值。

所有数据都存储在 RAM 中。

我已经使用测试表将 ndb 集群填充到其极限。

CREATE TABLE `clients` ( 
`id`bigint(20) NOT NULL AUTO_INCREMENT
`user_id` bigint(20) NOT NULL,   
PRIMARY KEY (`id`) )
ENGINE=ndbcluster AUTO_INCREMENT=5 DEFAULT CHARSET=utf8
COLLATE=utf8_unicode_ci ROW_FORMAT=DYNAMIC;
Run Code Online (Sandbox Code Playgroud)

我对这张表的计算:

DataMemory:8(bigint)+8(bigint)+10(主键的有序索引)+16(开销)=42字节

IndexMemory:25(主键的哈希索引)= 25 字节

ndb_mgm> 所有报告内存

节点 11:数据使用率为 95%(62260 32K 页共 65536 页)

节点 11:索引使用率为 76%(50017 8K 页共 65600 …

mysql cluster-computing

5
推荐指数
0
解决办法
925
查看次数

如何在集群中配置 Spring WebSocket

我已经在我的项目中通过 Stomp 配置了 Spring Websocket。

我的环境有 2 个集群节点和一个平衡器。如何在集群模式下配置spring websocket?

提前致谢

spring cluster-computing spring-websocket

5
推荐指数
1
解决办法
2130
查看次数

在 Amazon EC2 上构建 gRPC 服务器

当我尝试在 Amazon EC2 实例上构建 gRPC 服务器/客户端时遇到问题。

我有一个实例 A(带有私有 ip:例如 1.2.3.4)。服务器代码就像

from concurrent import futures
import time
import math

import grpc

import helloworld_pb2

_ONE_DAY_IN_SECONDS = 60 * 60 * 24

class Greeter(helloworld_pb2.GreeterServicer):

  def SayHello(self, request, context):
    return helloworld_pb2.HelloReply(message='Hello, %s!' % request.name)


def serve():
  server = grpc.server(futures.ThreadPoolExecutor(max_workers=10))
  helloworld_pb2.add_GreeterServicer_to_server(Greeter(), server)
  server.add_insecure_port('1.2.3.4:50051')

  server.start()
  try:
    while True:
      time.sleep(_ONE_DAY_IN_SECONDS)
  except KeyboardInterrupt:
    server.stop(0)

if __name__ == '__main__':
  serve()
Run Code Online (Sandbox Code Playgroud)

另一方面,实例 B 有私有 ip 2.3.4.5,我想在它上面运行客户端脚本

from __future__ import print_function

import grpc

import helloworld_pb2


def run():
  channel = grpc.insecure_channel('1.2.3.4:50051')
  stub …
Run Code Online (Sandbox Code Playgroud)

communication cluster-computing amazon-ec2 server grpc

5
推荐指数
1
解决办法
1535
查看次数

主节点在 Spark 独立集群中的角色

在 Spark 独立集群中,master(以 start_master.sh 脚本开始的节点)的角色究竟是什么?

我知道这是从 submit-job.sh 脚本接收作业的节点,但它在处理作业时的作用是什么?

我在 Web UI 中看到,它总是将作业交付给从站(以 start_slave.sh 开头的节点)并且不参与处理,对吗?在这种情况下,我是否还应该在与 master 相同的机器上运行脚本 start_slave.sh 以利用其资源(cpu 和内存)?

提前致谢。

cluster-computing apache-spark

5
推荐指数
1
解决办法
2680
查看次数

奇数如何解决分布式系统中的脑裂?

分布式系统建议使用奇数个 Master 节点,例如 3 个 Master 节点或 5 个 Master 节点,以避免脑裂问题。

但是它是如何解决问题的呢?

如果有2个节点(A和B),1个主持人,如果A和B告诉主持人“我是大师”,那么就会发生脑裂。主持人无法决定谁是大师。

如果有 3 个节点(A、B 和 C),那么如果有 2 个节点说 Master 是 A,那么 Moderator 可以决定 A 是 Master。

但是如果A死了,那么Moderator必须从B和C中选择一个Master,如果B和C告诉Moderator“我是Master”呢?脑裂再次出现。

linux distributed-computing cluster-computing distributed-system

5
推荐指数
1
解决办法
1251
查看次数

java.io.InvalidClassException: org.apache.spark.internal.io.HadoopMapReduceCommitProtocol; 本地类不兼容

语境

我正在Spark 集群上执行 Spark 工具(如果有兴趣,这是 Spark 工具)。该工具正在从 HDFS 读取输入文件,并将在 HDFS 中生成输出文件。

我有 2 个 Azure VM,带有一个 Spark Master 容器、一个 Namenode 容器、两个 Spark Worker 容器和两个 Datanode 容器(另外两个容器提供工具所需的文件,但我不认为它很重要),使用 Docker 配置一群。

这是我用来运行 Spark 工具的 Bash 命令:

/gatk/gatk BwaAndMarkDuplicatesPipelineSpark \
--input hdfs://namenode:8020/PFC_0028_SW_CGTACG_R_fastqtosam.bam \
--reference hdfs://namenode:8020/hg19-ucsc/ucsc.hg19.2bit \
--bwa-mem-index-image /reference_image/ucsc.hg19.fasta.img \
--disable-sequence-dictionary-validation true \
--output hdfs://namenode:8020/PFC_0028_SW_CGTACG_R_dedup_reads.bam \
-- --spark-runner SPARK --spark-master spark://$SPARK_MASTER_HOST:7077 \
--driver-memory 30g --executor-cores 4 --executor-memory 15g
Run Code Online (Sandbox Code Playgroud)

问题

几个小时后,我收到此错误:

18/02/08 23:10:42 WARN TaskSetManager: Lost task 15.0 in stage 5.0 (TID 3087, 10.0.0.10, …
Run Code Online (Sandbox Code Playgroud)

java hadoop cluster-computing apache-spark

5
推荐指数
1
解决办法
1215
查看次数

f2py 和 MPI 池:在集群上删除父作业时子进程继续

我运行一个30核心的Python使用群集上的工作MPIPool。当我通过无处不在的qdel <job ID>命令删除作业时,只有父进程被杀死,而子进程继续运行。换句话说:qdel使作业 ID 从队列中消失,但 30(= 核数)启动的 Python 进程仍然存在于后台,对集群负载贡献很大。此外,我只能“手动”杀死我登录的一个节点上的后台进程。

另一件使事情复杂化的事情是,我的 Python 脚本调用了一段Fortran代码(我正在使用该f2py模块来实现这一点)。我过去注意到,在本地运行程序时,Fortran 不响应Ctrl+C中断。一旦它再次到达 Python 层,程序就会中止。

我已经查阅了与 相关的文档MPIPool,我用它来并行化工作,但我没有设法查明到底哪里出错了。理想情况下,我希望子进程定期调用其父进程,并在注意到父进程不再存在时自行终止。目前看来,删除作业只是切断了将父母和孩子联系在一起的绳索,而不是删除孩子。

下面的代码片段显示了池对象如何集成到我的主代码中。此外,我使用 bash 脚本将作业提交到集群队列(包含echo 'mpirun -np '$NCORES' python '$SKRIPTNAME >> $TMPFILE)并请求我想要使用的核心数。后者应该可以正常工作。

import emcee 
from emcee.utils import MPIPool

pool = MPIPool()

    if not pool.is_master():
        pool.wait()
        sys.exit(0)

sampler = emcee.EnsembleSampler(nwalkers, ndim, lnprob, pool = pool) 
pos, prob, state = sampler.run_mcmc(p0, 1000) # p0 contains the initial …
Run Code Online (Sandbox Code Playgroud)

python fortran cluster-computing mpi f2py

5
推荐指数
0
解决办法
395
查看次数

使用 mpi4py 在计算集群上并行化“for”循环

我以前没有使用过分布式计算,但我正在尝试将 mpi4py 集成到程序中,以便在计算集群上并行化 for 循环。

这是我想要做的伪代码:

for file in directory: Initialize a class Run class methods Conglomerate results

我已经查看了堆栈溢出的所有内容,但找不到任何解决方案。有没有什么办法可以简单地使用mpi4py来做到这一点,或者有没有其他工具可以通过简单的安装和设置来做到这一点?

python parallel-processing cluster-computing mpi4py

5
推荐指数
1
解决办法
4349
查看次数

如何使用 Kubernetes API 获取特定 Kubernetes 集群中所有命名空间的列表?

我需要使用 Kubernetes API 获取特定 Kubernetes 集群中所有命名空间的列表。因为在我的Python程序中需要遍历多个集群,所以每次调用API时都需要指定集群。

一种选择是使用 list_namespace(),如https://github.com/kubernetes-client/python/blob/master/kubernetes/docs/CoreV1Api.md 中所述

但是,此 API 不允许我指定集群。它从我的 .kube 配置文件中的当前上下文中获取集群。如果我删除或重命名配置文件,API 调用将完全失败。

我还在https://github.com/kubernetes-client/python/blob/master/kubernetes/docs/ExtensionsV1beta1Api.md找到了一个扩展 API

不幸的是,那里没有 API 来检索命名空间列表。还有其他一些我不知道的 API 吗?

namespaces cluster-computing kubernetes

5
推荐指数
1
解决办法
4377
查看次数

如何在 slurm 中安装 python 包/模块

这可能是一个非常基本的问题,但这是我第一次使用 slurm-cluster,我不想搞砸任何事情(管理员正在休假)。

我有一个使用“导入火炬”的 python 脚本。当我运行“sbatch myscript.sh”时,我得到输出“ImportError: No module named 'torch'”。我在节点内使用pip下载火炬包,但下载后我仍然收到importError。

我如何使我的进口工作?我应该从 github 下载包的源代码并将它们上传到我在 slurm 上的主目录吗?管理员给我的指南没有包含这个场景的信息,我错过了什么?

python cluster-computing slurm

5
推荐指数
1
解决办法
2652
查看次数