我试图在 mysql ndb 集群中计算我的表的表行大小。正如文档所说,该值由 IndexMemory + DataMemory + 每行开销 16 个字节 + 每个 DataMemory 页 128 个字节组成。
我的 NDB Cluster 配置:服务器版本:5.6.25-ndb-7.4.7-cluster-gpl-log MySQL Cluster Community Server (GPL)
NoOfReplica: 1
节点数:1
数据内存:2Gb
索引内存:512Mb
其他默认值。
所有数据都存储在 RAM 中。
我已经使用测试表将 ndb 集群填充到其极限。
CREATE TABLE `clients` (
`id`bigint(20) NOT NULL AUTO_INCREMENT
`user_id` bigint(20) NOT NULL,
PRIMARY KEY (`id`) )
ENGINE=ndbcluster AUTO_INCREMENT=5 DEFAULT CHARSET=utf8
COLLATE=utf8_unicode_ci ROW_FORMAT=DYNAMIC;
Run Code Online (Sandbox Code Playgroud)
我对这张表的计算:
DataMemory:8(bigint)+8(bigint)+10(主键的有序索引)+16(开销)=42字节
IndexMemory:25(主键的哈希索引)= 25 字节
ndb_mgm> 所有报告内存
节点 11:数据使用率为 95%(62260 32K 页共 65536 页)
节点 11:索引使用率为 76%(50017 8K 页共 65600 …
我已经在我的项目中通过 Stomp 配置了 Spring Websocket。
我的环境有 2 个集群节点和一个平衡器。如何在集群模式下配置spring websocket?
提前致谢
当我尝试在 Amazon EC2 实例上构建 gRPC 服务器/客户端时遇到问题。
我有一个实例 A(带有私有 ip:例如 1.2.3.4)。服务器代码就像
from concurrent import futures
import time
import math
import grpc
import helloworld_pb2
_ONE_DAY_IN_SECONDS = 60 * 60 * 24
class Greeter(helloworld_pb2.GreeterServicer):
def SayHello(self, request, context):
return helloworld_pb2.HelloReply(message='Hello, %s!' % request.name)
def serve():
server = grpc.server(futures.ThreadPoolExecutor(max_workers=10))
helloworld_pb2.add_GreeterServicer_to_server(Greeter(), server)
server.add_insecure_port('1.2.3.4:50051')
server.start()
try:
while True:
time.sleep(_ONE_DAY_IN_SECONDS)
except KeyboardInterrupt:
server.stop(0)
if __name__ == '__main__':
serve()
Run Code Online (Sandbox Code Playgroud)
另一方面,实例 B 有私有 ip 2.3.4.5,我想在它上面运行客户端脚本
from __future__ import print_function
import grpc
import helloworld_pb2
def run():
channel = grpc.insecure_channel('1.2.3.4:50051')
stub …Run Code Online (Sandbox Code Playgroud) 在 Spark 独立集群中,master(以 start_master.sh 脚本开始的节点)的角色究竟是什么?
我知道这是从 submit-job.sh 脚本接收作业的节点,但它在处理作业时的作用是什么?
我在 Web UI 中看到,它总是将作业交付给从站(以 start_slave.sh 开头的节点)并且不参与处理,对吗?在这种情况下,我是否还应该在与 master 相同的机器上运行脚本 start_slave.sh 以利用其资源(cpu 和内存)?
提前致谢。
分布式系统建议使用奇数个 Master 节点,例如 3 个 Master 节点或 5 个 Master 节点,以避免脑裂问题。
但是它是如何解决问题的呢?
如果有2个节点(A和B),1个主持人,如果A和B告诉主持人“我是大师”,那么就会发生脑裂。主持人无法决定谁是大师。
如果有 3 个节点(A、B 和 C),那么如果有 2 个节点说 Master 是 A,那么 Moderator 可以决定 A 是 Master。
但是如果A死了,那么Moderator必须从B和C中选择一个Master,如果B和C告诉Moderator“我是Master”呢?脑裂再次出现。
linux distributed-computing cluster-computing distributed-system
语境
我正在Spark 集群上执行 Spark 工具(如果有兴趣,这是 Spark 工具)。该工具正在从 HDFS 读取输入文件,并将在 HDFS 中生成输出文件。
我有 2 个 Azure VM,带有一个 Spark Master 容器、一个 Namenode 容器、两个 Spark Worker 容器和两个 Datanode 容器(另外两个容器提供工具所需的文件,但我不认为它很重要),使用 Docker 配置一群。
这是我用来运行 Spark 工具的 Bash 命令:
/gatk/gatk BwaAndMarkDuplicatesPipelineSpark \
--input hdfs://namenode:8020/PFC_0028_SW_CGTACG_R_fastqtosam.bam \
--reference hdfs://namenode:8020/hg19-ucsc/ucsc.hg19.2bit \
--bwa-mem-index-image /reference_image/ucsc.hg19.fasta.img \
--disable-sequence-dictionary-validation true \
--output hdfs://namenode:8020/PFC_0028_SW_CGTACG_R_dedup_reads.bam \
-- --spark-runner SPARK --spark-master spark://$SPARK_MASTER_HOST:7077 \
--driver-memory 30g --executor-cores 4 --executor-memory 15g
Run Code Online (Sandbox Code Playgroud)
问题
几个小时后,我收到此错误:
18/02/08 23:10:42 WARN TaskSetManager: Lost task 15.0 in stage 5.0 (TID 3087, 10.0.0.10, …Run Code Online (Sandbox Code Playgroud) 我运行一个30核心的Python使用群集上的工作MPIPool。当我通过无处不在的qdel <job ID>命令删除作业时,只有父进程被杀死,而子进程继续运行。换句话说:qdel使作业 ID 从队列中消失,但 30(= 核数)启动的 Python 进程仍然存在于后台,对集群负载贡献很大。此外,我只能“手动”杀死我登录的一个节点上的后台进程。
另一件使事情复杂化的事情是,我的 Python 脚本调用了一段Fortran代码(我正在使用该f2py模块来实现这一点)。我过去注意到,在本地运行程序时,Fortran 不响应Ctrl+C中断。一旦它再次到达 Python 层,程序就会中止。
我已经查阅了与 相关的文档MPIPool,我用它来并行化工作,但我没有设法查明到底哪里出错了。理想情况下,我希望子进程定期调用其父进程,并在注意到父进程不再存在时自行终止。目前看来,删除作业只是切断了将父母和孩子联系在一起的绳索,而不是删除孩子。
下面的代码片段显示了池对象如何集成到我的主代码中。此外,我使用 bash 脚本将作业提交到集群队列(包含echo 'mpirun -np '$NCORES' python '$SKRIPTNAME >> $TMPFILE)并请求我想要使用的核心数。后者应该可以正常工作。
import emcee
from emcee.utils import MPIPool
pool = MPIPool()
if not pool.is_master():
pool.wait()
sys.exit(0)
sampler = emcee.EnsembleSampler(nwalkers, ndim, lnprob, pool = pool)
pos, prob, state = sampler.run_mcmc(p0, 1000) # p0 contains the initial …Run Code Online (Sandbox Code Playgroud) 我以前没有使用过分布式计算,但我正在尝试将 mpi4py 集成到程序中,以便在计算集群上并行化 for 循环。
这是我想要做的伪代码:
for file in directory:
Initialize a class
Run class methods
Conglomerate results
我已经查看了堆栈溢出的所有内容,但找不到任何解决方案。有没有什么办法可以简单地使用mpi4py来做到这一点,或者有没有其他工具可以通过简单的安装和设置来做到这一点?
我需要使用 Kubernetes API 获取特定 Kubernetes 集群中所有命名空间的列表。因为在我的Python程序中需要遍历多个集群,所以每次调用API时都需要指定集群。
一种选择是使用 list_namespace(),如https://github.com/kubernetes-client/python/blob/master/kubernetes/docs/CoreV1Api.md 中所述
但是,此 API 不允许我指定集群。它从我的 .kube 配置文件中的当前上下文中获取集群。如果我删除或重命名配置文件,API 调用将完全失败。
我还在https://github.com/kubernetes-client/python/blob/master/kubernetes/docs/ExtensionsV1beta1Api.md找到了一个扩展 API
不幸的是,那里没有 API 来检索命名空间列表。还有其他一些我不知道的 API 吗?
这可能是一个非常基本的问题,但这是我第一次使用 slurm-cluster,我不想搞砸任何事情(管理员正在休假)。
我有一个使用“导入火炬”的 python 脚本。当我运行“sbatch myscript.sh”时,我得到输出“ImportError: No module named 'torch'”。我在节点内使用pip下载火炬包,但下载后我仍然收到importError。
我如何使我的进口工作?我应该从 github 下载包的源代码并将它们上传到我在 slurm 上的主目录吗?管理员给我的指南没有包含这个场景的信息,我错过了什么?
python ×3
apache-spark ×2
amazon-ec2 ×1
f2py ×1
fortran ×1
grpc ×1
hadoop ×1
java ×1
kubernetes ×1
linux ×1
mpi ×1
mpi4py ×1
mysql ×1
namespaces ×1
server ×1
slurm ×1
spring ×1