小编Ste*_*han的帖子

Spark - 动态分配 - shuffle_1_0_0.index(没有那个文件或目录)

在 Spark 2.2.0 上执行我的 scala 作业时,我不时遇到以下错误:

引起:java.io.FileNotFoundException:/spark/temporary/spark-927d72b5-154d-4fd5-a18e-4aefc0e05a59/executor-cdd8da76-bb86-4e4c-bf26-55acbcc761bf15cbc761bf/spark-927fd5-a18e-4aefc0e05a59 0f/shuffle_1_0_0.index(没有那个文件或目录)

我的 spark-submit 命令如下所示:

/spark/bin/spark-submit --verbose --conf spark.local.dir=/spark/temporary --conf spark.dynamicAllocation.enabled=true --conf spark.shuffle.service.enabled=true --conf spark.dynamicAllocation.executorIdleTimeout=2m --conf spark.shuffle.service.index.cache.entries=4096 --conf spark.memory.offHeap.enabled=true --conf spark.memory.offHeap.size=3g --conf spark.executor.extraJavaOptions="-XX:ParallelGCThreads=4 -XX:+UseParallelGC" --conf spark.file.transferTo=false --conf spark.shuffle.file.buffer=5MB --conf spark.shuffle.unsafe.file.output.buffer=5MB --conf spark.unsafe.sorter.spill.reader.buffer.size=1MB --conf spark.io.compression.lz4.blockSize=512KB --conf spark.shuffle.registration.timeout=2m --conf spark.shuffle.registration.maxAttempts=5 --conf spark.memory.useLegacyMode=true --conf spark.shuffle.memoryFraction=0.32 --conf spark.storage.memoryFraction=0.18 --conf spark.shuffle.io.maxRetries=10 --conf spark.dynamicAllocation.maxExecutors=3 --conf spark.dynamicAllocation.initialExecutors=3 --conf spark.task.cpus=2 --conf spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=2 --master spark://spark-master.spark:7077 --deploy-mode client --class control.TimeLensDriver --executor-cores 2 --executor-memory 2g --driver-memory 2g /spark/spark-job.jar /spark/s3Credential.conf 2017-09-08 7 /spark/public-holydays.json /spark/school-holydays.json /spark/de_postal_codes.json prometheus-pushgateway.monitoring-mida:9091 …
Run Code Online (Sandbox Code Playgroud)

scala shuffle dynamic-allocation ceph apache-spark

5
推荐指数
0
解决办法
651
查看次数

立即将 Kubernetes Statefulset/Deployment 扩展到满容量

目前,我们将其中一个有状态集扩展为拥有 11 个副本。我们当前的更新策略是

updateStrategy:
  type: RollingUpdate
Run Code Online (Sandbox Code Playgroud)

如果我们从头开始部署有状态集,Kubernetes 会依次启动它们。要启动一个副本,大约需要 5 分钟。因此,我们总共等待了 55 分钟才填满容量。

从头开始有没有办法一次性把容量填满呢?那么所有 11 个副本都会同时启动吗?

出于故障安全考虑,应通过 RollingUpdate 处理现有有状态集的升级。

最好的祝愿,斯蒂芬

scale kubernetes statefulset kubernetes-statefulset

4
推荐指数
1
解决办法
2487
查看次数