小编Dr.*_*Pro的帖子

NoClassDefFoundError:在 Spark 独立集群上部署后无法初始化 XXX 类

我写了一个用 sbt 构建的火花流应用程序。它在本地工作得很好,但是在部署到集群上之后,它抱怨我在胖 jar 中清楚地写了一个类(使用 jar tvf 检查)。以下是我的项目结构。XXX对象是spark抱怨的对象

src
`-- main
    `-- scala
        |-- packageName
        |   `-- XXX object
        `-- mainMethodEntryObject
Run Code Online (Sandbox Code Playgroud)

我的提交命令:

$SPARK_HOME/bin/spark-submit \
  --class mainMethodEntryObject \
  --master REST_URL\
  --deploy-mode cluster \
  hdfs:///FAT_JAR_PRODUCED_BY_SBT_ASSEMBLY
Run Code Online (Sandbox Code Playgroud)

具体错误信息:

java.lang.NoClassDefFoundError: Could not initialize class XXX
Run Code Online (Sandbox Code Playgroud)

deployment scala apache-spark spark-streaming spark-submit

5
推荐指数
1
解决办法
3740
查看次数

DynamoDB中相同分区键的数据分布

据我了解,DynamoDB尝试将具有相同分区键的项目放入同一分区。我的问题是,当分区已满并分成两个不同的分区时,哈希如何工作?

例如,一个表具有一个分区键A,并且DynamoDB将所有带有分区键的项目A放入同一个分区P,然后P已满,dynamo将拆分PP1P2,现在客户端将插入I一个带有分区键的新项目,Adynamo如何确定要插入哪个分区(即P1P2I

database distributed-system amazon-web-services nosql amazon-dynamodb

5
推荐指数
1
解决办法
907
查看次数

为什么exec()系列函数在exec()之后不执行代码?

手册页说"exec()系列函数用新的过程映像替换当前过程映像." 但我不太明白"用新的过程图像替换当前过程图像"的含义.例如,如果exec成功,则不会达到perror

execl("/bin/ls", /* Remaining items sent to ls*/ "/bin/ls", ".", (char *) NULL);
perror("exec failed");
Run Code Online (Sandbox Code Playgroud)

c system

3
推荐指数
1
解决办法
2107
查看次数