小编Zho*_*uan的帖子

EMR conf spark默认设置

我正在根据指南Configure Spark使用配置文件以在AWS上设置EMR配置,例如,spark.executor.extraClassPath通过以下设置更改is:

{
     "Classification": "spark-defaults",
     "Properties": {
         "spark.executor.extraClassPath": "/home/hadoop/mongo-hadoop-spark.jar",
     }
}
Run Code Online (Sandbox Code Playgroud)

它可以正常运行并spark.executor.extraClassPath在emr spark conf上进行更改,但是emr在中具有一些预设的默认路径spark.executor.extraClassPath,因此与其覆盖spark.executor.extraClassPath.I,我想知道是否有一种方法可以追加路径并保留默认路径,例如

{
     "Classification": "spark-defaults",
     "Properties": {
         "spark.executor.extraClassPath": "{$extraClassPath}:/home/hadoop/mongo-hadoop-spark.jar",
     }
}
Run Code Online (Sandbox Code Playgroud)

configuration amazon-web-services amazon-emr apache-spark

6
推荐指数
1
解决办法
816
查看次数

[[...]]在python中意味着什么?

我试图打印一个列表,假设是(我认为)一个空列表,但我得到了一个[[...]].我试着谷歌,但没有运气.此外,当我使用切片来查看...奇怪列表中的地狱是什么时,我得到了相同的结果[[...]],我想会有某种递归,但是导致它的原因是什么?有谁知道为什么?

python recursion list

3
推荐指数
1
解决办法
2467
查看次数