我正在根据指南Configure Spark使用配置文件以在AWS上设置EMR配置,例如,spark.executor.extraClassPath通过以下设置更改is:
{
"Classification": "spark-defaults",
"Properties": {
"spark.executor.extraClassPath": "/home/hadoop/mongo-hadoop-spark.jar",
}
}
Run Code Online (Sandbox Code Playgroud)
它可以正常运行并spark.executor.extraClassPath在emr spark conf上进行更改,但是emr在中具有一些预设的默认路径spark.executor.extraClassPath,因此与其覆盖spark.executor.extraClassPath.I,我想知道是否有一种方法可以追加路径并保留默认路径,例如
{
"Classification": "spark-defaults",
"Properties": {
"spark.executor.extraClassPath": "{$extraClassPath}:/home/hadoop/mongo-hadoop-spark.jar",
}
}
Run Code Online (Sandbox Code Playgroud) 我试图打印一个列表,假设是(我认为)一个空列表,但我得到了一个[[...]].我试着谷歌,但没有运气.此外,当我使用切片来查看...奇怪列表中的地狱是什么时,我得到了相同的结果[[...]],我想会有某种递归,但是导致它的原因是什么?有谁知道为什么?