使用 pip install pyspark 安装时是否有 spark-defaults.conf

Question

我安装pyspark了pip. 我在jupyter笔记本中编码。一切正常，但不是我java在导出大.csv文件时遇到堆空间错误。 这里有人建议编辑spark-defaults.config. 同样在火花文档中，它说

"注意：在客户端模式下，这个配置不能直接在你的应用程序中通过 SparkConf 设置，因为驱动 JVM 已经启动了。相反，请通过 --driver-memory 命令行选项或在你的默认属性文件。”

但恐怕是在安装时没有这样的文件pyspark有pip。我说得对吗？我该如何解决这个问题？

谢谢！

Answer 1

我最近也遇到了这个问题。如果您查看 下的 Spark UI Classpath Entries，第一个路径可能是配置目录，例如/.../lib/python3.7/site-packages/pyspark/conf/. 当我查找该目录时，它不存在；大概它不是pip安装的一部分。但是，您可以轻松创建它并添加您自己的配置文件。例如，

mkdir /.../lib/python3.7/site-packages/pyspark/conf
vi /.../lib/python3.7/site-packages/pyspark/conf/spark-defaults.conf

Answer 2

检查你的spark路径。下有配置文件： $SPARK_HOME/conf/，例如 spark-defaults.conf。