在启动 Spark-submit / pyspark 时,我们确实可以选择使用该--jars选项指定 jar 文件。我们如何在 pyspark.xml 中指定 Maven 依赖项?运行 pyspark 应用程序时,我们是否必须始终传递所有 jars,还是有更干净的方法?
--jars
maven apache-spark pyspark
apache-spark ×1
maven ×1
pyspark ×1