Spark-Submit 通过命令行不强制 UTF-8 编码

KJ *_*han 1 java encoding utf-8 bigdata apache-spark

当我使用 Spark 的 Java API 从 IDE 运行我的 Spark 作业时,我以所需的编码格式 (UTF-8) 获得输出。但是,如果我从命令行启动 'spark-submit' 方法,输出将错过编码。

当通过命令行界面使用时,有没有一种方法可以强制编码为“spark-submit”。

我使用的是 Windows 10 操作系统和 Eclipse IDE。

您的帮助将不胜感激。

谢谢你。

小智 5

像这样运行你的 Spark 作业: spark-submit --class com.something.class --name "someName" --conf "spark.driver.extraJavaOptions=-Dfile.encoding=utf-8"