输入字符串ea的java 9 NumberFormatException上的Spark作业失败

Question

我有一个示例spark工作,我成功地能够在java 8上运行但是当我在java 9上运行相同的程序时,它失败了 NumberFormatException

SparkConf conf = new SparkConf();
conf.setMaster("local[*]").setAppName("java 9 example");
SparkSession session = SparkSession.builder().config(conf).getOrCreate();
Dataset<Row> ds = session.read().text("<xyz path>");
System.out.println(ds.count());

例外细节:

线程"main"中的异常java.lang.NumberFormatException:对于输入字符串:java.base/java.lang.Integer.parseInt中java.base/java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)的输入字符串:"ea" (Integer.java:695)在scala.collection的scala.collection.immutable.StringLike $ class.toInt(StringLike.scala:229)的java.base/java.lang.Integer.parseInt(Integer.java:813)中.位于org.apache的org.apache.spark.SparkContext.warnDeprecatedVersions(SparkContext.scala:353)的orutable.StringOps.toInt(StringOps.scala:31)org.apache.Spark.SparkContext.(SparkContext.scala:186). spark.SparkContext $ .getOrCreate(SparkContext.scala:2313)org.apache.spark.sql.SparkSession $ Builder $$ anonfun $ 6.apply(SparkSession.scala:868)at org.apache.spark.sql.SparkSession $ Builder来自com的org.apache.spark.sql.SparkSession $ Builder.getOrCreate(SparkSession.scala:860)的scala.Option.getOrElse(Option.scala:120)上的$$ anonfun $ 6.apply(SparkSession.scala:860). ts.spark.session.TestApp.main(TestApp.java:18)

Maven spark依赖项:

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>2.1.0</version>
</dependency>

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.10</artifactId>
    <version>2.1.0</version>
</dependency>

Java详细信息:

java版"9-ea"
Java(TM)SE运行时环境(版本9-ea + 156)
Java HotSpot(TM)64位服务器VM(版本9-ea + 156,混合模式)

在java 9上设置spark需要遵循的其他步骤吗？谢谢!

Answer 1

似乎调用scala StringLike以将"ea"("9-ea"的一部分)解析为整数.使用的JDK 9版本是旧的,当JDK 9版本候选者接近时,较新的版本删除了"-ea".因此,获取最新的JDK 9下载(jdk-9 + 181)并向Spark提交一个错误,以检查解析版本字符串的代码.版本字符串方案的一个很好的参考是JEP 223(http://openjdk.java.net/jeps/223).