小编cor*_*ump的帖子

Spark数据集:示例:无法生成编码器问题

新的火花世界和尝试用我在网上找到的scala编写的数据集示例

在通过SBT运行时,我继续收到以下错误

org.apache.spark.sql.AnalysisException: Unable to generate an encoder for inner class

知道我在俯瞰什么

也可以随意指出编写相同数据集示例的更好方法

谢谢

> sbt>  runMain DatasetExample

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
16/10/25 01:06:39 INFO Remoting: Starting remoting
16/10/25 01:06:46 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkDriverActorSystem@192.168.150.130:50555]
[error] (run-main-6) org.apache.spark.sql.AnalysisException: Unable to generate an encoder for inner class `DatasetExample$Student` without access to the scope that this class was defined in. Try moving this class out of its parent class.;
org.apache.spark.sql.AnalysisException: Unable to generate an encoder for inner …
Run Code Online (Sandbox Code Playgroud)

scala apache-spark apache-spark-sql apache-spark-dataset apache-spark-encoders

7
推荐指数
1
解决办法
3471
查看次数

无法使用gradle创建RPM

我是java/gradle安装的新手,并且能够使用此处提供的示例构建jar文件.同时也实现了Jacoco代码覆盖工具.
但遇到以下问题

  • 无法构建RPM,Tried ospackage-plugin但它只是不生成任何东西(在插件的github页面上提供的示例)
  • Jacoco没有生成突出显示的源代码html文件?它的产生,直到像法击穿这个,但不能产生单独的源代码文件

我的build.gradle文件如下

plugins {
  id "nebula.ospackage" version "3.2.0"
} 

apply plugin: 'nebula.ospackage'
apply plugin: 'java'
apply plugin: "jacoco"

repositories {
   mavenCentral()
   jcenter()
}

dependencies {
  testCompile 'org.testng:testng:6.8'
  compile 'log4j:log4j:1.2.17'
}

sourceSets {
     main {
        java {       srcDir 'src/main/java/'      }
        resources {  srcDir 'src/main/resources'  }
     }

   test {
        java {       srcDir 'src/test/java/'      }
        resources {  srcDir 'src/test/resources'  }
    }
}

test {
    // explicitly include or exclude tests
    include 'src/test/java/**'

    useTestNG{
        useDefaultListeners = …
Run Code Online (Sandbox Code Playgroud)

java rpm gradle jacoco

4
推荐指数
1
解决办法
4854
查看次数