从另一个模块访问 Scala 私有类

Question

我有一个 Scala/Spark 项目（使用 Maven 构建），我想在其中执行以下操作。

我想修改org.apache.spark.mllib.recommendations.ALS，所以我将该文件的源代码复制到我自己的包中：org.apache.spark.mllib.myrecommendations.ALS。但是，它依赖于一些类，例如org.apache.spark.util.Utils，这些类被声明为private[spark]。

我曾希望通过将我的代码放入 中org.apache.spark，它将能够访问私有成员。但它在抱怨，也许是因为 Spark 是通过 Maven 模块导入的？我该如何解决这个问题？

以下是 pom.xml 导入 Spark-mllib 的方式：

    <dependency>
        <groupId>com.sparkjava</groupId>
        <artifactId>spark-core</artifactId>
        <version>2.0.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-mllib_2.10</artifactId>
        <version>1.1.0</version>
        <scope>provided</scope>
    </dependency>

这是我遇到的错误消息的示例：

error: variable checkpointDir in class SparkContext cannot be accessed in org.apache.spark.SparkContext
[WARNING]         if (sc.checkpointDir.isDefined && (iter % 3 == 0)) {
[WARNING]                ^

查看 org.apache.spark.SparkContext 的源代码，我看到 checkpointDir 被声明为 org.apache.spark 私有：

private[spark] var checkpointDir: Option[String] = None

为什么我无法访问此成员，即使我的代码位于 org.apache.spark.mllib.myrecommendation.ALS（org.apache.spark 的子级）中？

Answer 1

这个对我有用。

由于包是开放的，按照您描述的方式添加它们是完全可以的（从密封的 jar 文件中模加载）。

一个简单的 sbt 项目，其中 ALS.scala 被修改为驻留在包中recommendation2（并修复了一些private[recommendation2]）并导入org.apache.spark.mllib.recommendation.MatrixFactorizationModel。

构建.sbt：

scalaVersion := "2.10.3"

scalacOptions ++= Seq("-Xlint", "-deprecation")

libraryDependencies ++= Seq(
    "org.apache.spark" % "spark-core_2.10" % "1.2.0",
    "org.apache.spark" % "spark-mllib_2.10" % "1.2.0",
    "junit" % "junit" % "4.12" % "test"
)

然后

$ sbt compile
[info] Set current project to SparkHack (in build file:/home/apm/tmp/spark-hack/)
[info] Updating {file:/home/apm/tmp/spark-hack/}spark-hack...
[info] Resolving [snip]...
[info] Done updating.
[info] Compiling 1 Scala source to /home/apm/tmp/spark-hack/target/scala-2.10/classes...
[success] Total time: 22 s, completed Jan 19, 2015 9:10:03 AM