小编Min*_*hai的帖子

Spark中方法参数会触发序列化吗?

我阅读了有关传递函数的Spark 编程指南,并想知道当函数引用外部方法参数/局部变量时会发生什么。

例如,我有这个对象

object Main {
  def main(args: Array[String]): Unit = {
    val ds: Dataset[String] = ???
    ds.map(_ + args(0))
  }
}
Run Code Online (Sandbox Code Playgroud)

Spark 必须序列化吗Main?如果args里面是局部变量怎么办main

serialization scala apache-spark

3
推荐指数
1
解决办法
452
查看次数

Scalatest GeneratorDrivenPropertyChecks 初始化种子

我正在使用Scalatest 3.1.0-SNAP13,但无法找到如何从此PR中指定 init 种子选项。我正在使用 SBT 来运行测试,因此如果有一种方法可以指定此选项build.sbt将是理想的。

scala scalatest property-based-testing

3
推荐指数
1
解决办法
411
查看次数

Scala尝试[单位]混乱

我有这段代码

import scala.util.Try
val t: Try[Unit] = Try(Try(1))
Run Code Online (Sandbox Code Playgroud)

和2个问题:

  • 这里发生了什么?该类型如何Try[Try[Int]]匹配 Try[Unit]?是不是因为斯卡拉选择块返回类型 Try(1)Unit以匹配所需的类型?
  • 反正有没有检测到嵌套Try?说我有Try[A],我怎么知道是否A是另一个Try[_]

types scala try-catch

2
推荐指数
1
解决办法
538
查看次数