同时使用 SparkR 和 Sparklyr

Question

据我了解，这两个包为 Apache Spark 提供了相似但主要不同的包装函数。Sparklyr 较新，但仍需要在功能范围内增长。因此，我认为目前需要同时使用这两个软件包才能获得完整的功能范围。

由于这两个包本质上都包装了对 Scala 类的 Java 实例的引用，因此我猜应该可以并行使用这些包。但实际上有可能吗？你的最佳实践是什么？

Answer 1

这两个包使用不同的机制，并且不是为互操作性而设计的。它们的内部结构以不同的方式设计，并且不以相同的方式公开 JVM 后端。

虽然人们可以想到一些允许与持久元存储进行部分数据共享（想到使用全局临时视图）的解决方案，但它的应用程序相当有限。

如果您需要两者，我建议将管道分成多个步骤，并使用持久存储在这些步骤之间传递数据。