Apache Spark - 是否可以使用依赖注入机制

Fil*_*nda 7 dependency-injection scala guice bigdata apache-spark

是否有可能使用框架在 Spark 应用程序中启用/使用依赖注入?

例如,是否可以使用Guice

如果是这样,是否有任何文档或如何操作的示例?

我使用Scala作为实现语言,Spark 2.2和 SBT 作为构建工具。

目前,我的团队和我正在使用 Cake Pattern - 然而它变得非常冗长,我们更喜欢 Guice。这是更直观的事情,其他团队成员已经知道。

小智 0

我最近一直在为同样的问题而苦苦挣扎。我的大部分发现是您将面临序列化问题。

我在这里找到了一个很好的 Guice 解决方案: https://www.slideshare.net/databricks/dependency-injection-in-apache-spark-applications