如何从群集的Spark节点使用Akka actor

Question

让Spark集群运行某个应用程序,我想使用Akka actor从集群中的每个Spark节点中流式传输数据.即:节点以某种方式处理数据,并且并行地,actor将节点内的一些其他数据发送到外部进程.

现在,这些是可能的选择:

1. 只需通过常规ActorSystem创建ActorRef:不可能,因为ActorSystem实例不是Serializable,它会在运行时失败
2. 使用Spark内部ActorSystem创建演员:因为星火1.4不是一个好的选择,因为Spark.get.ActorSystem被弃用

那么如果上面的选项无效,Spark节点实例化给定actor的最佳方法是什么？它有可能吗？

这个问题是一定的相关性这一块,虽然在更广的范围内制定

注意:我知道我可以以某种方式使用Spark流式传输此方案,但目前我想探索纯Akka选项的可行性