我想创建一个Jupyter/IPython扩展来监视Apache Spark Jobs.
Spark提供REST API.
但是,我不想轮询服务器,而是希望通过回调发送事件更新.
我想注册一个SparkListener与SparkContext.addSparkListener().SparkContextPython 中的PySpark 对象中没有此功能.那么如何从Python向Scala/Java版本的上下文注册python监听器.是否可以通过py4j？我希望在侦听器中触发事件时调用python函数.