使用样条线在 Spark 中启用沿袭时出错？

Question

我尝试使用样条曲线使用此处指定的两种方式来跟踪 Spark 中的谱系 ，但这两种方法都因相同的错误而失败

错误 QueryExecutionEventHandlerFactory：样条线初始化失败！Spark 沿袭跟踪已禁用 Spark 代理无法与样条网关建立连接

原因：java.net.connectException：连接被拒绝

我可以在 port 看到 UI 8080，9090并且 arangoDB 也已启动并运行。

但没有显示血统。

我尝试过 pyspark 和 Spark-shell 但没有运气。任何帮助表示赞赏。

Answer 1

我能够通过手动创建rest-server，arangoDb然后web-client在运行 Spark shell 时为生产者提供正确的 uri 来解决该问题

--conf "spark.spline.producer.url=http://localhost:8080/producer"

尽管应用了各种操作和转换，但我仍然没有在 webui 上获得血统。

后来我意识到，一旦我们保存数据帧，就会生成沿袭，因此一旦触发写入，我就能够看到沿袭图。