小编Ram*_*rma的帖子

如何使用 AirFlow 提取使用 Apache Livy 批量 POST 方法提交的 Spark 作业客户端日志

我正在使用 Apache Livy 批量 POST 方法提交 Spark 作业。

此 HTTP 请求是使用 AirFlow 发送的。提交作业后,我正在使用批次 ID 跟踪状态。

我想在 Air Flow 日志上显示驱动程序(客户端日志)日志,以避免转到多个位置 AirFlow 和 Apache Livy/Resource Manager。

使用 Apache Livy REST API 是否可以做到这一点?

apache-spark airflow livy

2
推荐指数
1
解决办法
3446
查看次数

标签 统计

airflow ×1

apache-spark ×1

livy ×1