我正在使用 Apache Livy 批量 POST 方法提交 Spark 作业。
此 HTTP 请求是使用 AirFlow 发送的。提交作业后,我正在使用批次 ID 跟踪状态。
我想在 Air Flow 日志上显示驱动程序(客户端日志)日志,以避免转到多个位置 AirFlow 和 Apache Livy/Resource Manager。
使用 Apache Livy REST API 是否可以做到这一点?
apache-spark airflow livy
airflow ×1
apache-spark ×1
livy ×1