如何在Spark应用程序中显示语句序列的逐步执行？

Question

我有一个 Apache Spark 数据加载和转换应用程序，它在抛出一个或其他运行时异常pyspark.sql之前运行了半个小时。AttributeError

我想用一个小数据样本（例如 Apache Pig 的ILLUSTRATE. 对数据进行抽样并没有多大帮助。有没有一种简单的方法可以做到这一点？

Answer 1

• 转到您工作的 Spark UI，您会DAG Visualization在那里找到一个。这是代表您工作的图表
• 要在示例上测试您的工作，首先使用示例作为输入；）您也可以在本地运行 Spark，而不是在集群上运行，然后在您选择的 IDE（如 IDEA）中对其进行调试

更多信息：

• 这个很好的答案解释了 DAG

• DataBricks 的 DAG 介绍