如何在 Spark 工作线程上调试映射函数中的错误？

Question

我是 Spark 的新手并试图找到自己的方式。

我有一个 spark 应用程序，它在dataset 上运行一个复杂的 map 函数。此地图功能可能会因主要与数据相关的原因而失败。我怎样才能得到一些关于出了什么问题的有意义的信息？我不知道从哪里开始。

非常感谢！

Answer 1

好吧，这确实是可能的，但是有一些陷阱。

一般来说，创建一个类来封装地图函数的结果，例如

class CalcResult(object):

    def __init__(self):
        self.dataResult=None
        self.TraceBackStr=None
        self.wasError=None

然后您可以测试 wasError 字段以记录异常。

异常对象不能是回溯对象，因为它们不可选取。所以，我建议使用格式化字符串。