Pentaho 数据集成：错误处理

Question

我正在使用 Pentaho 数据集成 (CE) 构建 ETL 过程，并且我正在尝试操作我的转换和作业，以便能够对其进行监控。具体来说，我希望能够捕获任何错误，然后将它们发送到诸如 Honeybadger 或 New Relic 之类的错误报告服务。我了解如何进行行级错误报告，但我看不到执行作业或事务失败报告的方法。

这是一个示例作业。

• 该下降通道就是转型成功，但有行错误。在那里我们可以过滤结果并记录它们。
• 正确的路径是转换完全失败的情况（例如，数据库凭据错误）。这就是我遇到麻烦的地方：我不知道如何获取要发送的错误信息。

如何捕获要记录的转换失败？

Answer 1

您无法捕获作业本身内部的作业级错误详细信息。然而，还有其他监控选项。

第一个选项是使用数据库日志记录转换或作业（请参阅作业/转换参数对话框中的“日志”选项卡） - 这样您始终可以获得有关执行状态的最新信息，这样您就可以编写作业它会定期扫描日志数据库并在您需要的地方发送错误报告。

同时，这个选项对于开发和支持来说似乎相当重要，并且对于进一步的修改来说不太灵活。因此，在我们公司，我们最终监控了作业执行级别 - 即，当您使用 kitchen.bat 运行作业并且由于任何原因失败时，您会得到厨房执行的“错误”状态，因此您可以轻松检查并使用您想要的任何工具执行必要的操作 - .bat 命令、PowerShell 或（在我们的例子中）Jenkins CI。