小编Ada*_*rky的帖子

如何从数据流作业发送和过滤结构化日志

目标是存储来自不同应用程序/作业的审计日志,并能够通过一些 id 聚合它们。为此,我们选择了 BigQuery,因此我们需要从日志中获取结构化信息到 BigQuery。

我们成功地使用了部署在 kubernetes 引擎中的应用程序,该应用程序将输出日志作为 json 字符串记录到 stdout 并对其进行解析,其结构可以在 stackdriver 中看到为jsonPayload. 我们从本教程中获取了它。

但是,当我在数据流作业中使用相同的日志附加程序时,它不会被视为结构化消息,而是被视为jsonPayload.message字段中的字符串。

我需要两件事的结构:

实现这一目标的最简单方法是什么?

logback google-cloud-dataflow apache-beam google-cloud-stackdriver

5
推荐指数
1
解决办法
327
查看次数