如何为在 Direct Runner 上运行的 apache 光束管道设置日志级别

Question

使用Direct Runner在本地运行 Apache Beam 管道时，日志级别似乎设置为DEBUG.

有没有办法设置日志来INFO代替？

注意：--workerLogLevelOverrides可以在使用 Cloud Dataflow Runner 时使用，但似乎不适用于 Direct Runner

Answer 1

似乎按照标准配置，日志记录是slf4j使用JUL( java.util.logging) 后端完成的。您可以检查你的pom.xml的slf4j-api对应slf4j，并slf4j-jdk14为它的后端。

您需要在运行时配置 JUL。一种方法是将参数作为参数传递给 VM，例如

-Djava.util.logging.config.file=logging.properties

然后logging.properties在运行应用程序的目录中创建一个。就我而言，它是应用程序的根目录（包含src目录的目录）。如果它似乎不起作用，您可以指定一个绝对路径作为文件名。

关于配置，这里有一个例子：

handlers=java.util.logging.ConsoleHandler
.level=INFO
java.util.logging.ConsoleHandler.level=ALL
org.apache.beam.sdk.io.gcp.pubsub.PubsubUnboundedSource.level=ALL

这将设置包的级别org.apache.beam.sdk.io.gcp.pubsub.PubsubUnboundedSource。根据情况，您可以使用它的配置。确保为 JUL 日志输出中涉及的所有组件正确设置了级别。