我正在使用Cloud Dataproc运行PySpark作业,并希望使用loggingPython模块记录信息.目标是将这些日志推送到Cloud Logging.
从这个问题,我了解到我可以通过向流畅的配置添加日志文件来实现这一点,该配置位于/etc/google-fluentd/google-fluentd.conf.
但是,当我查看日志文件时/var/log,我找不到包含我的日志的文件.我已经尝试使用默认的python记录器和'py4j'记录器.
logger = logging.getLogger()
logger = logging.getLogger('py4j')
Run Code Online (Sandbox Code Playgroud)
任何人都可以了解我应该使用哪个记录器,以及应该将哪个文件添加到流畅的配置中?
谢谢
apache-spark pyspark google-cloud-logging google-cloud-dataproc