如何配置Hadoop/HDP组件的日志记录？

Question

我有一个HDP 2.4集群,其中包含以下服务/组件:

1. HBase的
2. 卡夫卡
3. MapReduce2
4. 风暴
5. Oozie的
6. 支持服务,如Zookeeper,Ambari,Yarn,HDFS等.

我一直在寻找这几天,并希望得到一些帮助.我有以下两个问题:

1. 如何在应用程序级别(我们使用log4j)和守护程序级别为下面提到的所有服务配置日志记录？
2. 在一个合并位置查看这些服务的所有应用程序级别日志的最佳做法是什么？Ambari有什么可以提供或我们需要第三方包(哪些是好的)？

非常感谢您提供的任何帮助!

Answer 1

如果您正在编写利用一个或多个 HDP 服务的应用程序，我建议您更新每个服务的 log4j.properties 文件以匹配您所需的日志记录级别。执行此操作的最佳方法是使用 Ambari 管理 UI。要编辑服务的 log4j.properties，请按照以下步骤操作：

1. 单击仪表板左侧的任一服务。
2. 加载“服务摘要”页面后，单击屏幕顶部的“配置”选项卡。
3. 单击版本历史时间线下方的“高级”选项卡，找到“高级”属性集，然后搜索 log4j.properties 条目。如果失败，您可以在屏幕右上角的搜索栏中搜索“log4j”，Ambari 将突出显示相关设置。

请参阅此处查看详细说明 HDFS 服务的 log4j.properties 文件示例的图像。

请记住，每个服务的日志文件只会捕获您的应用程序与该服务之间的交互。如果您使用 Java，我个人建议在您的应用程序中添加一个 log4j 实例；如果您不知道如何执行此操作，我的建议是遵循本教程（在这个问题上找到）来正确设置。根据您的应用程序调用每个服务的 API 的方式，您可以询问命令的输出并将其记录到您自己的日志文件中。

要在一个集中位置查看日志文件，您有两种选择：

1. 升级到 HDP 2.5 以使用 Ambari 日志搜索。
2. 继续使用 HDP 2.4 并使用 Flume 从头开始​​创建解决方案。

我将概述下面的两个选项。

1. 升级到 HDP 2.5 以使用 Ambari 日志搜索。

我敢说“更简单”的方法（我的意思是需要您付出最少的努力）是将集群升级到 HDP 2.5。更新后的 Hortonworks 数据平台通过其最新版本 Ambari 2.4 对 Ambari 进行了重大修改。此版本包括 Ambari Infra，它允许您查看所有日志文件、按日志级别过滤并通过Ambari Log Search执行图形和复杂功能。

如果升级整个集群对您来说不可行，另一个选择是从 Hortonworks 网站获取 Ambari 2.4 存储库并手动安装。Hortonworks 代表建议我，Ambari 2.4 可以毫无问题地在 HDP 2.4 上运行，因此这可能是一个可行的替代方案...尽管我建议您在尝试此操作之前先咨询 Hortonworks！

Ambari 日志搜索的唯一缺点是您无法在搜索中包含应用程序日志 - Ambari 日志搜索仅适用于 Hadoop 服务。

2. 继续使用 HDP 2.4 并使用 Flume 从头开始​​创建解决方案。

如果您不想升级到 Ambari 2.4，那么其他选项看起来有点稀缺。我个人不知道有任何开源解决方案，并且一些粗略的谷歌搜索返回的结果很少。Apache Chukwa和Cloudera 的 Scribe都应该解决 Hadoop 中的分布式日志收集问题，但都已经有 9 年历史了。还有一个较旧的 Hortonworks 日志收集流程，它利用 Flume进行相同的流程，可能值得一看。此 SO 线程还推荐 Flume 用于其他情况。使用 Flume从每个服务器目录收集日志可能值得考虑/var/log/。

该解决方案的优点是您的应用程序日志文件可以作为源包含在 Flume 工作流程中，并包含在其他 HDP 服务日志中（取决于您决定将它们放在哪里）。