标签: monitoring

在 Java 中查询系统(非 JVM)正常运行时间

在 JavaSE 6 中是否有一种与操作系统无关的查询系统(不是 JVM - 我知道 RuntimeMXBean.getUptime())正常运行时间的方法?

谢谢

java monitoring operating-system jmx

5
推荐指数
1
解决办法
3074
查看次数

如何监控网络套接字连接?

我试图找到一个工具来监控单个网络套接字连接......我没有找到任何有用的资源。我的目的是读取通过套接字的数据,例如通过这些方法传递的数据。

  • 订阅()
  • 取消订阅()
  • 接收()
  • 发送()
  • 连接()

sockets monitoring

5
推荐指数
1
解决办法
1万
查看次数

不能使用bash作为Sensu插件获取jstat指标

我创建了bash scirpt,它接受了我的jvm实例的jstat指标!

这是输出示例:

demo.server1.sms.jstat.eden 24.34   0
demo.server1.lcms.jstat.eden    54.92   0
demo.server1.lms.jstat.eden 89.49   0
demo.server1.tms.jstat.eden 86.05   0
Run Code Online (Sandbox Code Playgroud)

但当Sensu-client运行此脚本时,它会返回

Could not attach to 8584
Could not attach to 8588
Could not attach to 17141
Could not attach to 8628
demo.server1.sms.jstat.eden     0
demo.server1.lcms.jstat.eden    0
demo.server1.lms.jstat.eden     0
demo.server1.tms.jstat.eden     0
Run Code Online (Sandbox Code Playgroud)

以下是check_cron.json的示例

{
  "checks": {
    "jstat_metrics": {
      "type": "metric",
      "handlers": ["graphite"],
      "command": "/etc/sensu/plugins/jstat-metrics.sh",
      "interval": 5,
          "subscribers": [ "webservers" ]
    }
  }
}
Run Code Online (Sandbox Code Playgroud)

还有我的bash脚本

jvm_list=("sms:$sms" "lcms:$lcms" "lms:$lms" "tms:$tms" "ums:$ums")
for jvm_instance in ${jvm_list[@]}; do
    project=${jvm_instance%%:*}
    pid=${jvm_instance#*:}
        if [ …
Run Code Online (Sandbox Code Playgroud)

bash shell monitoring sensu

5
推荐指数
2
解决办法
4512
查看次数

Celery Flower - 在一个 Flower 仪表板中监控多个 celery 工人

我有许多工作人员在不同的 EC2 实例上运行,还有一个他们用作代理的常见 Redis [Elasticache] 实例。

我已经在 Vagrant [连同 celery 和 redis] 中设置了 Flower,我想用它监控所有远程工作人员。

注意:Celery+Redis+Flower 与本地 worker 配合良好。我将任务发送给 worker,存储在 Redis 中并显示在 Flower 中。

我已经为远程 Redis 端口 6379 到本地主机 6379 创建了一个隧道,我可以通过 Redis 桌面管理器访问它。

然后,在 Vagrant 中运行,celery flower --broker=redis://10.0.2.2:6379/因此我通过主机操作系统使用隧道 Redis 数据库。

Flower 服务器启动,但显示为空。

据我了解,它找不到要监控的工人。

我将如何提供它?

这是花的输出 在此处输入图片说明

monitoring redis celery vagrant flower

5
推荐指数
0
解决办法
1941
查看次数

如何监控每个容器的 YARN 应用程序内存?

我正在寻找一种方法来监视 YARN 容器随时间的内存使用情况。

具体来说 - 给定一个 YARN 应用程序 ID,你如何获得一个图表,显示每个容器随时间的内存使用情况?

主要目标是更好地满足我们的 YARN 应用程序(Spark / Map-Reduce)的内存分配要求,以避免过度分配和集群资源浪费。一个附带目标是在开发我们的作业并尝试选择合理的资源分配时调试内存问题的能力。

我们已经尝试使用Data-Dog 集成,但它没有按容器分解指标。

另一种方法是解析hadoop-yarn日志。这些日志包含以下消息:

Memory usage of ProcessTree 57251 for container-id container_e116_1495951495692_35134_01_000001: 1.9 GB of 11 GB physical memory used; 14.4 GB of 23.1 GB virtual memory used
Run Code Online (Sandbox Code Playgroud)

正确解析日志可以产生可用于绘制内存使用情况随时间变化的图表的数据。

这正是我们想要的,但有两个缺点:

  1. 它涉及读取人类可读的日志行并将它们解析为数字数据。我们很想避免这种情况。
  2. 如果可以以其他方式使用这些数据,我们希望它会有更多我们将来可能感兴趣的信息。我们不想花时间解析日志只是为了意识到我们需要别的东西。

有没有其他方法可以提取这些指标,通过插入现有的生产者或编写一个简单的侦听器?

也许是另一种方法?

monitoring hadoop hadoop-yarn apache-spark

5
推荐指数
0
解决办法
865
查看次数

如何从java客户端正确使用Prometheus Histogram来跟踪大小而不是延迟?

我有一个处理集合的 API。这个API的执行时间与集合大小有关(集合越大,占用的时间越多)。

我正在研究如何使用 prometheus 执行此操作,但不确定我是否正确地做事(这方面的文档有点缺乏)。

我做的第一件事是定义一个摘要指标来衡量 API 的执行时间。我正在使用规范的 rate(sum)/rate(count) 解释here。

现在,由于我知道延迟可能受输入大小的影响,我还想在平均执行时间上叠加请求大小。由于我不想测量每个可能的尺寸,我想我会使用直方图。像这样:

Histogram histogram = Histogram.build().buckets(10, 30, 50)
        .name("BULK_REQUEST_SIZE")
        .help("histogram of bulk sizes to correlate with duration")
        .labelNames("method", "entity")
        .register();
Run Code Online (Sandbox Code Playgroud)

注意:术语“大小”与字节大小无关,而是与需要处理的集合的长度有关。2 件、5 件、50 件……

在执行中我做(简化):

@PUT
void process(Collection<Entity> entitiesToProcess, string entityName){
   Timer t = summary.labels("PUT_BULK", entityName).startTimer()

      // process...

   t.observeDuration();
   histogram.labels("PUT_BULK", entityName).observe(entitiesToProcess.size())
}
Run Code Online (Sandbox Code Playgroud)

题:

  • 后来当我查看 Grafana 中的 BULK_REQUEST_SIZE_bucket 时,我看到所有存储桶都具有相同的值,所以很明显我做错了什么。
  • 有没有更规范的方法来做到这一点?

performance monitoring prometheus

5
推荐指数
1
解决办法
5653
查看次数

如何使用 hawtio 在 Java 项目中监控 Apache 骆驼路线

通常,如果我们使用 Java DSL 开发 Java Camel 应用程序,则很难监控 Camel 路由。为了检查路由是否正在运行,我们需要开发一个额外的监控应用程序。

但是 Hawtio 在这方面减轻了我们的工作。如果您的项目是 Web 应用程序项目,那么 Hawtio 已经为它提供了骆驼组件。因此,无需任何额外的努力,它将直接工作。

但是对于 Java 应用程序,它没有显示路由。

java monitoring apache-camel hawtio

5
推荐指数
1
解决办法
5116
查看次数

如何使用 Prometheus 监控 Heroku 多 dynos 应用程序

我需要通过 Prometheus 监控系统部署到 Heroku 的监控应用程序。

问题是,如果你有更多的 dynos 应用程序,你需要知道你的 dynos 的所有 IP 地址才能从所有 dynos 中提取指标。

对于 K8s 或 AWS,我们可以获得完整的 POD/实例列表,因此您可以执行此操作。

所以问题是,您知道如何从 Heroku 获取所有 dynos 的 IP 吗?谢谢

monitoring heroku prometheus

5
推荐指数
1
解决办法
2201
查看次数

cAdvisor prometheus 集成将 container_cpu_load_average_10s 返回为 0

我已将 Prometheus 配置为从 cAdvisor 抓取指标。但是,指标“container_cpu_load_average_10s”仅返回 0。我能够在 cAdvisor Web UI 下正确看到 CPU 指标,但 Prometheus 仅收到 0。它适用于“container_cpu_system_seconds_total”等其他指标。如果我在这里遗漏了什么,有人可以指出吗?

普罗米修斯版本:2.1.0

普罗米修斯配置:

scrape_configs: - job_name: cadvisor scrape_interval: 5s metrics_path: /metrics scheme: http static_configs: - targets: - 172.17.0.2:8080

cAdvisor 版本:0.29.0

monitoring docker prometheus cadvisor

5
推荐指数
1
解决办法
3363
查看次数

具有历史数据的 Prometheus 导出器

Prometheus 导出器是否可以保存历史数据,而不仅仅是在抓取时开发价值?

我的目标是我的导出器每 1 毫秒读取一个值(假设是一个传感器)并保存它。现在,Prometheus 每隔 15 秒就会提取一次数据并获取自上次抓取以来的值列表。

这是否可能/打算与出口商一起完成?
因为如果我正确理解导出器并不打算保存值,而只是在普罗米修斯抓取它时读取值。
抓取的安排

如果无法使用导出器解决此问题,我只能看到在节点和导出器之间添加时间序列数据库的解决方案。然后导出器只从 tsdb 中提取数据。
|节点| --[每毫秒产生价值] --> |InfluxDB| --> |出口商| --> |普罗米修斯|

我在这里错过了什么吗?

monitoring exporter prometheus prometheus-node-exporter

5
推荐指数
1
解决办法
5576
查看次数