我们的团队有许多流程,我们手动运行,但可能会运行很多天.这些过程会对大量实体(网页,数据库行,图像,文件等)执行各种操作.显然有时会出现故障,我们必须设计或处理以优雅地处理这些故障并继续前进,这样整个工作就不会失败.
根据所讨论的特定过程,故障的发生率,严重程度和紧急程度会有所不同.在某些情况下,我们会在发生罕见但重要的错误时发送电子邮件,在其他情况下,我们只需记录并继续,依此类推.
问题是我们有不同的错误处理代码分散在各处,而且当我们"记录并继续"时,没有人回过头来读取日志,因此没有人知道发生了什么问题.我们不能默认发送所有问题的电子邮件,因为只会有太多的电子邮件.
这些是长时间运行的进程,但不是守护程序,如SNMP或Nagios之类的东西可能是合适的.当然这是一个相当普遍的问题,但我似乎无法在网上找到很多解决方案.我听说有人在谈论使用log4j(或其他类似的日志包)来登录数据库等,这似乎可能是朝着正确方向迈出的一步,但是现在肯定还有更复杂的解决方案. ?我正在想象你的记录器将事件写入数据库的东西,并且有一个类似Nagios的Web界面,可以让你看到实时的哪些进程发生了什么错误,以及为特定模式配置电子邮件警报等.
这样的事情存在吗?如果没有,您用什么方法成功处理类似的问题?
(对于我们的大部分代码库都是在python中值得的,但我想这个想法的任何体面实现都基本上是非语言特定的,显然任何概念解决方案都是如此).
更新:我只是花了一些时间看Chainsaw,这是我正在寻找的东西,但我希望它是一个webapp而不是桌面应用程序,并具有警报功能.
更新:我刚刚发现了hoptoadapp和例外,它们都与我的想法有所不同,尽管两者都是专门针对Rails的.
我被要求监控SQL Server(2005和2008),我想知道什么是好的指标?我可以访问WMI计数器,但稍微有点丢失深度将是有用的.
目前我在我的名单上:
我希望能够监控表明机器性能下降或潜在严重问题的值.为此,我也想知道这些东西会被认为是正常的还是有问题的是什么价值?
我认为,对于一般社区来说,回答可能是一个非常好的问题,我认为我会告诉你们有些DBA专家(我当然不是其中之一!)
如果一个相当开放的问题,请道歉.RY
有人知道一个很好的工具来监控产生大量线程的程序的总内存使用量吗?我真的很喜欢在Erlang开发,并感谢任何帮助!
提前致谢
如果存在这样的软件,这将是一个更大的问题:现在我们的应用程序中存在的问题是,如果我们将其邮寄出去了,那就不对了。如果存在一个非常严重的问题,使我们整夜都在发送电子邮件,则此问题很快就会变得很糟糕。
有没有一种工具可以将这些错误填充到某种数据库中,我们可以查询这些数据库(通过不同的组件),并为每个组件引发的所有异常构建一个不错的监控站点?
我一直在搜索,却一无所获,现在我只在关注日志文件监视,因为似乎存在大量工具。
谢谢
我们正在开发一种在线游戏,玩家使用持久的TCP连接与服务器进行通信.持续存在,其生命周期是玩家的会话,如果连接关闭,玩家将被抛出游戏(尽管客户端将尝试自动重新连接).
现在,当然一切都在我们的办公室工作正常(连接到测试和现场服务器),但我们的客户报告说一些玩家断断续续(每隔几秒钟),并且他们自己也经历过(尽管他们的办公室在同一栋楼).
我怎样才能找出这些断开的原因?是因为:
该软件是用Java编写的.它会在玩家断开连接时记录,如果它主动踢它们(例如,为了不发送保持活动消息),它也会记录.
还有许多像我们这样的在线游戏.他们如何处理这个问题?(除非问题出在服务器/数据中心,否则解决方案很明显)
我需要编写一个监视/监视程序来检查一系列应用程序
监测计划应该能够
VB.NET中的哪种API可以帮助我实现这一目标?
任何代码示例都会非常有用
Apache Spark具有3个内存块:
cache或persistreduceByKey。现在,我想监视作业所占用的内存量(占每个块的百分比),这样我就知道我应该将这些数字调整为什么,以使Cache和Shuffle不会溢出到磁盘,而Heap不会OOM。例如,每隔几秒钟我就会收到一个更新,例如:
Cache: 40% use (40/100 GB)
Shuffle: 90% use (45/50 GB)
Heap: 10% use (1/10 GB)
Run Code Online (Sandbox Code Playgroud)
我知道我可以尝试使用其他技术来找到最有效的方法,但是我发现这非常费力,并且仅能够监视使用情况,这将使编写和调整Spark作业更加容易。
我已经在Google Compute Engine中创建了一个永久磁盘,并将其附加到实例。但是我想知道的是,如何监视磁盘上的可用空间?在Google Cloud Console或gcloud工具中都看不到它。
我目前正在探索越来越多的Google Cloud Platform,并尝试评估如何更改默认堆栈.我喜欢使用所有内置工具而不必去各种Saas产品的想法.其中一个更开放的问题是如何使用Stackdriver Monitoring.据我所知,内置监控使用Heapster和Google Cloud Sink.但是,如何将自己的自定义指标公开给Stackdriver以供使用?我不是指基于日志的指标,而是真实的东西?
我知道我可以随时将代理安装到群集上,但在我看来,作为Google容器引擎的一部分,它已经在运行,那么我怎样才能将指标推送到它?
monitoring google-cloud-platform kubernetes google-kubernetes-engine stackdriver
需要检查生产中监控Kafka的工具.此外,工具不需要许可证或重型硬件.特别是我需要一个工具来评估消费者对主题的偏差,主题的健康状况.
monitoring ×10
java ×2
apache-kafka ×1
apache-spark ×1
disk ×1
erlang ×1
exception ×1
hang ×1
kubernetes ×1
logging ×1
memory ×1
performance ×1
powershell ×1
pthreads ×1
scala ×1
sql-server ×1
stackdriver ×1
tcp ×1
testing ×1
vb.net ×1
watchdog ×1
wmi ×1