BigQuery vs Elasticsearch用于分析和存储应用程序日志

Question

我正在研究使用BigQuery获取应用程序日志文件的见解的优点.这些日志由Java和C#应用程序生成,其中大部分位于基于云的VM上.我很想知道其他人是否已经这样做以及BigQuery vs ElasticSearch/Logstash/Kibana的相对优点.

BigQuery的优势似乎是它可以处理大量数据,而ELK解决方案似乎更适合日志文件的非结构化特性,特别是当它们来自不同的系统时.

我还想在仪表板上显示信息.Kibana似乎非常好.使用Google解决方案(使用Google工作表等)创建仪表板有多容易？

想法,用例？

Answer 1

2017年更新:GCP正式支持Elastic

• https://www.elastic.co/blog/announcing-the-ga-of-elastic-cloud-hosted-elasticsearch-on-google-cloud-platform-gcp

Elasticsearch和BigQuery一起工作很好.BigQuery将获取尽可能多的数据,并在几秒钟内以任何方式查询它.同时,经过良好调优的Elasticsearch安装将在不到一秒的时间内为您提供答案,但仅针对有限数量的数据进行某些查询.

请阅读Ory at Rounds的这篇文章,详细介绍了他们如何使用两者:

https://www.rounds.com/blog/collecting-user-data-and-usage/

两个最重要的标题总结了他们两个原因:

• 使用Elasticsearch实时数据
• 谷歌BigQuery的大数据