使用BigQuery进行日志分析

Question

我试图用BigQuery进行日志分析.具体来说,我有一个appengine应用程序和一个将向BigQuery发送日志数据的javascript客户端.在bigquery中,我将完整的日志文本存储在一列中,但也将重要的字段提取到其他列中.然后,我希望能够对这些列进行特殊查询.

两个问题:

1)BigQuery在这个用例中特别好或特别糟糕吗？2)如何设置旋转日志？即我只想存储最后N个日志或最后X GB的日志数据.我看到不支持删除.

Answer 1

1. 您知道,有一个很棒的演示,可以通过App Engine MapReduce将App Engine日志数据移动到BigQuery,名为log2bq(http://code.google.com/p/log2bq/)

2. Re:"用例" - Stack Overflow不是判断最佳或最差判断的好地方,但是BigQuery在内部用于分析真正非常大的日志数据.

3. 我没有看到将完整日志文本存储在单个列中的优势.如果您决定必须设置循环"日志",则可以通过创建单独的BigQuery表(可能每天一个)来摄取每日日志转储,然后在表变旧时删除它们.有关Table.delete方法的详细信息,请参阅https://developers.google.com/bigquery/docs/reference/v2/tables/delete.