类似 GROUP BY 和 Logs Explorer 的东西

Mar*_*cus 7 google-cloud-logging

我正在尝试找出有关我的网站上可疑流量的详细信息,该网站在 Google Cloud(更具体地说,带有 Java 的 Google App Engine)上运行。一种想法是分析哪些 IP 地址经常发送请求。在 SQL 中我会做类似的事情

\n
SELECT \n  protoPayload.ip,\n  COUNT(protoPayload.ip) AS `ip_occurrence` \nFROM \n  foo /* TODO replace foo with correct table name */ \nWHERE \n  protoPayload.ip NOT LIKE \'66.249.77.%\' /* ignore Google bots */\nGROUP BY \n  protoPayload.ip\nORDER BY \n  `ip_occurrence` DESC\nLIMIT 100\n
Run Code Online (Sandbox Code Playgroud)\n

但我不知道如何使用日志资源管理器执行此操作。\xe2\x80\x9c Log Analytics \xe2\x80\x9d 似乎允许此类 SQL,但要求仅在非生产项目上使用它。

\n

我也尝试从 Logs Explorer 下载日志,但日志数量限制为 10,000 条,根本不够。

\n

有什么简单的办法吗?

\n

从更大的角度来看,我正在尝试重新开放我的 AdSense 帐户。到目前为止我失败了。也许我提供的证据,我的谷歌分析数据,不够有力。表单上的字段描述提到了 IP 地址。但在 Google Analytics 中我没有看到任何 IP 地址...

\n

Pjo*_*erS 2

日志资源管理器允许您创建一些简单的日志资源管理器查询以进行过滤,但您在那里没有任何Group By可能性。

要实现类似的效果,您可以使用Sink

接收器控制 Cloud Logging 路由日志的方式。使用接收器,您可以将部分或全部日志路由到支持的目的地。您可能想要控制日志路由方式的一些原因如下:

  • 存储不太可能被读取但出于合规性目的必须保留的日志。
  • 以对您有用的格式在存储桶中组织日志。
  • 对日志使用大数据分析工具。
  • 将您的日志流式传输到其他应用程序、其他存储库或第三方。

支持的目的地有:

Cloud Storage:存储在 Cloud Storage 存储桶中的 JSON 文件。

Pub/Sub:传递到 Pub/Sub 主题的 JSON 消息。支持第三方集成,例如 Splunk 与日志记录。

BigQuery:在 BigQuery 数据集中创建的表。

另一个 Cloud Logging 存储桶:Cloud Logging 日志存储桶中保存的日志条目。

对于你的情况最好是BigQuery Sink

在文档中,您有有关如何创建 Sink 的分步指南。

有用的链接: