小编glu*_*lux的帖子

使用 Python SDK 的数据流流:将 PubSub 消息转换为 BigQuery 输出

我正在尝试使用数据流读取 pubsub 消息并将其写入大查询。我获得了 Google 团队的 alpha 访问权限,并且已经使提供的示例正常工作,但现在我需要将其应用到我的场景中。

发布订阅负载:

Message {
    data: {'datetime': '2017-07-13T21:15:02Z', 'mac': 'FC:FC:48:AE:F6:94', 'status': 1}
    attributes: {}
}
Run Code Online (Sandbox Code Playgroud)

大查询架构:

schema='mac:STRING, status:INTEGER, datetime:TIMESTAMP',
Run Code Online (Sandbox Code Playgroud)

我的目标是简单地读取消息有效负载并插入到 bigquery 中。我正在努力了解转换以及如何将键/值映射到大查询模式。

我对此很陌生,因此非常感谢任何帮助。

当前代码: https: //codeshare.io/ayqX8w

谢谢!

python dataflow google-bigquery google-cloud-dataflow apache-beam

3
推荐指数
1
解决办法
4801
查看次数

GCP 上的 Terraform 共享 VPC - 静态内部 IP 地址

我正在尝试编写自动化以在 GCP 上的共享 VPC 中部署实例。我有一个主机网络项目和一个服务项目。我可以在宿主项目(资源“google_compute_address”“内部”)中创建静态内部 IP 地址资源,在其中指定 VPC 宿主项目 (NET_HUB_PROJ),但在创建实例时无法使用它。我收到以下错误:

google_compute_instance.compute: Error creating instance: googleapi: 
Error 400: Invalid value for field 
'resource.networkInterfaces[0].networkIP': '10.128.0.10'. IP address 
'projects/prototype-network-hub/regions/us-central1/addresses/bh-int- 
ip' (10.128.0.10) is reserved by another project., invalid
Run Code Online (Sandbox Code Playgroud)

我的计算模块:

data "google_compute_image" "image" {
  name    = "${var.IMAGE_NAME}"
  project = "${var.IMAGE_PROJECT}"
}

resource "google_compute_address" "internal" {
  name         = "${var.NAME}-int-ip"
  address_type = "INTERNAL"
  address      = "${var.PRIVATE_IP}"
  subnetwork   = "${var.NET_HUB_SUBNETWORK}"
  region       = "${var.NET_HUB_REGION}"
  project      = "${var.NET_HUB_PROJ}"
}

resource "google_compute_address" "external" {
  count        = "${var.EXT_IP_CREATE ? 1 : 0}" …
Run Code Online (Sandbox Code Playgroud)

google-cloud-platform terraform terraform-provider-gcp

3
推荐指数
1
解决办法
2646
查看次数