我正在尝试使用数据流读取 pubsub 消息并将其写入大查询。我获得了 Google 团队的 alpha 访问权限,并且已经使提供的示例正常工作,但现在我需要将其应用到我的场景中。
发布订阅负载:
Message {
data: {'datetime': '2017-07-13T21:15:02Z', 'mac': 'FC:FC:48:AE:F6:94', 'status': 1}
attributes: {}
}
Run Code Online (Sandbox Code Playgroud)
大查询架构:
schema='mac:STRING, status:INTEGER, datetime:TIMESTAMP',
Run Code Online (Sandbox Code Playgroud)
我的目标是简单地读取消息有效负载并插入到 bigquery 中。我正在努力了解转换以及如何将键/值映射到大查询模式。
我对此很陌生,因此非常感谢任何帮助。
当前代码: https: //codeshare.io/ayqX8w
谢谢!
python dataflow google-bigquery google-cloud-dataflow apache-beam
我正在尝试编写自动化以在 GCP 上的共享 VPC 中部署实例。我有一个主机网络项目和一个服务项目。我可以在宿主项目(资源“google_compute_address”“内部”)中创建静态内部 IP 地址资源,在其中指定 VPC 宿主项目 (NET_HUB_PROJ),但在创建实例时无法使用它。我收到以下错误:
google_compute_instance.compute: Error creating instance: googleapi:
Error 400: Invalid value for field
'resource.networkInterfaces[0].networkIP': '10.128.0.10'. IP address
'projects/prototype-network-hub/regions/us-central1/addresses/bh-int-
ip' (10.128.0.10) is reserved by another project., invalid
Run Code Online (Sandbox Code Playgroud)
我的计算模块:
data "google_compute_image" "image" {
name = "${var.IMAGE_NAME}"
project = "${var.IMAGE_PROJECT}"
}
resource "google_compute_address" "internal" {
name = "${var.NAME}-int-ip"
address_type = "INTERNAL"
address = "${var.PRIVATE_IP}"
subnetwork = "${var.NET_HUB_SUBNETWORK}"
region = "${var.NET_HUB_REGION}"
project = "${var.NET_HUB_PROJ}"
}
resource "google_compute_address" "external" {
count = "${var.EXT_IP_CREATE ? 1 : 0}" …
Run Code Online (Sandbox Code Playgroud)