小编Xen*_*rey的帖子

Bigquery:如果不存在则创建表并使用 Python 和 Apache AirFlow 加载数据

首先,我使用 MySQL 查询从生产数据库中获取所有数据,然后将该数据NEW LINE DELIMITED JSON存储在谷歌云存储中,我想要做的是:
1. 检查表是否存在
2. 如果表不存在,使用创建表自动检测模式
3. 存储数据

所有这些都将在气流中进行安排。真正让我困惑的是数字2,我如何在 Python 中做到这一点?或者气流可以自动执行此操作吗?

python mysql json google-bigquery airflow

8
推荐指数
2
解决办法
4500
查看次数

在 BigQuery 中使用“With”然后使用“Delete”

使用 BigQuery 我想删除 id 为Common Table Expression或 的行with

这是我的查询:

WITH
  redundant AS (
  SELECT
    id,
    MAX(updated_at) AS updated_at,
    COUNT(*) AS counter
  FROM
    t1
  GROUP BY
    id
  HAVING
    counter >= 2)
DELETE
FROM
  t1
WHERE
  id IN (redundant.id)
  AND updated_at NOT IN (redundant.updated_at )
Run Code Online (Sandbox Code Playgroud)

我预计这些行将被删除,但我收到此错误消息:
Syntax error: Expected "(" or keyword SELECT but got keyword DELETE at [13:1]

mysql with-statement google-bigquery sql-delete

2
推荐指数
1
解决办法
2276
查看次数