小编goR*_*ack的帖子

sqlite3 shell命令'.backup'和事务

我的本地主机(Win NT)上有sqlite数据库,想备份它.我想使用shell命令'.backup'来完成这个任务.但似乎我可以在备份过程中将新行插入数据库.

'.backup'hell命令是否在我的数据库上启动新的独占事务?

我想当我执行'.backup'hell命令时它会锁定我的数据库.

sqlite shell backup database-backups

6
推荐指数
1
解决办法
1776
查看次数

GBQ窗口函数和算术运算

有谁知道是否可以对使用GBQ窗口函数导出的结果进行任何算术运算?

例如,我可以使用伪代码将row_number增加100(某个数字),如下所示:

SELECT 100 + ROW_NUMBER() OVER (PARTITION BY X ORDER BY x_id DESC) increased_row_num
FROM Table1
...
Run Code Online (Sandbox Code Playgroud)

sql window-functions google-bigquery

5
推荐指数
1
解决办法
405
查看次数

如何在airflow的S3KeySensor中动态添加bucket_key值

我正在尝试根据 dagrun 输入变量设置 S3KeySensor 的 bucket_key 。我有一个 dag“dag_trigger”,它使用 TriggerDagRunOperator 来触发 dag“dag_triggered”的 dagrun。我正在尝试扩展示例https://github.com/apache/incubator-airflow/blob/master/airflow/example_dags/example_trigger_target_dag.py

所以我想发送一个变量到触发的dag,并根据变量的值我想在S3KeySensor任务中设置backet_key值。我知道如何在 PythonOperator 可调用函数中使用发送变量,但我不知道如何在传感器对象上使用它。

dag_trigger dag:

import datetime

from airflow import DAG
from airflow.operators.dagrun_operator import TriggerDagRunOperator


default_args = {
    'owner': 'airflow',
    'start_date': datetime.datetime.now()}

dag = DAG('dag_trigger', default_args=default_args, schedule_interval="@hourly")

def task_1_run(context, dag_run_object):
    sent_variable = '2018_02_19' # not important
    dag_run_object.payload = {'message': sent_variable}
    print "DAG dag_trigger triggered with payload: %s" % dag_run_object.payload)
    return dag_run_object

task_1 = TriggerDagRunOperator(task_id="task_1",
                               trigger_dag_id="dag_triggered",
                               provide_context=True,
                               python_callable=task_1_run,
                               dag=dag)
Run Code Online (Sandbox Code Playgroud)

和 dag_triggered dag:

import datetime

from airflow import …
Run Code Online (Sandbox Code Playgroud)

python directed-acyclic-graphs airflow sensors

5
推荐指数
1
解决办法
3451
查看次数