小编Bre*_*the的帖子

在 Apache Airflow 中保存算子的结果

几个运算符允许提取数据,但我从未设法使用结果。

例如:https : //github.com/apache/incubator-airflow/blob/master/airflow/contrib/operators/bigquery_get_data.py

该运算符可以按如下方式调用:

get_data = BigQueryGetDataOperator(
      task_id='get_data_from_bq',
      dataset_id='test_dataset',
      table_id='Transaction_partitions',
      max_results='100',
      selected_fields='DATE',
      bigquery_conn_id='airflow-service-account'
      )
Run Code Online (Sandbox Code Playgroud)

然而,get_data 是 DAG 类型,但第 116 行说“返回 table_data”。需要明确的是,操作员工作并检索数据,我只是不明白如何使用数据检索/数据所在的位置。

如何使用上面的“get_data”获取数据?

python python-3.x airflow

6
推荐指数
1
解决办法
1402
查看次数

sshd_config 重启后自动更改规则

在 AWS/EC2 上的不同机器上,我在重新启动机器后不断更改 sshd 规则

原始规则:

Match Group sftpusers
        ChrootDirectory /data/sftp/%u
        ForceCommand internal-sftp
        PasswordAuthentication yes
Run Code Online (Sandbox Code Playgroud)

重启后修改规则:

Match Group sftpusers
ChrootDirectory /data/sftp/%u
ForceCommand internal-sftp
PasswordAuthentication no
Run Code Online (Sandbox Code Playgroud)

所以基本上,这个组的用户无法认证sftp连接,真的很烦人。

注意:默认情况下,PasswordAuthentication 设置为 No。我只允许这组用户使用

好主意?

amazon-ec2 sshd centos7

3
推荐指数
1
解决办法
1576
查看次数

标签 统计

airflow ×1

amazon-ec2 ×1

centos7 ×1

python ×1

python-3.x ×1

sshd ×1