小编Ala*_*ear的帖子

气流在 Python 运算符之间传递数据帧

我试图寻找这个答案,但找不到任何对我想要做的事情有意义的东西。

我正在尝试创建一个 DAG,它将从 FTP 获取文件并返回一个数据框,清理数据框,然后导入到 SQL。所以它最终看起来像:

connect_to_ftp >> get_file >> clean_dataframe >> import_to_sql

因此,如果我想在一个运算符中获取数据帧,然后将其传递给另一个运算符,我将如何执行此操作?我是使用 xcom 变量,还是应该在代码中创建全局变量?

python airflow

5
推荐指数
1
解决办法
1465
查看次数

SSIS 脚本组件不允许文本流输出

我正在尝试使用 SSIS 将 JSON 文件导入我的数据库。由于我在 SQL Server 2016 上,我可以将文件放在一行中并使用 OPENJSON 读取它们。

我的问题是不想只引入 JSON 文本。我还需要从文件名和当前目录中获取一些信息。

我的脚本组件如下所示:

public override void Input0_ProcessInputRow(Input0Buffer Row)
{
    string type = "NA";
    string ChassisSN = "NA";
    string CartridgeSN = "NA";

    string filepath = Variables.File;
    string filename = Path.GetFileNameWithoutExtension(filepath);
    string filenamefull = Path.GetFileName(filepath);
    string Parent = new DirectoryInfo(Path.GetDirectoryName(filepath)).Name;
    Char splitDelim = '_';
    String[] FileNameSplit = filename.Split(splitDelim);
    String[] ParentSplit = Parent.Split(splitDelim);
    CartridgeSN = FileNameSplit[2];
    ChassisSN = ParentSplit[2];
    type = FileNameSplit[3];

    if (ChassisSN != oldChassisSN)
    {
        oldChassisSN = ChassisSN;
    } …
Run Code Online (Sandbox Code Playgroud)

c# sql-server ssis

2
推荐指数
1
解决办法
1388
查看次数

SQL Server更新一次只发生一行吗?

有人告诉我SQL Server更新一次执行一次。因此,如果更新了100行,触发器也会执行100次。

这个准确吗?这是否还意味着Inserted伪表一次仅包含一行?

sql-server triggers sql-update

2
推荐指数
1
解决办法
58
查看次数

Airflow 何时使用 KubernetesExecutor 与 KubernetesPodOperator?

Executor 会自动向 Pod 发送任务,还是需要操作员来做?

每个操作员都有“executor_config”参数,所以我不确定何时使用。

kubernetes airflow

2
推荐指数
1
解决办法
1787
查看次数

标签 统计

airflow ×2

sql-server ×2

c# ×1

kubernetes ×1

python ×1

sql-update ×1

ssis ×1

triggers ×1