我试图寻找这个答案,但找不到任何对我想要做的事情有意义的东西。
我正在尝试创建一个 DAG,它将从 FTP 获取文件并返回一个数据框,清理数据框,然后导入到 SQL。所以它最终看起来像:
connect_to_ftp >> get_file >> clean_dataframe >> import_to_sql
因此,如果我想在一个运算符中获取数据帧,然后将其传递给另一个运算符,我将如何执行此操作?我是使用 xcom 变量,还是应该在代码中创建全局变量?
我正在尝试使用 SSIS 将 JSON 文件导入我的数据库。由于我在 SQL Server 2016 上,我可以将文件放在一行中并使用 OPENJSON 读取它们。
我的问题是不想只引入 JSON 文本。我还需要从文件名和当前目录中获取一些信息。
我的脚本组件如下所示:
public override void Input0_ProcessInputRow(Input0Buffer Row)
{
string type = "NA";
string ChassisSN = "NA";
string CartridgeSN = "NA";
string filepath = Variables.File;
string filename = Path.GetFileNameWithoutExtension(filepath);
string filenamefull = Path.GetFileName(filepath);
string Parent = new DirectoryInfo(Path.GetDirectoryName(filepath)).Name;
Char splitDelim = '_';
String[] FileNameSplit = filename.Split(splitDelim);
String[] ParentSplit = Parent.Split(splitDelim);
CartridgeSN = FileNameSplit[2];
ChassisSN = ParentSplit[2];
type = FileNameSplit[3];
if (ChassisSN != oldChassisSN)
{
oldChassisSN = ChassisSN;
} …Run Code Online (Sandbox Code Playgroud) 有人告诉我SQL Server更新一次执行一次。因此,如果更新了100行,触发器也会执行100次。
这个准确吗?这是否还意味着Inserted伪表一次仅包含一行?
Executor 会自动向 Pod 发送任务,还是需要操作员来做?
每个操作员都有“executor_config”参数,所以我不确定何时使用。