有关Google数据融合的一些问题

Question

我正在发现该工具，但有一些问题：

-您在（来源，接收器）中的文件类型到底是什么意思-还可以将管道的结果直接发送到FTP服务器

我检查了文档，但是找不到此信息

谢谢

Answer 1

简短的答案：文件是指管道运行所在的文件系统。在数据融合上下文中，如果您正在使用文件接收器，则内容将被写入Dataproc群集上的HDFS。

Data Fusion具有SFTP放置操作，可用于写入SFTP。这是有关如何从GCS写入SFTP的简单管道。

步骤1：从GCS源到文件接收器-运行管道时，它将GCS的内容写入Dataproc上的HDFS。步骤2：SFTP放置操作，该操作将文件接收器的输出上传到SFTP。

您需要将File的输出路径配置为与SFTP中的源路径相同