如何将多个 CSV 文件添加到 Kedro 的目录中？

Question

我有数百个 CSV 文件要类似地处理。为简单起见，我们可以假设它们都在./data/01_raw/（如./data/01_raw/1.csv、./data/02_raw/2.csv）等中。我宁愿不给每个文件一个不同的名称，并在构建我的管道时单独跟踪它们。我想知道是否有任何方法可以通过在catalog.yml文件中指定某些内容来批量读取所有文件？

Answer 1

您正在寻找PartitionedDataSet。在您的示例中，catalog.yml可能如下所示：

my_partitioned_dataset:
  type: "PartitionedDataSet"
  path: "data/01_raw"
  dataset: "pandas.CSVDataSet"