当我有多个数据文件时应该如何使用{targets}

Question

我有大约 50 个数据文件（主题），在将它们组合到 data.frame 中进行建模之前，我会单独处理它们。我不确定如何最好地使用 {targets} 来实现此目的。

我尝试使用动态分支，但我不确定如何使用这种方法跟踪主题 ID。在我目前的方法中，我将所有数据都放在命名列表中，其中第一级名称是主题 ID，但对于目标，名称是任意的。

我知道这并不是一个具体的问题，但我希望得到一个适当的解决方案，而不是为错误的问题得到“正确”的答案。

Answer 1

这是我通常使用的模式

  tar_files(
    file_paths,
    "file_paths_folder" %>%
      list.files(full.names = TRUE)
  ),
  tar_target(
    processed_files,
    file_paths%>%
      readxl::read_excel() %>% # can be anything read csv, parquet etc.
      janitor::clean_names() %>% # start processing
      mutate_at(vars(a,b,c), as.Date, format = "%Y-%m-%d"), # can be really complex operations
    pattern = map(file_paths)
  )