Python 如何在Kedro中将许多CSV文件添加到目录中？

我有数百个CSV文件，我想以类似方式处理。为了简单起见，我们可以假设它们都在

/data/01_raw/

（比如

/data/01_raw/1.csv

，

/data/02_raw/2.csv

）等中。我更愿意在构建管道时不给每个文件一个不同的名称并单独跟踪它们。我想知道是否有任何方法可以通过在您要查找的

catalog.yml

文件中指定某些内容来批量阅读所有这些文档。在您的示例中，

catalog.yml

可能如下所示：

my_partitioned_dataset:
  type: "PartitionedDataSet"
  path: "data/01_raw"
  dataset: "pandas.CSVDataSet"