Python S3 Kedro数据集是线程安全的吗？
Python S3 Kedro数据集是线程安全的吗？,python,amazon-s3,boto3,kedro,Python,Amazon S3,Boto3,Kedro,CSVS3DataSet/HDFS3DataSet/HDFS3DataSet使用boto3，这是已知的线程不安全的 可以将这些数据集与ParallelRunner一起使用吗？Kedro使用s3fs，它使用boto3库访问S3Boto3确实不是线程安全的，但仅当您尝试重用同一会话对象时 所有KedroS3数据集都维护S3文件系统的独立实例，这意味着单独的boto会话，因此是安全的 就性能而言，它可能不是很好，如果您并行处理数百个S3数据集，或者按顺序处理数千个小型S3数据集，那么管道可能会运行很长
CSVS3DataSetHDFS3DataSetHDFS3DataSetboto3可以将这些数据集与ParallelRunner一起使用吗？
Kedros3fsboto3Boto3KedroS3文件系统的独立实例，这意味着单独的boto会话，因此是安全的
就性能而言，它可能不是很好，如果您并行处理数百个S3数据集，或者按顺序处理数千个小型S3数据集，那么管道可能会运行很长时间，甚至在出现连接错误时出现故障，但是使用几十个这样的数据集是完全安全的