Amazon s3 Airflow/minio:如何使用minio作为从Airflow发送的数据的本地S3代理?

Amazon s3 Airflow/minio:如何使用minio作为从Airflow发送的数据的本地S3代理?,amazon-s3,google-cloud-storage,airflow,minio,Amazon S3,Google Cloud Storage,Airflow,Minio,简单问题: 我不想使用S3或GCS,而是想知道如何使用minio作为本地S3代理来保存发送的数据。我该怎么做?我是否可以使用FileToLoglecloudStorageOperator 如果不是本地存储(大ish图像而不是db行)的这条路径,您会推荐什么 谢谢 在a的基础上构建,这就是我在撰写本文时对最新版本的Airflow(1.10.7)所做的: 首先,使用以下信息创建一个S3连接: Connection Name: '<your connection name>' # e.g

简单问题:

我不想使用S3或GCS,而是想知道如何使用minio作为本地S3代理来保存发送的数据。我该怎么做?我是否可以使用FileToLoglecloudStorageOperator

如果不是本地存储(大ish图像而不是db行)的这条路径,您会推荐什么

谢谢

在a的基础上构建,这就是我在撰写本文时对最新版本的Airflow(1.10.7)所做的:

首先,使用以下信息创建一个S3连接:

Connection Name: '<your connection name>' #  e.g. local_minio
Connection Type: S3
Extra: a JSON object with the following properties: 
 {
    "aws_access_key_id":"your_minio_access_key",
    "aws_secret_access_key": "your_minio_secret_key",
    "host": "http://127.0.0.1:9000"
 }