Amazon s3 Airflow/minio:如何使用minio作为从Airflow发送的数据的本地S3代理?
简单问题: 我不想使用S3或GCS,而是想知道如何使用minio作为本地S3代理来保存发送的数据。我该怎么做?我是否可以使用FileToLoglecloudStorageOperator 如果不是本地存储(大ish图像而不是db行)的这条路径,您会推荐什么 谢谢 在a的基础上构建,这就是我在撰写本文时对最新版本的Airflow(1.10.7)所做的: 首先,使用以下信息创建一个S3连接:Amazon s3 Airflow/minio:如何使用minio作为从Airflow发送的数据的本地S3代理?,amazon-s3,google-cloud-storage,airflow,minio,Amazon S3,Google Cloud Storage,Airflow,Minio,简单问题: 我不想使用S3或GCS,而是想知道如何使用minio作为本地S3代理来保存发送的数据。我该怎么做?我是否可以使用FileToLoglecloudStorageOperator 如果不是本地存储(大ish图像而不是db行)的这条路径,您会推荐什么 谢谢 在a的基础上构建,这就是我在撰写本文时对最新版本的Airflow(1.10.7)所做的: 首先,使用以下信息创建一个S3连接: Connection Name: '<your connection name>' # e.g
Connection Name: '<your connection name>' # e.g. local_minio
Connection Type: S3
Extra: a JSON object with the following properties:
{
"aws_access_key_id":"your_minio_access_key",
"aws_secret_access_key": "your_minio_secret_key",
"host": "http://127.0.0.1:9000"
}