Google cloud platform 使用AdlsToLoglecloudStorageOperator连接到Azure Data Lake gen2

Google cloud platform 使用AdlsToLoglecloudStorageOperator连接到Azure Data Lake gen2,google-cloud-platform,airflow,azure-data-lake,google-cloud-composer,Google Cloud Platform,Airflow,Azure Data Lake,Google Cloud Composer,我正在使用运行Apache Airflow的Cloud Composer将数据从Azure data Lake Gen2复制到云存储。我做了一些研究,找到了这个接线员。我还不知道如何使用wasb和存储帐户密钥或SAS令牌连接到ADL。我还没有找到任何示例显示这部分过程(连接到azure data lake) 您是否建议我遵循任何示例代码?根据[1](第33-34行),“airflow.providers.google.cloud.transfers.adls_to_gcs.Adlstologle

我正在使用运行Apache Airflow的Cloud Composer将数据从Azure data Lake Gen2复制到云存储。我做了一些研究,找到了这个接线员。我还不知道如何使用wasb和存储帐户密钥或SAS令牌连接到ADL。我还没有找到任何示例显示这部分过程(连接到azure data lake)

您是否建议我遵循任何示例代码?

根据[1](第33-34行),“airflow.providers.google.cloud.transfers.adls_to_gcs.AdlstologlecloudStorageOperator”已被弃用,请改用“airflow.providers.google.cloud.transfers.adls_to_gcs.AdlstoggsOperator”

[2]中有几个选项可用于管理连接(从UI、CLI等)

由于您似乎更倾向于使用python API,您可以尝试设置[3]中的“Connection”对象,然后您可以使用此“Connection”对象的“conn_id”在“ADLSToGCSOperator”操作符中设置“azure_data_lake_conn_id”参数

[1]

[2]

[3]