Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon s3 Apache Airflow：操作员将s3复制到s3_Amazon S3_Airflow - Fatal编程技术网
Fatal编程技术网
  • amazon-s3/
  • Amazon s3 Apache Airflow：操作员将s3复制到s3

Amazon s3 Apache Airflow：操作员将s3复制到s3

amazon-s3 airflow

Amazon s3 Apache Airflow：操作员将s3复制到s3,amazon-s3,airflow,Amazon S3,Airflow,将文件从一个s3复制到另一个s3的最佳操作员是什么？ 我已经尝试了S3FileTransformOperator，但它需要transform_脚本或select_表达式。我的要求是将精确的文件从源复制到目标 您有两个选项（即使我忽略了气流） 使用AWS CLI aws s3 cp 在气流中可以使用操作员（本地机器）或操作员（远程机器）运行此命令 使用AWS SDKakaboto3 在这里，您将使用boto3 气流已经以S3Hook 甚至可以在 您可以在任何合适的自定义操作符中使用S3Hoo

将文件从一个s3复制到另一个s3的最佳操作员是什么？ 我已经尝试了S3FileTransformOperator，但它需要transform_脚本或select_表达式。我的要求是将精确的文件从源复制到目标

您有两个选项（即使我忽略了
气流
）

  • 使用AWS CLI 
    • aws s3 cp
    • 在
      气流中
      可以使用
      操作员
      （本地机器）或
      操作员
      （远程机器）运行此命令
  • 使用AWS SDKaka
    boto3
    • 在这里，您将使用
      boto3
    • 气流已经以
      S3Hook
    • 甚至可以在
    • 您可以在任何合适的自定义
      操作符中使用
      S3Hook
      ，或者只使用
      PythonOperator
    • 使用S3CopyObjectOperator
    

    copy_step = S3CopyObjectOperator(
   source_bucket_key='source_file',
   dest_bucket_key='dest_file',
   aws_conn_id='aws_connection_id',
   source_bucket_name='source-bucket',
   dest_bucket_name='dest-bucket'
)

    

    气流1.10.3现在有一个。链接指向此页面。顺便说一句，您可能需要：