Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/fsharp/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 3.x 使用AWS胶水在S3存储桶内传输文件_Python 3.x_Amazon S3_Aws Glue - Fatal编程技术网

Python 3.x 使用AWS胶水在S3存储桶内传输文件

Python 3.x 使用AWS胶水在S3存储桶内传输文件,python-3.x,amazon-s3,aws-glue,Python 3.x,Amazon S3,Aws Glue,有没有办法通过Python脚本使用AWS胶水将文件从一个S3存储桶传输到另一个S3存储桶 为您的bucket创建一个爬虫程序-它将发现您的数据的模式,并将其作为表添加到Glue Catalog中 使用作业向导,选择表作为源,选择新表作为目标 Glue将为您生成代码,您必须选择数据的目的地,指定格式等 这对Glue无法识别的任何数据类型都不起作用。为什么不使用s3服务呢??你是什么意思…听起来不像你回答了我的评论我以为你想在S3中移动数据,但glue不知道你的数据类型。您可以使用S3移动/复制字节

有没有办法通过Python脚本使用AWS胶水将文件从一个S3存储桶传输到另一个S3存储桶

  • 为您的bucket创建一个爬虫程序-它将发现您的数据的模式,并将其作为表添加到Glue Catalog中
  • 使用作业向导,选择表作为源,选择新表作为目标
  • Glue将为您生成代码,您必须选择数据的目的地,指定格式等

  • 这对Glue无法识别的任何数据类型都不起作用。为什么不使用s3服务呢??你是什么意思…听起来不像你回答了我的评论我以为你想在S3中移动数据,但glue不知道你的数据类型。您可以使用S3移动/复制字节。顺便问一下,你的数据格式是什么?你到底想做什么?CDFs: