Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/python-2.7/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 2.7 具有大型地理空间数据集的数据科学工作流_Python 2.7_Docker_Amazon S3_Gdal_Google Earth Engine - Fatal编程技术网

Python 2.7 具有大型地理空间数据集的数据科学工作流

Python 2.7 具有大型地理空间数据集的数据科学工作流,python-2.7,docker,amazon-s3,gdal,google-earth-engine,Python 2.7,Docker,Amazon S3,Gdal,Google Earth Engine,我对docker方法比较陌生,所以请容忍我 目标是使用开源可复制的方法获取大型地理空间数据集。我在我的本地机器和谷歌计算引擎上运行了一切,但我也想让其他人也能使用这种方法 大型静态地理空间文件(NETCDF4)目前存储在Amazon S3和Google云存储(GEOTIFF)上。我需要两个基于python的模块,使用命令行界面将数据转换并摄取到Earth引擎中。这只能发生一次。数据转换不是很繁重,可以通过一个fat实例来完成(32GB RAM,16个内核需要2小时),不需要集群 我的问题是如何在

我对docker方法比较陌生,所以请容忍我

目标是使用开源可复制的方法获取大型地理空间数据集。我在我的本地机器和谷歌计算引擎上运行了一切,但我也想让其他人也能使用这种方法

大型静态地理空间文件(NETCDF4)目前存储在Amazon S3和Google云存储(GEOTIFF)上。我需要两个基于python的模块,使用命令行界面将数据转换并摄取到Earth引擎中。这只能发生一次。数据转换不是很繁重,可以通过一个fat实例来完成(32GB RAM,16个内核需要2小时),不需要集群

我的问题是如何在Docker中处理大型静态数据集。我想到了以下选项,但想知道最佳实践

1) 使用docker并将AmazonS3和Google云存储桶装载到docker容器中

2) 将大型数据集复制到docker映像并使用Amazon ECS

3) 只需使用AWS CLI即可

4) 在Python中使用Boto3

5) 第五个选择,我还不知道


我使用的python模块是a.o.:python GDAL、pandas、earth engine、subprocess

我发现了一个相关的问题:这个github repo:我很想看看整个过程。你在github上有吗?