Python 2.7 具有大型地理空间数据集的数据科学工作流
我对docker方法比较陌生,所以请容忍我 目标是使用开源可复制的方法获取大型地理空间数据集。我在我的本地机器和谷歌计算引擎上运行了一切,但我也想让其他人也能使用这种方法 大型静态地理空间文件(NETCDF4)目前存储在Amazon S3和Google云存储(GEOTIFF)上。我需要两个基于python的模块,使用命令行界面将数据转换并摄取到Earth引擎中。这只能发生一次。数据转换不是很繁重,可以通过一个fat实例来完成(32GB RAM,16个内核需要2小时),不需要集群 我的问题是如何在Docker中处理大型静态数据集。我想到了以下选项,但想知道最佳实践 1) 使用docker并将AmazonS3和Google云存储桶装载到docker容器中 2) 将大型数据集复制到docker映像并使用Amazon ECS 3) 只需使用AWS CLI即可 4) 在Python中使用Boto3 5) 第五个选择,我还不知道Python 2.7 具有大型地理空间数据集的数据科学工作流,python-2.7,docker,amazon-s3,gdal,google-earth-engine,Python 2.7,Docker,Amazon S3,Gdal,Google Earth Engine,我对docker方法比较陌生,所以请容忍我 目标是使用开源可复制的方法获取大型地理空间数据集。我在我的本地机器和谷歌计算引擎上运行了一切,但我也想让其他人也能使用这种方法 大型静态地理空间文件(NETCDF4)目前存储在Amazon S3和Google云存储(GEOTIFF)上。我需要两个基于python的模块,使用命令行界面将数据转换并摄取到Earth引擎中。这只能发生一次。数据转换不是很繁重,可以通过一个fat实例来完成(32GB RAM,16个内核需要2小时),不需要集群 我的问题是如何在
我使用的python模块是a.o.:python GDAL、pandas、earth engine、subprocess我发现了一个相关的问题:这个github repo:我很想看看整个过程。你在github上有吗?