Amazon web services AWS Glue与其开发端点之间存在差异

Amazon web services AWS Glue与其开发端点之间存在差异,amazon-web-services,aws-glue,amazon-sagemaker,Amazon Web Services,Aws Glue,Amazon Sagemaker,我的理解是AWS Glue中的开发端点可以用于迭代开发代码,然后将其部署到Glue作业中。我发现这在开发Spark作业时特别有用,因为每次运行作业时,在后台启动Hadoop集群都需要几分钟的时间。然而,当在Glue而不是Spark中使用Python shell时,我看到了一个差异导入pg在我使用Sagemaker JupyterLab Python notebook创建的开发端点中不起作用,但在我使用Python shell创建作业时在AWS Glue中起作用。dev端点中不应该存在与Glue中

我的理解是AWS Glue中的开发端点可以用于迭代开发代码,然后将其部署到Glue作业中。我发现这在开发Spark作业时特别有用,因为每次运行作业时,在后台启动Hadoop集群都需要几分钟的时间。然而,当在Glue而不是Spark中使用Python shell时,我看到了一个差异<代码>导入pg在我使用Sagemaker JupyterLab Python notebook创建的开发端点中不起作用,但在我使用Python shell创建作业时在AWS Glue中起作用。dev端点中不应该存在与Glue中相同的库吗?如果不能在两个位置(开发端点和粘合作业)复制相同的代码,那么拥有开发端点有什么意义呢?

首先,Python shell作业不会在后端启动Hadooo集群,因为它不会为作业提供Spark环境。 其次,由于PyGreSQL不是用纯Python编写的,因此它不能与Glue的本机环境(Glue Spark作业、开发端点等)一起工作 第三,pythonshell对某些内置包有额外的支持


因此,我不认为在Python Shell作业中使用DevEndpoint有什么意义。

首先,Python Shell作业不会在后端启动Hadoo集群,因为它不会为作业提供Spark环境。 其次,由于PyGreSQL不是用纯Python编写的,因此它不能与Glue的本机环境(Glue Spark作业、开发端点等)一起工作 第三,pythonshell对某些内置包有额外的支持

因此,我不认为在Python Shell作业中使用DevEndpoint有什么意义