Amazon web services AWS Glue中出错：下载脚本时出错

在运行aws粘合作业时间歇性地出现以下错误

---

下载脚本时出错：致命错误：调用HeadObject操作时发生错误（404）：

不确定为什么会出现间歇性错误，但这可能是连接到S3时出现的问题。需要检查的几件事：

• 胶水作业运行时使用的是。您可以检查作业详细信息以查看当前设置的内容。您应该确保角色具有访问包含作业代码的S3存储桶的权限
• 胶水的工作需要一个简单的步骤。您应该检查以确保为正在使用的VPC正确创建了一个VPC
• 可以配置VPC端点，而无需将其与任何子网关联。检查VPC端点以获得正确的路由

下面是一段使用AWSCDK编写的参考代码，以防有所帮助

IAM角色

new iam.Role(this, `GlueJobRole`, {
  assumedBy: new iam.ServicePrincipal(`glue.amazonaws.com`),
  managedPolicies: [
    iam.ManagedPolicy.fromAwsManagedPolicyName(
      `service-role/AWSGlueServiceRole`
    ),
  ],
});

专有网络端点

const vpc = ec2.Vpc.fromLookup(this, `VPC`, { vpcId: VPC_ID });

new ec2.GatewayVpcEndpoint(this, `S3VpcEndpoint`, {
  service: ec2.GatewayVpcEndpointAwsService.S3,
  subnets: vpc.publicSubnets,
  vpc,
});

---

不确定为什么会是间歇性的，但这可能是连接到S3的问题。需要检查的几件事：

• 胶水作业运行时使用的是。您可以检查作业详细信息以查看当前设置的内容。您应该确保角色具有访问包含作业代码的S3存储桶的权限
• 胶水的工作需要一个简单的步骤。您应该检查以确保为正在使用的VPC正确创建了一个VPC
• 可以配置VPC端点，而无需将其与任何子网关联。检查VPC端点以获得正确的路由

下面是一段使用AWSCDK编写的参考代码，以防有所帮助

IAM角色

new iam.Role(this, `GlueJobRole`, {
  assumedBy: new iam.ServicePrincipal(`glue.amazonaws.com`),
  managedPolicies: [
    iam.ManagedPolicy.fromAwsManagedPolicyName(
      `service-role/AWSGlueServiceRole`
    ),
  ],
});

专有网络端点

const vpc = ec2.Vpc.fromLookup(this, `VPC`, { vpcId: VPC_ID });

new ec2.GatewayVpcEndpoint(this, `S3VpcEndpoint`, {
  service: ec2.GatewayVpcEndpointAwsService.S3,
  subnets: vpc.publicSubnets,
  vpc,
});