Amazon web services 是否可以使用Glue更新和插入AWS Glue数据库中的数据

所以我使用AWS pyspark，每天都有千兆字节的数据，这些数据正在更新。我想在glue数据库中的现有表中查找数据的id，如果id已经存在则更新，如果id不存在则插入

可以用AWS胶水吗

---

谢谢

您可以在粘合作业中使用Athena查询来实现您的逻辑

是的，您可以使用Glue Pypark扩展插件进行此操作

data_sink = glue_context.getSink(
                    path="s3_path",
                    connection_type="s3",
                    updateBehavior="UPDATE_IN_DATABASE",
                    partitionKeys=['partition_column'],
                    compression="snappy",
                    enableUpdateCatalog=True,
                )
data_sink.setCatalogInfo(
                catalogDatabase=database_name,
                catalogTableName=table_name,
                )
data_sink.setFormat("glueparquet")
data_sink.writeFrame(data_frame)