Amazon web services 在Spark中写入一个制作好的自动递增键到红移

Amazon web services 在Spark中写入一个制作好的自动递增键到红移,amazon-web-services,apache-spark,pyspark,amazon-redshift,Amazon Web Services,Apache Spark,Pyspark,Amazon Redshift,我正在使用Spark编写红移模式。特别是,我正在写入多个表(在一对多关系中),然后我希望使用唯一/自动增量值(在分析时)加入这些表 我很欣赏Spark提供的方法单调地\u递增\u id(),但由于这是一个计划的摄取,因此该方法本身不能保证在不同运行时的唯一性 在这种情况下,如何保证自动增量伪造ID理想情况下使用现有的库,因为我不想重新发明现有的库

我正在使用Spark编写红移模式。特别是,我正在写入多个表(在一对多关系中),然后我希望使用唯一/自动增量值(在分析时)加入这些表

我很欣赏Spark提供的方法
单调地\u递增\u id()
,但由于这是一个计划的摄取,因此该方法本身不能保证在不同运行时的唯一性

在这种情况下,如何保证自动增量伪造ID理想情况下使用现有的库,因为我不想重新发明现有的库