Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Databricks在作业完成时两次触发作业写入/更新成功文件_Apache Spark_Amazon S3_Amazon Emr_Databricks - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark Databricks在作业完成时两次触发作业写入/更新成功文件

Apache spark Databricks在作业完成时两次触发作业写入/更新成功文件

apache-spark amazon-s3

Apache spark Databricks在作业完成时两次触发作业写入/更新成功文件,apache-spark,amazon-s3,amazon-emr,databricks,Apache Spark,Amazon S3,Amazon Emr,Databricks,我使用基于S3事件的触发器来触发lambda函数。每次在S3中的特定位置写入_成功文件时，它都会触发lambda函数。正在使用Databricks spark作业在源位置写入数据。已经观察到，一旦作业将数据写入源位置，lambda函数将被触发两次，并且是一致的 只有在Databricks作业编写_SUCCESS时，才会观察到这种行为。我尝试从CLI编写文件，它只触发lambda函数一次 从Databricks jobs那里了解这种行为背后的原因会很有帮助。你知道为什么会发生这种情况吗？

我使用基于S3事件的触发器来触发lambda函数。每次在S3中的特定位置写入_成功文件时，它都会触发lambda函数。正在使用Databricks spark作业在源位置写入数据。已经观察到，一旦作业将数据写入源位置，lambda函数将被触发两次，并且是一致的

只有在Databricks作业编写_SUCCESS时，才会观察到这种行为。我尝试从CLI编写文件，它只触发lambda函数一次

从Databricks jobs那里了解这种行为背后的原因会很有帮助。

你知道为什么会发生这种情况吗？