Apache spark 在执行spark流媒体时是否可以移动输出文件，而不会使spark作业崩溃？
我有一个结构化的流式Spark作业，以Kafka作为源运行，以附加模式输出orc文件。当作业运行时，我会在每个特定时间将文件（希望）移动到hdfs位置。通过移动文件，spark作业是否会因此崩溃或产生不良输出？一旦spark写入文件，它会因为任何原因再次查看该文件吗？我想执行文件移动，但我不想以任何方式中断spark。在添加数据移动时，只要在输出文件夹中生成的“spark”元数据目录和检查点目录保持同步，文件不会影响结构化流媒体作业。在添加数据移动文件时只要输出文件夹中生成的_spark_元数据目录和检查点目录保持同步，就不会影响结构化流媒体作业Apache spark 在执行spark流媒体时是否可以移动输出文件，而不会使spark作业崩溃？,apache-spark,hdfs,streaming,spark-streaming,Apache Spark,Hdfs,Streaming,Spark Streaming,我有一个结构化的流式Spark作业，以Kafka作为源运行，以附加模式输出orc文件。当作业运行时，我会在每个特定时间将文件（希望）移动到hdfs位置。通过移动文件，spark作业是否会因此崩溃或产生不良输出？一旦spark写入文件，它会因为任何原因再次查看该文件吗？我想执行文件移动，但我不想以任何方式中断spark。在添加数据移动时，只要在输出文件夹中生成的“spark”元数据目录和检查点目录保持同步，文件不会影响结构化流媒体作业。在添加数据移动文件时只要输出文件夹中生成的_spark_元数据