Airflow apache算法与文件移动的幂等性
我有一个工作流程，我需要用airflow（或者任何其他的工作流程引擎）来管理。主要问题是，当一些文件被转储到文件系统时，需要启动工作流（从技术上讲，它将是一个samba装载）。第一步是将文件移动到更永久的位置 现在，由于没有钩子可以告诉我何时转储新文件，因此我面临的问题是如何创建工作流，以便在数据移动时间过长时，工作流的下一次运行不会再次尝试移动数据（可能会破坏原始文件移动） 我最初的想法是在samba挂载上本地重命名文件，只扫描其他文件。但是，如果传输以任何方式失败，我将不得不重新命名这些文件，以便下次运行时可以重试 有没有更好的方法来构造这个幂等元？气流中是否有try/except/finally阻塞的概念？您可以使用等待上一次执行完成，然后再开始新的执行。或者，可以将DAG对象上的设置为1Airflow apache算法与文件移动的幂等性,airflow,idempotent,Airflow,Idempotent,我有一个工作流程，我需要用airflow（或者任何其他的工作流程引擎）来管理。主要问题是，当一些文件被转储到文件系统时，需要启动工作流（从技术上讲，它将是一个samba装载）。第一步是将文件移动到更永久的位置 现在，由于没有钩子可以告诉我何时转储新文件，因此我面临的问题是如何创建工作流，以便在数据移动时间过长时，工作流的下一次运行不会再次尝试移动数据（可能会破坏原始文件移动） 我最初的想法是在samba挂载上本地重命名文件，只扫描其他文件。但是，如果传输以任何方式失败，我将不得不重新命名这些文件