Airflow 将事件流式传输到消息队列
我的目标是轻松地将事件从气流导出到其他系统。一个选项是创建一个插件，该插件可以访问Airflow的内部状态，并通过Rest API将其公开（有一些现有的实现），但我更关心的是是否可以插入Airflow的事件日志并将这些消息流式传输到外部消息队列（例如Kafka、PubSub、Kinesis） 您可以在Airflow 将事件流式传输到消息队列,airflow,airflow-scheduler,Airflow,Airflow Scheduler,我的目标是轻松地将事件从气流导出到其他系统。一个选项是创建一个插件，该插件可以访问Airflow的内部状态，并通过Rest API将其公开（有一些现有的实现），但我更关心的是是否可以插入Airflow的事件日志并将这些消息流式传输到外部消息队列（例如Kafka、PubSub、Kinesis） 您可以在气流\u本地\u设置模块中执行此操作，以便在启动时自动加载。然后在aiffort.cfg文件中放置一些额外的配置值，用于驱动远程消息队列的设置
气流\u本地\u设置aiffort.cfg