Airflow 气流HDFS传感器

正在尝试使HDFSSensor工作。我已经建立了hdfs连接，文件就在那里，但它一直戳着文件，从未完成

查找文件hdfs://user/airflow/stamps/test/ds=2018-10-15/_成功

代码如下

hdfs_sense_open = HdfsSensor(
        task_id='hdfs_sense_open',
        filepath='hdfs://user/airflow/stamps/test/ds=2018-10-15/_SUCCESS',
        hdfs_conn_id='hdfs_leo',
        dag=dag)

---

实际上，它在路径中没有文件名的情况下工作。我还想在创建hdfs连接时再添加一点，您需要使用hdfs端口号而不是webhdfs端口，即8020（如果是localhost，则可能是9000），但不是像50070这样的webhdfs端口

hdfs_sense_open = HdfsSensor(
        task_id='hdfs_sense_open',
        filepath='/user/airflow/stamps/test/ds=2018-10-15/',
        hdfs_conn_id='hdfs_leo',
        dag=dag)

---

非常感谢你们两位尝试帮助我

使用

文件路径

设置而不使用协议。比如：

hdfs_sense_open = HdfsSensor(
        task_id='hdfs_sense_open',
        filepath='/user/airflow/stamps/test/ds=2018-10-15/_SUCCESS',
        hdfs_conn_id='hdfs_leo',
        dag=dag)

---

我以前没有使用过此传感器，但我会尝试将

hdfs://

从

filepath

中排除，只使用

filepath='/user/aiffair…'

。查看传感器中传递路径的路径，我认为这可能会搞乱检查。实际上，我需要删除/_SUCCESS并只提供包含该文件的文件夹的路径。如果我也能控制文件名，那就太好了