Flask 用于预览本地数据文件的Airflow插件
我将气流用于ETL管道,并使用本地pickle文件将数据(通常是数据帧)存储在某个临时文件夹中。我想直接从Airflow UI使用一个浏览器导航和预览这些本地数据文件 这是我的第一次尝试,使用Flask 用于预览本地数据文件的Airflow插件,flask,airflow,flask-admin,Flask,Airflow,Flask Admin,我将气流用于ETL管道,并使用本地pickle文件将数据(通常是数据帧)存储在某个临时文件夹中。我想直接从Airflow UI使用一个浏览器导航和预览这些本地数据文件 这是我的第一次尝试,使用Flask Admin中的类: from airflow.plugins_manager import AirflowPlugin from flask_admin.contrib.fileadmin import FileAdmin DATA_PATH = '/tmp/somepath' class
Flask Admin
中的类:
from airflow.plugins_manager import AirflowPlugin
from flask_admin.contrib.fileadmin import FileAdmin
DATA_PATH = '/tmp/somepath'
class DataFileAdmin(FileAdmin):
# read only
can_upload = False
can_delete = False
can_mkdir = False
can_delete_dirs = False
can_rename = False
dfv = DataFileAdmin(DATA_PATH, '/static/', name='Data Explorer')
class AirflowTestPlugin(AirflowPlugin):
name = "data_explorer"
admin_views = [dfv]
将其放入plugins/data_explorer.py
会在Airflow UI(上栏)中生成一个“data explorer”按钮,允许浏览指定文件夹中的文件。好
现在:我如何指定单击pickle文件时的行为?这意味着这些文件(pickle数据帧)应该由pandas.read_pickle()读取,然后“打印”为HTML表(或Plotly graph,或者更好的是一些允许排序和筛选的交互式表…欢迎建议!)。多谢各位