如何在气流中使用带有PythonOperator的DatabaseHook对象而不耗尽连接?

如何在气流中使用带有PythonOperator的DatabaseHook对象而不耗尽连接?,python,database-connection,airflow,Python,Database Connection,Airflow,我正在尝试使用Airflow连接存储我的数据库凭据,并将其与Python操作员一起使用。我注意到,如果我将凭据传递给PythonOperator,那么每个变量都会被记录,包括数据库密码。因此,根据下面的示例,我将连接对象本身传递给PythonOperator 但我现在面临的问题是,气流会产生大量这样的物体,即使dag只计划每天运行,这也会导致经常出现达到连接极限的问题如何在不使用大量数据脚本连接的情况下,将Postgreshake与PythonOperator一起使用? 导入系统 从气流导入DA

我正在尝试使用Airflow连接存储我的数据库凭据,并将其与Python操作员一起使用。我注意到,如果我将凭据传递给PythonOperator,那么每个变量都会被记录,包括数据库密码。因此,根据下面的示例,我将连接对象本身传递给PythonOperator

但我现在面临的问题是,气流会产生大量这样的物体,即使dag只计划每天运行,这也会导致经常出现达到连接极限的问题如何在不使用大量数据脚本连接的情况下,将Postgreshake与PythonOperator一起使用?

导入系统 从气流导入DAG 从datetime导入datetime,timedelta 从afflow.operators.python_operator导入PythonOperator 从afflow.hooks.postgres\u hook导入postgres 尝试: sys.path.append(“/path/to/my/awesome/module/”) 从awesome_模块导入函数_1,函数_1 除: raise ImportError(“无法导入awesome_模块”) postgres\u hook\u object=postgreshake(“专用账户”) 使用postgres\u hook\u对象。获取\u conn()作为con: t1=蟒蛇算子( 任务\u id='函数\u 1', python_callable=函数_1, dag=dag, op_kwargs={'conn':con} ) t2=蟒蛇算子( task_id='function_2', python_callable=函数_2, dag=dag, op_args=[con,service] )