Apache 气流HTTP操作员/传感器额外选项的文档?
我正在尝试阅读气流的额外_选项设置,以了解可以设置哪些属性(主要关注http超时)。我在任何地方都找不到此特定参数的任何支持文档: 以前是否有人使用过此功能并能够提供帮助?根据(Apache 气流HTTP操作员/传感器额外选项的文档?,apache,airflow,directed-acyclic-graphs,Apache,Airflow,Directed Acyclic Graphs,我正在尝试阅读气流的额外_选项设置,以了解可以设置哪些属性(主要关注http超时)。我在任何地方都找不到此特定参数的任何支持文档: 以前是否有人使用过此功能并能够提供帮助?根据(aiffort.hooks.http\u hook.HttpHook.run\u和\u check)extra\u选项使用以下参数: 您可以在以下网站上阅读更多关于它们的信息: 流–(可选)是否立即下载响应内容。默认为False 验证–(可选)一个布尔值,在这种情况下,它控制我们是否验证服务器的TLS证书,或者一个字符
aiffort.hooks.http\u hook.HttpHook.run\u和\u check
)extra\u选项使用以下参数:
您可以在以下网站上阅读更多关于它们的信息:
流
–(可选)是否立即下载响应内容。默认为False
验证
–(可选)一个布尔值,在这种情况下,它控制我们是否验证服务器的TLS证书,或者一个字符串,在这种情况下,它必须是要使用的CA捆绑包的路径。默认为True
代理
–(可选)将协议或协议和主机名映射到代理URL的字典
cert
–(可选)如果为字符串,则为ssl客户端证书文件(.pem)的路径。如果是元组,('cert','key')对
timeout
(float或tuple)–(可选)服务器在放弃之前以float或(connect timeout,read timeout)tuple的形式发送数据的等待时间
允许重定向
(bool)–(可选)默认设置为True
按照中的链接线索,您可以轻松确定哪些内容可以在SimpleHttpOperator
中传递,或者更具体地说,在of中传递。在此,我在Airflow的源代码中添加了一系列调用,用于跟踪extra\u选项的使用情况
- 到
run()
方法的HttpHook
run()
从extra\u options
运行\u和\u check()
方法,如下面的源代码片段所示
response = session.send(
prepped_request,
stream=extra_options.get("stream", False),
verify=extra_options.get("verify", False),
proxies=extra_options.get("proxies", {}),
cert=extra_options.get("cert"),
timeout=extra_options.get("timeout"),
allow_redirects=extra_options.get("allow_redirects", True))
try:
response = session.send(
prepped_request,
stream=extra_options.get("stream", False),
verify=extra_options.get("verify", False),
proxies=extra_options.get("proxies", {}),
cert=extra_options.get("cert"),
timeout=extra_options.get("timeout"),
allow_redirects=extra_options.get("allow_redirects", True))
if extra_options.get('check_response', True):
self.check_response(response)
return response
except requests.exceptions.ConnectionError as ex:
self.log.warning(str(ex) + ' Tenacity will retry to execute the operation')
raise ex