Airflow 气流>;工人的S3连接失败

Airflow 气流>;工人的S3连接失败,airflow,Airflow,我已经通过管理界面在Airflow(1.7)中创建了一个“S3”类型的连接,并验证了它在承载Airflow本身的盒子上工作。但是,连接在单独的接线盒上运行的任何辅助接线盒上都不起作用 我正在通过以下过程测试连接: # Launch the Python shell /usr/local/bin/python2.7 # Issue the following import airflow s3 = airflow.hooks.S3Hook('remote_log_s3') s3.lo

我已经通过管理界面在Airflow(1.7)中创建了一个“S3”类型的连接,并验证了它在承载Airflow本身的盒子上工作。但是,连接在单独的接线盒上运行的任何辅助接线盒上都不起作用

我正在通过以下过程测试连接:

# Launch the Python shell
/usr/local/bin/python2.7   

# Issue the following
import airflow  
s3 = airflow.hooks.S3Hook('remote_log_s3') 
s3.load_string('test', airflow.conf.get('core', 'remote_base_log_folder'))
对于worker,上述内容将返回以下内容:

boto.exception.S3ResponseError:S3ResponseError:403禁止

在承载气流本身的框上,字符串将按预期加载到指定的S3位置


我试图通过重新启动Airflow workers来解决问题,但没有效果。我正在寻找关于可能需要采取的步骤的任何建议,以使工作人员能够利用连接。

如果您检查名为“remote\u log\u s3”的气流连接,尽管web界面是连接属性的额外JSON部分中的“aws\u access\u key\u id”和“aws\u secret\u access\u key”?否则,如果您在其中看到类似“s3\u config\u file”的内容,则原因可能是存储凭据的配置文件可能只存在于您的airflow master计算机上,需要放在workers上的同一位置。@SimonD,是的。我使用了在“额外”字段中指定访问密钥id和密钥权限的方法。谢谢。您确定您的AWS设置没有将对这些S3存储桶的访问限制为特定IP地址吗?找到答案的一种方法是登录到工作机器,并使用AWS CLI列出存储桶的内容。@SimonD-感谢您的补充建议。问题似乎是我们需要将airflow.cfg(定义了
remote\u base\u log\u文件夹的位置)复制到工作节点本身。