Amazon s3 S3A客户端和本地S3模拟

为了创建数据工作流的端到端本地测试，我使用“mocks3”容器（例如。看起来很好用。然而，系统的某些部分依赖于S3A客户端。在我看来，它的格式不允许指向特定的名称服务器或端点

---

可以让S3A在本地环境中工作吗？

您在谈论ASF Hadoop S3A连接器吗？没有人针对S3 mock AFAIK进行过测试（以前从未见过！），但它确实适用于非AWS端点

将

fs.s3a.endpoint

设置为S3连接的URL。还需要一些关于从https切换到http（fs.s3a.connection.ssl.enabled=false）以及从虚拟主机移动到目录（fs.s3a.path.style.access=true）的设置

---

就像我说的：没有人做过这件事。我们开发人员只是因为AWS端点的问题（延迟、不一致性、错误报告等）而反对它，正是因为这是您在生产中得到的。但是对于您的本地测试，它将简化您的生活（并且您可以在jenkins下运行它，而无需透露任何秘密）

您在谈论ASF Hadoop S3A连接器吗？没有人针对S3 mock AFAIK进行过测试（以前从未见过！），但它确实适用于非AWS端点

将

fs.s3a.endpoint

设置为S3连接的URL。还需要一些关于从https切换到http（fs.s3a.connection.ssl.enabled=false）以及从虚拟主机移动到目录（fs.s3a.path.style.access=true）的设置

---

就像我说的：没有人做过这件事。我们开发人员只是因为AWS端点的问题（延迟、不一致性、错误报告等）而反对它，正是因为这是您在生产中得到的。但是对于您的本地测试，它将简化您的生活（您可以在jenkins的领导下运行它，而无需透露任何秘密）

谢谢。这些属性似乎有助于实现它。但我没能弄明白，我被模糊的超时异常卡住了。这可能也是S3伪造服务器的问题，所以我决定使用真正的S3。谢谢。这些属性似乎有助于实现它。但我没能弄明白，我被模糊的超时异常卡住了。这可能也是S3伪造服务器的问题，所以我决定使用真正的S3。