Amazon web services 与带有硬盘存储的服务器相比，AWS EMR在S3上的性能

我们从客户那里获得了大约10 TB的数据，这些数据必须使用配置单元进行加载和查询，并创建聚合表，再次需要多次查询

我计划使用

AWS S3

在一个存储桶中存储10 TB的数据，并使用

EMR

查询数据

这是一种可行的方法，还是性能会很差

---

可以使用哪些替代方法来加快查询速度

是的，这是可行的。这是一个非常常见的用例（使用S3与水合HDF）。提供关于性能的明确声明的挑战在于“视情况而定”。我认为S3的每美元性能无可否认地更好，但直接的性能，取决于您如何组织数据以及您与该数据的交互外观，可能会更好地使用本地数据（如您所期望的）

以下是有关此主题的一些相关文章：

在S3:

中优化数据访问时要考虑的事项

---

是的，这是可行的。这是一个非常常见的用例（使用S3与水合HDF）。提供关于性能的明确声明的挑战在于“视情况而定”。我认为S3的每美元性能无可否认地更好，但直接的性能，取决于您如何组织数据以及您与该数据的交互外观，可能会更好地使用本地数据（如您所期望的）
以下是有关此主题的一些相关文章：
在S3:
中优化数据访问时要考虑的事项