Amazon redshift 估计红移表大小

Amazon redshift 估计红移表大小,amazon-redshift,Amazon Redshift,我正试图估算红移中的表将使用多少空间,但是,我找到的唯一资源是计算最小表大小: 此估计的目的是,我需要计算具有以下维度的表将占用多少空间,而不会在红移时耗尽空间(即,它将定义我们最终使用的节点数) 行数:~5000亿(确切的行数已知) 列:15(数据类型已知) 如果您能帮我估计这个尺寸,我们将不胜感激 谢谢 您引用的文章()非常好地解释了存储是如何消耗的 预测存储的主要困难在于预测压缩的效率。根据您的数据,Amazon Redshift将选择适当的选项,以减少数据所需的存储空间 压缩还通过使用

我正试图估算红移中的表将使用多少空间,但是,我找到的唯一资源是计算最小表大小:

此估计的目的是,我需要计算具有以下维度的表将占用多少空间,而不会在红移时耗尽空间(即,它将定义我们最终使用的节点数)

行数:~5000亿(确切的行数已知) 列:15(数据类型已知)

如果您能帮我估计这个尺寸,我们将不胜感激

谢谢

您引用的文章()非常好地解释了存储是如何消耗的

预测存储的主要困难在于预测压缩的效率。根据您的数据,Amazon Redshift将选择适当的选项,以减少数据所需的存储空间

压缩还通过使用分区图大大提高了Amazon红移查询的速度,分区图可以识别每个1MB块中存储的最小值和最大值。高度压缩的数据将存储在更少的块上,因此在查询执行期间需要从磁盘读取更少的块


估计存储空间的最佳方法是加载数据的子集(例如10亿行),允许Redshift自动选择压缩类型,然后推断出完整的数据大小。

您参考的文章非常好。您觉得其中有什么不足之处?谢谢您的回复!我最初是沿着这条路走的,但我想看看是否有一种更快的计算方法。