Snowflake cloud data platform 对存储在snowdfl中的数据的分区级访问

Snowflake cloud data platform 对存储在snowdfl中的数据的分区级访问,snowflake-cloud-data-platform,Snowflake Cloud Data Platform,我是新来的雪花和探索雪花上的AWS。当数据存储在snowflake中时,我知道我们可以在分区中创建和管理数据,就像我们在hive中所做的那样。配置单元不允许我进行分区级别的用户访问管理。我可以用雪花来做吗?如果是,我们如何做以及如何在AWS的存储层上管理它?使用Snowflake,您无法直接访问底层存储,只能使用Snowflake提供的访问机制。Snowflake以完全透明的方式管理底层存储上数据的所有调配、管理和布局。因此,您不能“在分区中创建和管理数据,就像我们在配置单元中所做的那样” 如果

我是新来的雪花和探索雪花上的AWS。当数据存储在snowflake中时,我知道我们可以在分区中创建和管理数据,就像我们在hive中所做的那样。配置单元不允许我进行分区级别的用户访问管理。我可以用雪花来做吗?如果是,我们如何做以及如何在AWS的存储层上管理它?

使用Snowflake,您无法直接访问底层存储,只能使用Snowflake提供的访问机制。Snowflake以完全透明的方式管理底层存储上数据的所有调配、管理和布局。因此,您不能“在分区中创建和管理数据,就像我们在配置单元中所做的那样”

如果您想更多地了解这种存储是如何工作的,您可以阅读有关微分区的内容

在绝大多数情况下,不需要干扰Snowflake如何布局数据,但有可用的功能来强制数据如何进行集群—尽管Snowflake指出,这仅在多TB表上有用。您可以阅读关于集群表的内容


Snowflake确实有“外部表”的概念-这些表作为普通表出现在Snowflake DBs中,但它们的数据实际上保存在您拥有和管理的S3(或Azure Blob或GCP存储)中,而不是Snowflake。这些表可以方便地创建/使用,但性能比直接保存在Snowflake中的表差得多:当数据加载到Snowflake中时,它可能最终仍存储在S3上,但会被压缩,转换为柱状格式并保存在微分区中-因此在结构上与您在S3存储桶中看到的文件非常不同

Ok。多谢。。我的问题是,我们如何管理对不同数据集的访问。。就像我在一个表中有1类数据和2类数据一样。我希望人员A访问1类数据,人员B访问2类数据。我如何在IAM策略中实现这一点?我可能没有解释清楚,但您只能使用雪花功能管理雪花数据。IAM是AWS功能,因此与本讨论无关。如果要将同一表中的不同数据集显示给不同的用户,则可能需要使用视图