Snowflake cloud data platform 对于';复制到';sql查询?

Snowflake cloud data platform 对于';复制到';sql查询?,snowflake-cloud-data-platform,Snowflake Cloud Data Platform,(代表雪花用户提交) 我有一个名为s3://bucket/path/test=integration\u test\u sanity/file.parquet的测试s3文件夹 我希望能够使用COPY-into命令将其加载到snowflake中,但我希望能够加载所有具有类似test=*/file.parquet结构的测试文件夹 我试过: COPY INTO raw.test_sanity_test_parquet FROM 's3://bucket

(代表雪花用户提交)


我有一个名为s3://bucket/path/test=integration\u test\u sanity/file.parquet的测试s3文件夹

我希望能够使用COPY-into命令将其加载到snowflake中,但我希望能够加载所有具有类似test=*/file.parquet结构的测试文件夹

我试过:

COPY INTO raw.test_sanity_test_parquet
                        FROM 's3://bucket/path/'
                        CREDENTIALS=(AWS_KEY_ID='XXX' AWS_SECRET_KEY='XXX')
                        PATTERN='test=(.*)/.*'
                        FILE_FORMAT = (TYPE = parquet)
而且

COPY INTO raw.test_sanity_test_parquet
                        FROM 's3://bucket/path/'
                        CREDENTIALS=(AWS_KEY_ID='XXX' AWS_SECRET_KEY='XXX')
                        PATTERN='test=.*/.*'
                        FILE_FORMAT = (TYPE = parquet)
这两种方法都不管用。我想知道Snowflake使用了什么正则表达式解析器,我应该使用哪个正则表达式来实现这个功能

这是可行的,但我不能只过滤可能导致问题的测试文件夹

COPY INTO raw.test_sanity_test_parquet
                        FROM 's3://bucket/path/'
                        CREDENTIALS=(AWS_KEY_ID='XXX' AWS_SECRET_KEY='XXX')
                        PATTERN='.*/.*'
                        FILE_FORMAT = (TYPE = parquet)

有什么建议吗?谢谢

试试这个:

COPY INTO raw.test_sanity_test_parquet
            FROM 's3://bucket/path/'
            CREDENTIALS=(AWS_KEY_ID='XXX' AWS_SECRET_KEY='XXX')
            PATTERN='.*/test.*[.]parquet'
            FILE_FORMAT = (TYPE = parquet)
试试这个:

COPY INTO raw.test_sanity_test_parquet
            FROM 's3://bucket/path/'
            CREDENTIALS=(AWS_KEY_ID='XXX' AWS_SECRET_KEY='XXX')
            PATTERN='.*/test.*[.]parquet'
            FILE_FORMAT = (TYPE = parquet)

嘿,Abhi,当您也从Azure data lake Store Gen 2读取数据时,这可能吗?因为我不能这样做。请引导。非常感谢,回答得很好。现在我可以使用它了。嘿,阿比,当你从Azure data lake Store Gen 2读取数据时,这可能吗?因为我不能这样做。请引导。非常感谢,回答得很好。现在我可以用了。