Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon s3 S3中多个JSON文件的清单_Amazon S3_Amazon Quicksight - Fatal编程技术网

Amazon s3 S3中多个JSON文件的清单

Amazon s3 S3中多个JSON文件的清单,amazon-s3,amazon-quicksight,Amazon S3,Amazon Quicksight,我正在尝试使用S3清单创建quicksight数据源。S3中的数据是多个JSON文档。数以百万计。我可以使用以下单个文档创建数据集: { "fileLocations": [ { "URIs": [ "https://s3-us-west-2.amazonaws.com/my-bucket/doc1.json" ] } ], "globalUploadSetti

我正在尝试使用S3清单创建quicksight数据源。S3中的数据是多个JSON文档。数以百万计。我可以使用以下单个文档创建数据集:

{
    "fileLocations": [
        {
            "URIs": [
                "https://s3-us-west-2.amazonaws.com/my-bucket/doc1.json"
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "JSON"
    }
}
但是,我想要所有的JSON文档。我试图这样做却没有成功:

{
    "fileLocations": [
        {
            "URIs": [
                "https://s3-us-west-2.amazonaws.com/my-bucket/*.json"
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "JSON"
    }
}

如何在S3上为JSON文档创建通配符清单?

以下内容应包含一个bucket中的所有文件

{
    "fileLocations": [
        {
            "URIPrefixes": [ 
                "s3://my-bucket/"          
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "JSON"
    }
}

嗨,凯文,你找到了真正有效的解决方案吗?你说有数百万个JSON,但我只有3000个JSON,我得到的只是导入数据集时的一个错误。当我用不到1000个JSON进行测试时,它起作用了。建议的解决方案还可以,但我想知道它是否适用于数百万JSON。谢谢