Google cloud platform 无法将超过1000个文件从Google Cloud Storage导入到Cloud Data Prep

我一直在尝试运行一个云数据准备流程，它从谷歌云存储中获取文件

谷歌云存储上的文件每天都会更新，现在存储桶中有1000多个文件。但是，我无法从桶中提取超过1000个文件

---

有没有办法从云存储中获取数据？如果没有，是否有其他方法可以实现这一点？

您可以使用文件浏览器中文件夹旁边的+按钮加载大量文件。在数据流上运行作业时，这将加载该文件夹中的所有文件（或者更准确地说是前缀）

但是，在浏览/使用参数化功能时有一个限制。有些用户可能有数百万个文件，无法在所有文件中进行搜索。（因为地面军事系统只允许按前缀进行过滤）

有关更多详细信息，请参阅该页上的限制：

---

您是如何获取这些文件的？经过一些搜索，这似乎是一个已知的限制。我不知道如何通过。事实上，如果他使用的是XML API，我在几个月前采取了行动，现在唯一的解决办法就是使用JSON API，正如我解释的那样。我只是通过Google dataprep UI中的数据集导入页面获取这些文件@米格尔：谢谢，但你能详细说明我如何准确地使用这些API吗？您将找到这两个API的文档。但是，如果GCS中有1000多个对象，我建议您使用JSON API。