Database 将数据加载到红移&；直接从Hadoop/HDFS（本地/本地集群）进行Bigquery

有没有办法直接从Hadoop/HDFS（本地/本地集群）将数据加载到Redshift&Bigquery。我需要将1TB的数据加载到Redshift和Bigquery。因此，我们正在寻找有效的方法来实现这一点

---

谢谢

您可以直接从Amazon EMR加载，但如果您使用的是本地Hadoop群集，则必须将数据导出到S3，然后使用COPY命令从那里加载到Redshift：

---

您还可以使用支持Hadoop、Redshift、BigQuery、Google云存储和Amazon S3的ETL工具

---

Talend for Big Data是一个ETL解决方案，支持所有这些不同的数据源。

有关于Bigquery的线索吗？恐怕我没有任何Bigquery的经验，对不起。类似的回答：将数据作为CSV或JSON导出到Google云存储，然后从那里加载。否则，将数据流式传输到BigQuery中，但由于它是现有数据的1 TB，我更喜欢通过GCS。