Google cloud platform 每隔5分钟上传到GCS的文本文件如何上传到BigQuery？_Google Cloud Platform_Apache Kafka_Google Bigquery_Google Cloud Storage_Text Files

Google cloud platform 每隔5分钟上传到GCS的文本文件如何上传到BigQuery？

google-cloud-platform apache-kafka google-bigquery google-cloud-storage

Google cloud platform 每隔5分钟上传到GCS的文本文件如何上传到BigQuery？,google-cloud-platform,apache-kafka,google-bigquery,google-cloud-storage,text-files,Google Cloud Platform,Apache Kafka,Google Bigquery,Google Cloud Storage,Text Files,卡夫卡将文件作为文本流传输到谷歌云存储（GCS）。新文件每5分钟上传一次。下面是其示例文件的一部分这里他们首先提到主题名，然后是分区和偏移量。它的一些主题只有很少的字段，而有些主题有大量的字段（例如：名为Sales的主题有字段名PersonalBC和City）。所有上传到GCS的文本文件都有大约15个主题名。如何将它们上传到BigQuery 执行此操作的最佳方法是什么？没有什么神奇之处，您必须手动解析文件什么时候云函数可以做到这一点下载该文件解析文件并将其转换为存储在/tmp目

卡夫卡将文件作为文本流传输到谷歌云存储（GCS）。新文件每5分钟上传一次。下面是其示例文件的一部分

这里他们首先提到主题名，然后是分区和偏移量。它的一些主题只有很少的字段，而有些主题有大量的字段（例如：名为Sales的主题有字段名PersonalBC和City）。所有上传到GCS的文本文件都有大约15个主题名。如何将它们上传到BigQuery

执行此操作的最佳方法是什么？

没有什么神奇之处，您必须手动解析文件

什么时候
云函数可以做到这一点
- 下载该文件
- 解析文件并将其转换为存储在
```
/tmp
```
  目录中的一个或多个文件
- 调用（每个表一次调用。每个表和每天的加载作业限制为1000个）。指定文件格式（CSV或JSON行是最常见的，并且更易于处理/生成）

这个问题已经得到了回答。请找到以下链接：