Google bigquery 将JSON正确地发布到PubSub-Dataflow-BiqQuery?正确的数据模式?
我正在谷歌云模板(Cloud Pub/Sub to BigQuery)中使用谷歌预设置模板进行第一个实验步骤 作为我最终目标的里程碑(让物理小工具向Google Cloud Pub/Bub报告数据流),我希望实现以下目标: 邮递员(使用JSON消息向Google云平台、GPC、端点发出经过身份验证的POST请求)--->GPC发布/订阅-->GPC数据流-->GPC BigQuery 现在我正在学习执行模板中的教程,“示例2:自定义模板,流作业”。本节规定: …此示例projects.templates.launch请求创建流作业 从从发布/订阅主题读取并写入到 BigQuery表BigQuery表必须已与 适当的架构。如果成功,响应正文将包含 LaunchTemplateResponse的实例 还有更多关于如何发布帖子的内容:Google bigquery 将JSON正确地发布到PubSub-Dataflow-BiqQuery?正确的数据模式?,google-bigquery,google-cloud-platform,mqtt,google-cloud-dataflow,google-cloud-pubsub,Google Bigquery,Google Cloud Platform,Mqtt,Google Cloud Dataflow,Google Cloud Pubsub,我正在谷歌云模板(Cloud Pub/Sub to BigQuery)中使用谷歌预设置模板进行第一个实验步骤 作为我最终目标的里程碑(让物理小工具向Google Cloud Pub/Bub报告数据流),我希望实现以下目标: 邮递员(使用JSON消息向Google云平台、GPC、端点发出经过身份验证的POST请求)--->GPC发布/订阅-->GPC数据流-->GPC BigQuery 现在我正在学习执行模板中的教程,“示例2:自定义模板,流作业”。本节规定: …此示例projects.templ
https://dataflow.googleapis.com/v1b3/projects/[YOUR_PROJECT_ID]/templates:launch?gcsPath=gs://[YOUR_BUCKET_NAME]/templates/TemplateName
{
"jobName": "[JOB_NAME]",
"parameters": {
"topic": "projects/[YOUR_PROJECT_ID]/topics/[YOUR_TOPIC_NAME]",
"table": "[YOUR_PROJECT_ID]:[YOUR_DATASET].[YOUR_TABLE_NAME]"
},
"environment": {
"tempLocation": "gs://[YOUR_BUCKET_NAME]/temp",
"zone": "us-central1-f"
}
}
有两件事让我困惑。为了一个简单的例子,让我们说我有多辆车,他们不断地报告他们的当前状态。我已经创建了我的MQTT主题:车辆状态。每个och车型年款车辆应能够报告其:
- 位置[字符串]
- 速度[浮动]
- 时间[字符串]
- VehicleID[整数]
{
"data": string,
"attributes": {
string: string,
...
},
"messageId": string,
"publishTime": string,
}