Google bigquery 使用Kafka Connect GCP BigQuery接收器连接器进行表分区
各位 我在BigQuery中使用confluent连接器进行数据传输。对于我创建的每个事件，我都创建了一个将在BigQuery中解释的avro模式。是否可以将任何事件字段定义为表分区Google bigquery 使用Kafka Connect GCP BigQuery接收器连接器进行表分区,google-bigquery,avro,confluent-platform,confluent-schema-registry,Google Bigquery,Avro,Confluent Platform,Confluent Schema Registry,各位 我在BigQuery中使用confluent连接器进行数据传输。对于我创建的每个事件，我都创建了一个将在BigQuery中解释的avro模式。是否可以将任何事件字段定义为表分区 它当前使用的是_partitiontimehidden字段，但我需要它是实际事件的字段，以便更容易处理重复的事件。您可以。此外，还有一个测试版功能，用于按整数列进行分区。@Tiaquetzal我知道，我想了解我在kafka和bigquery（汇合连接器）之间的接收器配置过程中创建分区的位置，它在avro模式中吗？如
它当前使用的是_partitiontimehidden字段，但我需要它是实际事件的字段，以便更容易处理重复的事件。您可以。此外，还有一个测试版功能，用于按整数列进行分区。@Tiaquetzal我知道，我想了解我在kafka和bigquery（汇合连接器）之间的接收器配置过程中创建分区的位置，它在avro模式中吗？如果有的话，你有什么可以分享的例子吗？@FelipeFB似乎没有直接从连接器指定模式的选项。在中可以看到分区的定义是不可变的；但是，您可以根据需要在BigQuery数据集上创建表，只需使用连接器进行流式处理。我已经做了一个测试，不幸的是连接器无法将事件传输到创建的表。您能描述一下您所做的吗？您是否尝试先创建表？您看到了什么错误？