Postgresql Kafka Connect从Debezium主题自动提取主键

我成功地将德贝齐姆CDC+卡夫卡与博士后联系起来。我还能够通过JDBC kafka连接回postgresql数据库，通过简单的表格书（序列pk、字符串标题、字符串作者）了解debezium kafka主题。在这个简单的表上插入、更新和删除都可以正常工作。但是，如果我想为多个postgres表设置一个kafka connect主题（debezium主题），该怎么办？我需要1:1转换数据。下面的示例使用相同的数据库，实际上它将被写入其他数据库中，所以表名是一致的

下面是postgres配置属性文件

name=sink-postgres
connector.class=io.confluent.connect.jdbc.JdbcSinkConnector
value.converter=org.apache.kafka.connect.json.JsonConverter
value.converter.schemas.enable=true
topics=pokladna.public.books
connection.url=jdbc:postgresql://localhost:5434/postgres
connection.user=postgres
connection.password=postgres
dialect.name=PostgreSqlDatabaseDialect
table.name.format=books_kafka
transforms=unwrap
transforms.unwrap.type=io.debezium.transforms.ExtractNewRecordState
transforms.unwrap.drop.tombstones=false
auto.create=true
auto.evolve=true
insert.mode=upsert
delete.enabled=true
pk.fields=id
pk.mode=record_key

我有两个问题：

• 您知道，如何设置pk.mode和pk.fields，以便使用正在构建的复合主键拾取表中的更改吗

更新和回答：简单的复合键很好（例如主键（问题id，标记id）），只需添加到pk.fields列名。

---

此外，约束下的键也可以正常工作（例如，约束标记约束一元键（question_id，tag_id））-您不能对源和目标使用相同的数据库，因为约束名称不同

• 如何从kafka消息中自动提取主列名

下面我附加了debezium主题的输出。我想使用它，但它可以用于简单的消息，正如示例中所示。在下面的例子中，我想，我必须平展消息并提取Payload.after.id但是如果每个表中的主键名称不同，我应该怎么做？

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --to                      
pokladna.public.books --property print.key=true --property key.separator=::::

---

简单复合键很好（例如主键（问题id，标记id）），只需添加到pk.fields列名。约束下的键也很好（例如约束标记约束主键（问题id，标记id））-您不能对源和目标使用相同的数据库，因为约束名称不同。Debezium连接器也会在每条消息中将主键作为Kafka键发送。你已经在使用这些信息了吗？我会创建你自己的卡夫卡消费者（使用kstreams或Akka），这将提供更大的灵活性。我可以稍后发布一个更广泛的答案。@Gerbrand也许将来我们可以编写我们自己的消费者。但现在我们没有时间了。我知道，正如上面kafka主题中的消息所示，有一个有效负载包含主键，但jdbc连接器忽略了它，对吗？简单的复合键很好（例如主键（question_id，tag_id）），只需添加到pk.fields列名中。约束下的键也可以正常工作（例如Constraint tag_Constraint RIMARY key（question_id，tag_id））-您不能对源和目标使用相同的数据库，因为约束名称不同。Debezium连接器也会在每条消息中将主键作为Kafka键发送。你已经在使用这些信息了吗？我会创建你自己的卡夫卡消费者（使用kstreams或Akka），这将提供更大的灵活性。我可以稍后发布一个更广泛的答案。@Gerbrand也许将来我们可以编写我们自己的消费者。但现在我们没有时间了。我知道，正如上面kafka主题中的消息所示，有一个包含主键的负载，但jdbc连接器忽略了它，对吗？

{"schema":{"type":"struct","fields":[{"type":"int32","optional":false,"field":"id"}],"optional":false,
"name":"pokladna.public.books.Key"},"payload":{"id":8}}
::::
{"schema":{"type":"struct","fields":[{"type":"struct","fields":[{"type":"int32" ,"optional":false,"field":"id"},{"type":"string","optional":false,"field":"title"},{"type":"string","optional":true," field":"primary_author"}],"optional":true,"name":"pokladna.public.books.Value","field":"before"},{"type":"struct","fields":[{"type":"int32","optional":false,"field":"id"},{"type":"string","optional":false,"field":"title"},{"type":"string"                      ,"optional":true,"field":"primary_author"}],"optional":true,"name":"pokladna.public.books.Value",
"field":"after"},{"type":"struct","fields":[{"type":"string","optional":false,"field":"version"},{"type":"string","optional":false,"field":"connector"},{"type":"string","optional":false,"field":"name"},{"type":"int64","optional":false,"field":"ts_ms"},{"type":"string" ,"optional":true,"name":"io.debezium.data.Enum","version":1,
"parameters":{"allowed":"true,last,false"},"default":"false","field":"snapshot"},{"type":"string","optional":false,"field":"db"},{"type":"string","optional":false,
"field":"schema"} ,{"type":"string","optional":false,"field":"table"},{"type":"int64","optional":true,"field":"txId"},
{"type":"int64","optional":true,"field":"lsn"},{"type":"int64","optional":true,"field":"xmin"}],"optional":false,
"name":"io.debezium.connector.postgresql.Source","field":"source"},{"type":"string","optional":false,"field":"op"},{"type":"int64","optional":true,"field":"ts_ms"},{"type":"struct","fields":"type":"string","optional":false,"field":"id"},{"type":"int64", "optional":false,"field":"total_order"},{"type":"int64","optional":false,"field":"data_collection_order"}],"optional"                      :true,"field":"transaction"}],"optional":false,"name":"pokladna.public.books.Envelope"},
"payload":{"before":null,"after":{"id":8,"title":"jabadyba","primary_author":"jajajaja"},"source":{"version":"1.4.0-SNAPSHOT","connector":"postgresql"                      ,"name":"pokladna","ts_ms":1603718235441,"snapshot":"false","db":"postgres","schema":"public",
"table":"books","txId":716,"lsn":30457288,"xmin":null},"op":"c","ts_ms":1603718235812,"transaction":null}}