Apache spark 从多列数据帧批量写入Kafka主题

批处理之后，Spark ETL我需要将包含多个不同列的结果数据帧写入Kafka主题

根据以下Spark文档，写入Kafka的数据帧在模式中应具有以下强制列：

值（必需）字符串或二进制

---

正如我前面提到的，我有更多的带有值的列，所以我有一个问题-如何从Spark应用程序将整个DataFrame行作为单个消息正确地发送到Kafka topic？我是否需要将所有列中的所有值与单个值列（将包含连接的值）连接到新的数据框中，或者有更合适的方法来实现它？

文档已经暗示了正确的方法，与您使用任何Kafka客户端所做的操作没有什么不同-您必须在发送到Kafka之前序列化负载

---

您将如何做到这一点（，）取决于您的业务需求-除了您（或您的团队）之外，没有人能够回答这一问题。

文档已经暗示了正确的方法，并且与您对任何卡夫卡客户端所做的操作没有什么区别-您必须在发送到卡夫卡之前序列化有效负载

你将如何做到这一点（，）取决于你的业务需求——除了你（或你的团队）之外，没有人能回答这个问题