是否可以向卡夫卡主题发送websocket消息?

是否可以向卡夫卡主题发送websocket消息?,websocket,apache-kafka,Websocket,Apache Kafka,我试图找到一种方法来使用websocket发送到卡夫卡主题的消息(这些消息由websocket发送到地址“ws://address:port/topic_name”,我想将所有这些消息添加到卡夫卡主题)。 我读到卡夫卡连接,并试图找到一种方法来做它,但它似乎没有工作。。。 提前感谢:)卡夫卡连接的理念是,您可以使用某种外部集成作为存储。这可以是SAP、Salesforce、RDBMS、MQ或任何具有状态的其他内容。您的websocket端点没有数据,您不能轮询它,因为是其他人在调用它,因此数据被

我试图找到一种方法来使用websocket发送到卡夫卡主题的消息(这些消息由websocket发送到地址“ws://address:port/topic_name”,我想将所有这些消息添加到卡夫卡主题)。 我读到卡夫卡连接,并试图找到一种方法来做它,但它似乎没有工作。。。
提前感谢:)

卡夫卡连接的理念是,您可以使用某种外部集成作为存储。这可以是SAP、Salesforce、RDBMS、MQ或任何具有状态的其他内容。您的websocket端点没有数据,您不能轮询它,因为是其他人在调用它,因此数据被传输。现在,如果您知道谁实际持有数据,那么您可以使用本指南构建一个concenter

对于您的特定情况,最好使用Kafka Producer API

从您的websocket enpoint,使用此生成器向主题发布消息,或者更好地说,如果您使用spring,您可以使用更高级别的抽象,即KafkaTemplate。

在Confluent平台中,没有到套接字的Kafka连接器

我在一个在生产中使用卡夫卡的团队中工作,我们的源代码是套接字,所以您可以选择使用支持此套接字的平台->卡夫卡生产,或者自己编写一个

关于可能的平台,我认为它们中的大多数都是多余的,尽管你可以利用它们来解决这个问题,一些选项是:
1.对于较小的负载,使用
2.与
3. - 不是很推荐,这个项目是停止发展

如果您希望编写自己的制作者,您基本上必须在此端口上创建一个侦听器,并将传入消息生成到Kafka;如果这是一个web套接字,只需获取请求的有效负载并将其生成给Kafka。
示例Kafka生产者代码可以从*

以下是一些开源项目示例:
1.
2.
3.

4.

完全披露:我为MigratoryData工作


你可以退房。MigratoryData是一个可扩展的WebSocket服务器。Kafka的MigratoryData源/接收器连接器使用Kafka Connect API,可用于将数据实时从Kafka传输到WebSocket客户端,反之亦然。该解决方案的主要优点是将Kafka消息传递扩展到WebSocket客户端,同时保留了Kafka的关键功能,如保证传递、消息订购等。

“没有用于套接字的Kafka连接器”。。。“这里有一些使用套接字源的项目链接”。。。这是哪一个?我说的“卡夫卡连接器”是指卡夫卡连接框架。编辑Kafka Connect而不是connectorKafka Connect的答案是Apache许可的,而不仅仅是在Confluent平台上。他们写连接器(插件)。@cricket_007我指的是数据。那也不是真的。存在生成随机数据且没有状态的源连接器/data@cricket_007你是说你的RAM不是数据存储器吗?:)它被你的操作系统和语言隐藏的事实并没有减少它的存储能力:)不要玩得太聪明,连接器-名称很好地说明了它的用途。@cricket\u 007 plus如果你决定在连接器中生成随机数据,你会搞砸单一责任原则。为了不破坏它,你会有一些外部机制来创建测试数据,然后你会通过你的连接器连接到它。但同样的,存储和您连接的是您的生成器,它可以在内存中,在这种情况下,RAM就是您的存储。如果您认为它没有用,请随意提出问题。@Mihai在链接到您自己的网站或内容(或您所属的内容)时,请不要将其视为垃圾邮件。在堆栈交换策略下,用户名中包含与URL相同的文本或在配置文件中提及该文本不被视为充分的披露。