C# 通过Apache Kafka发送.csv之类的文件

我正在写一篇关于ApacheKafka使用c#的小型分布式系统的文章。 我需要创建一个应用程序，获取csv/xls文件，并将它们发送到卡夫卡，这将类似于存储系统。我想我的应用程序会被称为制作人。然后我需要另一个应用程序，它将接收来自卡夫卡的文件，并可以进一步分析工作

我是卡夫卡的新手，所以如果有人能告诉我它是如何工作的，或者它是否可能，我将不胜感激。我想我遇到了一个问题：如何将文件作为消息发送

---

对我的英语很抱歉。这不是我的母语。

这当然是可能的，不过您需要确保CSV文件不会太大，可能在发送之前先在制作人处进行压缩。我们使用的-它工作得很好。但是，您的问题太开放，不适合堆栈溢出。我认为如果您将CSV文件存储在Kafka中，您将遇到严重的扩展问题。根据我的经验，您可以使用1KB文件对其进行测试，但在生产环境中，您将拥有超过限制的300MB文件（它主要是一个消息传递系统，而不是文件存储系统）。您可以将路径发送到共享文件存储中的文件。@DanWilson和您一样，我最初也将Kafka视为中间件解决方案，但大数据人群实际上通过设置不确定的TTL将Kafka视为穷人的。剩下的唯一一件事就是按偏移量对主题/分区上的数据进行索引，这样就可以再次“找到”像文件这样的东西，而无需执行O（N）“表主题扫描”：-@StuartLC如果我在Kafka中发布主题上的压缩文件，它会一直存在于该主题上，直到设定的时间过去吗？@asketoo是，Kafka有一个通常在创建主题时设置的TTL（默认值为7天），大约在这段时间过后（但不依赖于确切的时间）会清除早于此TTL的消息。但也可以将TTL设置为无限，然后不删除任何内容（但显然需要不断增加的磁盘空间）。我投票决定结束你的问题——太宽泛了。