Java 卡夫卡-传播大媒体内容

我需要从一个系统到另一个系统连续传输大型视频文件。卡夫卡适合传播大媒体内容吗？在选择此解决方案之前，我必须考虑哪些因素？

您可以使用Kafka发送指向大型视频文件外部引用的消息。然后，接收方可以从这个外部存储器（比如AmazonS3存储桶）加载新文件。这称为“索赔检查模式”，并记录在此处

---

但是，卡夫卡本身并不是用来传输大型视频文件的。它不是托管文件传输工具。

您可以使用Kafka发送指向大型视频文件外部引用的消息。然后，接收方可以从这个外部存储器（比如AmazonS3存储桶）加载新文件。这称为“索赔检查模式”，并记录在此处

---

但是，卡夫卡本身并不是用来传输大型视频文件的。它不是托管文件传输工具。

您可以将文件分块，并将每个分块作为消息放入Kafka，然后在另一端重新组合这些分块。默认情况下，Kafka消息大小为1MB。这是可配置的

您可以将文件分块，并将每个分块作为消息放入Kafka，然后在另一端重新组合这些分块。默认情况下，Kafka消息大小为1MB。这是可配置的

非常感谢，汉斯非常感谢，汉斯谢谢！根据您的经验，使用这种方法传输视频文件是否常见？请确保所有块都位于同一主题分区（通过公用键），否则您将丢失所有块的顺序并损坏文件。即使使用单个分区主题，您也需要将max.inflight.messages设置为1，以避免由于重试而导致的无序发布。我想，您仍然可以得到重复的块，因为Kafka对制作者来说“至少有一次”。至少到0.11岁为止。@ HansJespersen，你能澄清你对生产者的“至少一次”的意思吗？LinkedIn写了一个工具来做这件事，并有一个幻灯片，讨论所有的问题，他们必须考虑代码在这里，谢谢！根据您的经验，使用这种方法传输视频文件是否常见？请确保所有块都位于同一主题分区（通过公用键），否则您将丢失所有块的顺序并损坏文件。即使使用单个分区主题，您也需要将max.inflight.messages设置为1，以避免由于重试而导致的无序发布。我想，您仍然可以得到重复的块，因为Kafka对制作者来说“至少有一次”。至少在0.11点之前。@ HansJespersen，你能澄清你对生产者的“至少一次”的意思吗？LinkedIn写了一个工具来做这件事，并有一个幻灯片，讨论所有的问题，他们必须考虑代码在这里。