Apache kafka 如何将存储在文件系统中的kafka日志转换为csv

我有一些使用kafka生成的日志，它们当前以.log格式存储在我的计算机上，如下所示：

我想将这些文件转换成csv记录，带有消息和时间。 我知道这个问题可能看起来太模糊或不清楚，对不起，但我真的在寻找一个起点来实现这一点

注意：此链接到isoblue项目，数据集

这些文件是加密的。 如果您只是为这些主题编写一个消费者并编写一个CSV文件，这不是很容易吗？

这些文件是加密的。

---

如果您只是为这些主题编写一个消费者并编写一个CSV文件，这不是很容易吗？

您正在寻找DumpLogSegments命令。但是，这不会输出CSV，因此您必须解析某些内容

转储日志段

这可以直接从日志文件打印消息，也可以只是验证 这些索引对日志是正确的

bin/kafka-run-class.sh kafka.tools.DumpLogSegments

必需的参数“[文件]”

选项说明
------ -----------
--如果设置了深度迭代，则使用深度迭代而不是浅层迭代
--所需文件：要转储的数据和索引日志文件的逗号分隔列表
--最大消息大小最大消息的大小。（默认值：5242880）
--打印数据日志（如果设置），在转储数据日志时打印消息内容
--仅验证索引如果已设置，只需验证索引日志而不打印其内容

---

您正在查找DumpLogSegments命令。但是，这不会输出CSV，因此您必须解析某些内容

转储日志段

这可以直接从日志文件打印消息，也可以只是验证 这些索引对日志是正确的

bin/kafka-run-class.sh kafka.tools.DumpLogSegments

必需的参数“[文件]”

选项说明
------ -----------
--如果设置了深度迭代，则使用深度迭代而不是浅层迭代
--所需文件：要转储的数据和索引日志文件的逗号分隔列表
--最大消息大小最大消息的大小。（默认值：5242880）
--打印数据日志（如果设置），在转储数据日志时打印消息内容
--仅验证索引如果已设置，只需验证索引日志而不打印其内容

---

它们没有加密。。。它们只是以二进制格式存储。它们没有加密。。。它们只是以二进制格式存储。