Database 存储大量实验和相应结果的方法

我有一个实验设置，每次运行都会生成一些csv和文本文件。在我的研究中，我每天并行运行许多这样的程序，并试图将它们存储和组织在一个目录中，但结果却变得相当低效和乏味

我想做的一个想法是使用MySQL或其他东西来存储运行描述以及相关的输出。然而，这样做效率低下，因为我在表字段中存储了大量巨大的字符串

---

基本上，我想知道是否存在一个可以自动组织运行输出的系统。这样，它将给出一个运行描述列表，选择该列表后，您可以请求相应的输出。这不必使用任何特定的语言，因为我希望只需将步骤添加到shell脚本中即可。

我假设csv和txt文件在每次运行时的名称都相同，不包括扩展名。您是否考虑过一个简单的java或python脚本，它可以将所有csv和txt文件放在一个文件夹中，并将它们放在一个XML文件中，保存所有信息，并将链接的csv文件和txt文件中的数据放在一起，这意味着对于数百个文件对（csv和txt）您可能会得到一个XML文件，可以打开该文件查看单独的运行结果？

您可以发布一些示例数据吗？我不确定数据本身是否重要。CSV文件只是一个格式化的输出，我可以很容易地读入电子表格或进行进一步的解析。例如：String，float，float还有三到四个文本文件需要打印出来，它们的格式需要保留。我喜欢这个想法。这将实现描述、输入和输出的链接。这里的问题是，xml文件很快就会变得相当大，很难阅读。虽然我可能会做些事情来处理。第二个问题是防止并发写入单个文件。并行进程都发生在单独的虚拟机上。我正计划让他们将结果提交到另一台服务器进行存储。我考虑的更多是将您的所有数据文件保存到一个临时文件夹中，用于一定次数的运行，例如1000次。在运行了那么多次之后，暂停，将所有数据文件放入一个XML文件，并将其移动到其他地方，清除临时文件夹，然后重新开始。我相信XML文件可以在Excel2007或更高版本中轻松打开，因为Office2007文件格式是压缩的XML结构。Excel的优点是可以编程处理10-100mb范围内的文件，而firefox/ie是用于kb级HTML/XML文件的。