Python 开源评测框架？

您是否曾经想要测试并定量显示您的应用程序作为静态构建或共享构建、剥离或非剥离、upx或非upx、gcc-O2或gcc-O3、哈希或btree等是否会表现得更好。如果是这样，这就是适合您的线程。有数百种方法可以优化应用程序，但是我们如何收集、组织、处理和可视化每个实验的结果呢

几个月来，我一直在寻找一个开源的应用程序性能工程/评测框架，它的概念与Mozilla的类似，在这里我可以开发/构建/测试/评测数百种不同调优实验的具体体现

一些要求：

站台 SUSE32和SUSE64

数据格式 非常灵活、紧凑、简单、层次分明。有几种可能性，包括

• 习俗
• 没有XML。有大量的数据，XML非常详细

数据采集 灵活和可定制的插件。需要从应用程序收集大量数据，包括来自/proc、sys time、wall time、cpu利用率、内存配置文件、泄漏、valgrind日志、arena碎片、I/O、本地主机套接字、二进制大小、开放FD等的性能数据，以及来自主机系统的一些数据。我选择的语言是Python，我将开发这些插件来监视和/或解析所有不同格式的数据，并将它们存储在框架的数据格式中

标记 所有实验都将被标记，包括GCC版本和编译选项、平台、主机、应用程序选项、实验、构建标记等数据

绘图 历史、比较、等级、动态和静态

• 应用程序构建由定制CI服务器完成，该服务器连续三年每天发布几次新的应用程序版本。这就是为什么我们需要持续的趋势分析。当我们添加新功能、修复bug、更改构建选项时，我们希望自动收集分析数据并查看趋势。这就是需要生成各种静态构建的地方
• 对于分析来说，比较绘图是非常好的。在不同的标签之间有比较性的图形将是非常棒的。例如，比较N个构建版本、比较平台、比较构建选项等
• 我们有一个3K测试的测试套件，每个测试将收集数据，并从测试间数据分组，到每个测试，到每个标记组，以完成回归套件
• 可能性包括：

分组分析

• 闵
• 马克斯
• 中间带
• 平均值
• 标准差
• 等

演示 所有这些都将通过应用服务器呈现和控制，最好是Django或TG

灵感

---

我不确定您的问题到底是什么，但对于评测Java（web）应用程序，您可以使用netbeans profiler和profiler4j（可在sourceforge上获得）。我已经使用了这两种方法，可以通过EclipseTTP推荐它们

看

及

---

编辑：抱歉，刚才注意到您将此标记为Python问题，因此这对您来说肯定不是一个有效的答案。

本周在PyCon上有一次演讲，讨论了Python上的各种评测方法。我不认为任何东西都像你所寻找的那样完整，但它可能值得一看。

你应该可以在本周晚些时候的blip.tv上找到真正的谈话

---

你可能需要构建你想要的东西，但你可以从

• 卢克·斯塔克沃克
• 很多其他的开源项目

---

此外，如果目的不是为了衡量性能，而是为了改进性能，您可能会从中获得一些想法，这里有一个使用它的示例。

是的，我有。问题到底是什么？如果有人知道这样一只野兽，收集分析数据只是其中的一部分。我正在寻找一个框架，在这个框架中，评测的许多组件汇集在一起，结果类似于