Pdf 如何在结果质量主要是主观的情况下自动化测试

我一直在通过一系列快速原型开发自动化和统计生成程序，以查看API的许可成本是否能产生良好的投资回报。有限的时间框架和我自己有限的经验导致了一个有用的工具，没有自动化的质量或正确性测试和度量

该程序处理PDF文档的本地化过程。具体来说，它会生成有关文件某些内容的报告（大约字数、图像数等），并具有一些内容提取和处理功能。它主要用于减少评估PDF本地化项目成本的时间和成本

该应用程序现在已经被批准用于更正式的开发过程，包括请求一个bug跟踪系统和一个初步测试、发布和反馈周期

那么，问题是，在这种应用程序中，您将如何进行QA和测试，其中数字通常是基于某种启发的最佳猜测，并且由于源文档的可怕构造，处理后的输出并不总是有用的？我计划在数字明显疯狂时在报告中添加警告，但还能做些什么来保证质量呢

到目前为止，我拥有的最复杂的解决方案是通过构建环境中的断言测试和编写一系列传统的用户测试用例（我更愿意避免）来保证一些助手方法的结果

你如何测试主观质量指标

---

我在C#工作，但我倾向于一个通用的最佳实践答案，而不是任何过于特定于框架的答案。

我不确定您的应用程序到底在做什么，但要回答一个通用的问题： 建立一个测试用例集合，代表您的输入范围，看看它是否能够正确判断这些输入。您无法真正绕过测试实际的输入文档

然后，在某一点上，您必须接受，自动化测试所能完成的工作是有限的。例如，当事物变得真正主观的美学或可用性时，你需要一个真正的人来做出有用的判断

---

我希望我能给出一个更有用的答案。

试试。

看起来它可能有用，但在这种情况下并不适用于我的问题。看起来我们一直在用老式的方式做事。