Docker Tensorflow服务是否使用缓存运行推理？

当我通过docker在2.1.0版上为我的TF模型提供tensorflow服务时，我使用Jmeter进行压力测试。有一个问题TPS通过使用单个数据进行测试将达到4400，而在txt文件中使用多个数据时仅达到1700。该模型是我在没有任何缓存设置的情况下训练的BiLSTM。这些实验都是在本地服务器上进行的，而不是通过网络进行的

韵律学： 在单数据任务中，我将使用相同数据无间隔运行HTTP请求设置为30个请求线程，持续10分钟。

• 租置计划：4491
• CPU占用率：2100%
• 99%厕所线（ms）：17
• 错误率：0

在多数据任务中，我将运行HTTP请求和读取txt文件（一个包含9740000个不同示例的数据集）设置为30个请求线程。

• 租置计划：1711
• CPU占用率：2300%
• 99%闭锁线（ms）：42
• 错误率：0

硬件：

• CPU核心数：12
• 处理器：24
• 英特尔（R）至强（R）银色4214处理器@2.20GHz

Tensorflow服务中是否有缓存

---

为什么在压力测试任务中，单数据测试的测试程序集比各种数据测试的测试程序集大三倍？

我已经解决了这个问题。读取同一文件的请求线程需要等待运行Jmeter需要多少CPU。

我已经解决了这个问题。读取同一文件的请求线程需要等待运行Jmeter需要多少CPU。

但您是否有一个初始问题的答案：TFS是否使用缓存运行推断？但您是否有一个初始问题的答案：TFS是否使用缓存运行推断？