Google coral 有可能在Coral开发板上并行运行同一模型的多个版本吗?

Google coral 有可能在Coral开发板上并行运行同一模型的多个版本吗?,google-coral,Google Coral,我正在运行mobilnet SSD,每个输入映像大约14毫秒。我是否可以在同一个开发板tpu上同时运行其中两个模型?例如,我有一个积压的100张我想通过的图片,唯一重要的是我需要多长时间才能通过所有100张。所以,如果我能一次跑2到4次,那就太棒了。我试图通读文档并查看管道,但edge编译器告诉我“~$Warning:对于给定的模型,您创建的段比需要的要多”。我读到的关于并行运行的所有其他内容都是关于使用两个物理边缘TPU。如果不可能,我只想确定:) 谢谢您可以运行多个模型,但TPU内存有限,会

我正在运行mobilnet SSD,每个输入映像大约14毫秒。我是否可以在同一个开发板tpu上同时运行其中两个模型?例如,我有一个积压的100张我想通过的图片,唯一重要的是我需要多长时间才能通过所有100张。所以,如果我能一次跑2到4次,那就太棒了。我试图通读文档并查看管道,但edge编译器告诉我“~$Warning:对于给定的模型,您创建的段比需要的要多”。我读到的关于并行运行的所有其他内容都是关于使用两个物理边缘TPU。如果不可能,我只想确定:)


谢谢

您可以运行多个模型,但TPU内存有限,会将您的模型进行交换,因此您可能无法通过将任务委托给多个模型来提高性能。然而,你可以。此过程使用相同的标识符(缓存令牌)对每个模型进行“编译”,使它们都能够在TPU上运行,而无需进行交换

编译模型是用;过程如下所示:

edgetpu_compiler someModel.tflite someOtherModel.tflite
或使用相同型号:

edgetpu_compiler someModelA.tflite someModelA_duplicate.tflite

该过程存在一些细微差别,例如,将模型提供给edgetpu_编译器过程的顺序可能会影响性能,在组合模型太大而无法放入TPU RAM的情况下也是如此。我建议从这个开始。

谢谢你。我已经看过了,但它似乎主要是关于运行两个不同的模型,我只想运行同一个模型的多个实例。@困惑-好的,明白了。我认为对于同一个模型,过程是相同的,因为编译过程只是在模型中设置标记。我已经更新了答案以反映这一点,尽管您可能仍然需要对模型进行不同的命名,因为编译实际上在文件中设置了一个内部标记值。也许值得一试。