Performance Fasttext模型加载时间

我使用AWS SageMaker培训了一个模型，并从SageMaker下载了该模型。model.bin文件的大小为1.7GB

现在，我使用下面的代码使用fasttext（）加载模型

model = fasttext.load_model(os.path.join(model_dir, 'vectors.bin'))

在本地机器和EC2实例中加载模型至少需要4秒钟

---

如何提高加载时间

4秒对我来说似乎很快！这是大量数据，1.7GB/4秒=425MB/秒。旋转硬盘驱动器读取速度约为每秒125MB；SSD通常每秒读取550 MB左右。因此，主要限制可能是磁盘IO，FastText特定代码无法进一步优化。为什么4秒不够快？谢谢。我正在使用fasttext在AWS Sagemaker Batchtransform工作流中加载模型。我有将近200 mil的记录要处理，在每个调用周期中加载和推断模型。寻找缩短处理时间的方法。我不熟悉“AWS Sagemaker Batchtransform”工作流的特殊限制，但有两种通用技术可能是：（1）找到一些方法，在较长的批/会话中保持相同的加载模型在内存中；（2） 如果RAM充足，请将模型放置在RAM磁盘中，以便即使重复加载（从磁盘RAM到程序RAM）也以RAM而不是HDD/SDD速度进行。