Python Numpy mmap和kubernetes RAM限制

Python Numpy mmap和kubernetes RAM限制,python,numpy,machine-learning,kubernetes,Python,Numpy,Machine Learning,Kubernetes,我试图在kubernetes集群上加载一个大型(~40GB)文件,该集群允许非常高的短期内存使用率,但无限期的内存使用率要低得多。我有24GB的“请求”内存,限制更高np.load()。由于pod大大超过了请求的内存,因此当其他人请求内存时,它会自动被杀死。如果我将内存限制设置为较低的值,pod将被杀死100米,因为mmap再次没有检测到限制,并直接越过天花板。有没有办法在没有大量内存微观管理的情况下解决这个问题

我试图在kubernetes集群上加载一个大型(~40GB)文件,该集群允许非常高的短期内存使用率,但无限期的内存使用率要低得多。我有24GB的“请求”内存,限制更高
np.load()。由于pod大大超过了请求的内存,因此当其他人请求内存时,它会自动被杀死。如果我将内存限制设置为较低的值,pod将被杀死100米,因为
mmap
再次没有检测到限制,并直接越过天花板。有没有办法在没有大量内存微观管理的情况下解决这个问题