Python 使用linux HPC处理大熊猫数据帧是个好主意吗？

我正在处理大熊猫数据帧（2000-1亿行，约100列）。它太大了，在内存为64GB的PC上无法处理。在HPC（高性能计算）linux集群上运行python脚本好吗？例如，如果单个节点有128GB的RAM，那么如果我定义分配2个节点的PBS作业（总共256GB的RAM），Python脚本会完全运行吗？

您的问题太宽泛了，但它是为在大型集群上分发分析而构建的，这也取决于您到底想做什么。也许有一种方法可以在垃圾中处理，但我想Dask是一个很好的建议。