基于python的远程数据库访问
我有一个大数据集(185GB),我计划在上面执行一些机器学习算法。数据在本地计算机上,计算能力有限。我可以访问一个远程集群,在那里我可以执行昂贵的计算算法。它有1TB的内存,速度非常快。但由于某些原因,我在远程服务器上只有2GB(!)的磁盘存储空间 我可以通过SSH连接到集群,在python上有没有任何方法可以通过SSH将数据库加载到RAM 任何关于如何解决这个问题的一般性建议都是非常值得赞赏的 您可能希望使用,以便可以从Python中连接SSH。然后,您可以运行输出数据并从流中读取数据的命令。这比复制文件要好,因为它不需要将数据复制到磁盘。如果数据在文件中,那么您可以使用paramiko来基于python的远程数据库访问,python,ssh,dataset,remote-access,Python,Ssh,Dataset,Remote Access,我有一个大数据集(185GB),我计划在上面执行一些机器学习算法。数据在本地计算机上,计算能力有限。我可以访问一个远程集群,在那里我可以执行昂贵的计算算法。它有1TB的内存,速度非常快。但由于某些原因,我在远程服务器上只有2GB(!)的磁盘存储空间 我可以通过SSH连接到集群,在python上有没有任何方法可以通过SSH将数据库加载到RAM 任何关于如何解决这个问题的一般性建议都是非常值得赞赏的 您可能希望使用,以便可以从Python中连接SSH。然后,您可以运行输出数据并从流中读取数据的命令。
cat
文件并从流中读取数据。可能就是您要查找的?