Numpy 使用Python在RAM上只加载一次数据
希望有人能帮助我。我有一组静态数据文件来进行一些数据分析,但是,每次运行脚本时,都需要很长时间才能看到发生了什么,因为每次都会加载数据。是否有一种方法可以在处理数据之后加载一次数据?? 我一直在使用Jupyter笔记本,它工作得非常好,但我想通过使用Python代码来解决这个问题 我的代码顺序是: 文件1:包含所有函数; 文件2:包含所有变量,它调用文件1以了解如何处理数据。\n 文件1=functions.py\nNumpy 使用Python在RAM上只加载一次数据,numpy,python-import,Numpy,Python Import,希望有人能帮助我。我有一组静态数据文件来进行一些数据分析,但是,每次运行脚本时,都需要很长时间才能看到发生了什么,因为每次都会加载数据。是否有一种方法可以在处理数据之后加载一次数据?? 我一直在使用Jupyter笔记本,它工作得非常好,但我想通过使用Python代码来解决这个问题 我的代码顺序是: 文件1:包含所有函数; 文件2:包含所有变量,它调用文件1以了解如何处理数据。\n 文件1=functions.py\n import numpy as np def dict_files(filep
import numpy as np
def dict_files(filepath_lst):
dictoffiles = {}
for namefile in filepath_lst:
content_file = np.loadtxt(namefile)
dictoffiles[namefile] = content_file
## Sorting files according to smallest timestamp to largest##
sorted_dictoffiles = {keys: values for keys, values in sorted(dictoffiles.items(), key=lambda item: item[1][0, 0])}
return sorted_dictoffiles
文件2\n
import functions as f
### ----------File Path -----------###
directory = 'some_file_path'
file_path = glob.glob(filejoin(directory, '*.dat'))
dictionary_of_files = f.dict_files(file_path)
数据被加载到属于加载它的进程的内存中。如果重新启动脚本,则需要重新加载数据。我能想到的唯一替代方案是从一个进程中获得一块共享内存,该进程只加载一次数据,然后永远在后台运行。我明白了!你知道有没有一种方法可以以共享的方式使用Jupyter笔记本??就像,我用Jupyter做了所有的方法,有没有其他人可以用它来处理他们自己的数据?数据被加载到属于加载它的进程的内存中。如果重新启动脚本,则需要重新加载数据。我能想到的唯一替代方案是从一个进程中获得一块共享内存,该进程只加载一次数据,然后永远在后台运行。我明白了!你知道有没有一种方法可以以共享的方式使用Jupyter笔记本??比如,我用Jupyter做了所有的方法,有没有其他人可以用它来处理自己的数据??