Python 当数据帧仍在更新时,从另一个文件访问该数据帧

Python 当数据帧仍在更新时,从另一个文件访问该数据帧,python,multithreading,pandas,dataframe,multiprocessing,Python,Multithreading,Pandas,Dataframe,Multiprocessing,考虑一个数据帧,该数据帧在特定的时间长度(例如300分钟)内以给定的间隔(例如,每10分钟)不断追加新值。当数据被添加到此数据帧时,我希望能够同时在另一个文件中读取此数据帧[意味着对另一个.py文件中的数据帧值执行进一步的处理/分析]。我怎样才能做到这一点?我怀疑,我需要使用多处理器或多线程库,但我可以从内存中读取数据帧,还是必须先将其写入磁盘并读取存储的文件 另外,如何在后台运行第一个文件(附加数据),以便能够处理来自ipython shell的其他文件(我使用的是spyder 3.3和pyt

考虑一个数据帧,该数据帧在特定的时间长度(例如300分钟)内以给定的间隔(例如,每10分钟)不断追加新值。当数据被添加到此数据帧时,我希望能够同时在另一个文件中读取此数据帧[意味着对另一个.py文件中的数据帧值执行进一步的处理/分析]。我怎样才能做到这一点?我怀疑,我需要使用多处理器或多线程库,但我可以从内存中读取数据帧,还是必须先将其写入磁盘并读取存储的文件

另外,如何在后台运行第一个文件(附加数据),以便能够处理来自ipython shell的其他文件(我使用的是spyder 3.3和python 2.7)


我在网上读了一些关于多重处理的文章,但不明白如何处理上面提到的两个问题。通常,关于如何以最简单的方式实现这一点的任何指针都会很有帮助

如果每十分钟追加一次新值,为什么不在追加完成后将数据帧读入另一个文件?也就是说,为什么不在不追加的情况下读入文件呢?这种书写和阅读必须同时进行吗?逐行读写似乎是浪费。对不起……如果不清楚,但通过“在另一个文件中读取此数据帧”,我的意思是能够从另一个.py文件进一步查询此数据帧。例如,在这个数据框值上执行一些分析。您可能想考虑使用像BRAISE这样的东西,并使用数据库作为后端(可以同时添加和读取)。看起来这不是常见的方法(但对于非常快的执行来说,这是一种很好的方法——很可能),如果每十分钟追加一次新值,为什么不在追加完成后将数据帧读入另一个文件中呢?也就是说,为什么不在不追加的情况下读入文件呢?这种书写和阅读必须同时进行吗?逐行读写似乎是浪费。对不起……如果不清楚,但通过“在另一个文件中读取此数据帧”,我的意思是能够从另一个.py文件进一步查询此数据帧。例如,在这个数据框值上执行一些分析。您可能想考虑使用像BRAISE这样的东西,并使用数据库作为后端(可以同时添加和读取)。看起来这不是常见的方法(但对于非常快速的执行来说是一种很好的方法——很可能)