Python 从CSV读取数据帧并存储以备将来使用

Python 从CSV读取数据帧并存储以备将来使用,python,pandas,csv,dataframe,execution-time,Python,Pandas,Csv,Dataframe,Execution Time,我正在开发一个自动化脚本,当任何服务器上的警报到达时,它会发送电子邮件、闲逛信息、短信和电话。为了存储每个服务器的电子邮件ID和唯一的hangouts会话ID(总服务器数=3000),我使用了pandas Dataframe。我已将所有信息存储在CSV文件中,然后将该文件加载到熊猫数据框中。使用pandas.read_csv函数加载大约需要9秒钟。此CSV信息是静态的,只是使用pandas数据帧用于不同的目的 messagemail = pd.read_csv("/home/yagyansh/h

我正在开发一个自动化脚本,当任何服务器上的警报到达时,它会发送电子邮件、闲逛信息、短信和电话。为了存储每个服务器的电子邮件ID和唯一的hangouts会话ID(总服务器数=3000),我使用了pandas Dataframe。我已将所有信息存储在CSV文件中,然后将该文件加载到熊猫数据框中。使用pandas.read_csv函数加载大约需要9秒钟。此CSV信息是静态的,只是使用pandas数据帧用于不同的目的

messagemail = pd.read_csv("/home/yagyansh/hostgroups.csv")
CSV文件如下所示:


我想要一种方法,这样就不需要每次都加载这个数据帧,也就是说,我节省了这9秒钟的时间,这纯粹是开销。

您可以使用pickle来更快地加载数据,或者可以将数据放入API中,并在需要时调用它。这就是创建数据库的原因for@YashKumarAtri-每次运行脚本时都需要该信息。脚本使用cron每分钟运行一次,所以API调用不会有多大帮助。用泡菜可能有用。谢谢你的建议。@FlorianH-好吧,我最终会将整个过程与数据库集成,但目前我正处于测试阶段,希望使用Pandas,以便我可以轻松地充分利用数据。如果服务器可以收到post请求的警报,那么我将能够向发送警报。为什么不在该服务器或docker容器上创建一个预加载了sqlite的简单python应用程序来发送要发送的传出请求呢。所以,讨论的寓意是,pandas对于这样的目的绝对没有用处。您可以使用pickle来更快地加载数据,也可以将数据放入API中,并在需要时调用它。这就是数据库的组成for@YashKumarAtri-每次运行脚本时都需要该信息。脚本使用cron每分钟运行一次,所以API调用不会有多大帮助。用泡菜可能有用。谢谢你的建议。@FlorianH-好吧,我最终会将整个过程与数据库集成,但目前我正处于测试阶段,希望使用Pandas,以便我可以轻松地充分利用数据。如果服务器可以收到post请求的警报,那么我将能够向发送警报。为什么不在该服务器或docker容器上创建一个预加载了sqlite的简单python应用程序来发送要发送的传出请求呢。所以,讨论的寓意是,大熊猫对于这样的目的毫无用处。