Python软件开发(CSV到Pandas到SQL或CSV到SQL到Pandas)

Python软件开发(CSV到Pandas到SQL或CSV到SQL到Pandas),python,sql,pandas,Python,Sql,Pandas,我有多个csv文件要处理(计算平均值、总和等),然后我想将它们存储在SQLite数据库中 但我想知道什么是最合适的方法 CSV转换为SQL并使用Pandas进行操作 或 CSV,使用熊猫操作并存储在SQL中 例如,我想将所有数据存储在此表中。 我将每年更新,并在我的SQL表中添加20132014等。 我将创建一个列,其中每行的平均值为10年,等等 关于,目前,pandas对操作CSV文件的支持远远超出了其操作SQL数据库的能力,尽管目前正在做出重大努力以实现后者的飞跃 看一看。这是数据分析应用程

我有多个csv文件要处理(计算平均值、总和等),然后我想将它们存储在SQLite数据库中

但我想知道什么是最合适的方法

CSV转换为SQL并使用Pandas进行操作

CSV,使用熊猫操作并存储在SQL中

例如,我想将所有数据存储在此表中。 我将每年更新,并在我的SQL表中添加20132014等。 我将创建一个列,其中每行的平均值为10年,等等


关于,

目前,pandas对操作CSV文件的支持远远超出了其操作SQL数据库的能力,尽管目前正在做出重大努力以实现后者的飞跃

看一看。这是数据分析应用程序中最灵活、最快速、功能最强大的文本文件读写器之一

另一方面,只能写入
sqlite
数据库,而不存储
索引

使用
read\u csv
您甚至可以读取对象(层次索引)

如果您没有绑定到数据库,那么我建议您考虑使用pandas进行持久化。我一直用这个,效果很好


总之,如果您必须使用数据库,我会推荐您列出的第一个选择,因为除非您使用
sqlite
,否则向数据库写入任何内容都不会起作用,但您可以阅读
sqlite

之外的其他内容。我将看看HDf5似乎很有趣!ThanksI认为MySQL也可以与sql一起工作(据postgres的一些人说,尽管查看codebase不知道如何工作)。