Python 排序和选择数据

Python 排序和选择数据,python,sql,sorting,select,Python,Sql,Sorting,Select,我有大量需要处理的数据表(排序、计算新数量、根据某些条件选择特定行等等)。到目前为止,我一直在使用电子表格软件来做这项工作,但这真的很耗时,我正试图找到一种更有效的方法来做这项工作 我使用python,但我不知道如何将其用于此类事情。我想知道是否有人能推荐一些可以使用的东西。SQL 这是一个非常普遍的问题,但是你可以做很多事情来让你的生活更轻松 1.CSV如果您要存储按列排序的数据,并且要查找易于阅读的文本文件,则这些文件非常有用 2.Sqlite3 Sqlite3是一个数据库系统,它不需要使用

我有大量需要处理的数据表(排序、计算新数量、根据某些条件选择特定行等等)。到目前为止,我一直在使用电子表格软件来做这项工作,但这真的很耗时,我正试图找到一种更有效的方法来做这项工作


我使用python,但我不知道如何将其用于此类事情。我想知道是否有人能推荐一些可以使用的东西。SQL

这是一个非常普遍的问题,但是你可以做很多事情来让你的生活更轻松

1.CSV如果您要存储按列排序的数据,并且要查找易于阅读的文本文件,则这些文件非常有用

2.Sqlite3 Sqlite3是一个数据库系统,它不需要使用服务器(而是使用文件),并且与任何其他数据库系统一样进行交互。但是,对于处理大量数据的大规模项目,不建议这样做

3.MySql是一个数据库系统,需要与服务器交互,但可以针对非常大规模的项目以及小规模的项目进行调整


不过,还有许多其他不同类型的系统,所以我建议您四处搜索,找到最适合的系统。但是,如果您想摆弄Sqlite3或CSV,我相信在python 2.7和3.x的标准库中都提供了Sqlite3和CSV模块。

您可能会喜欢python标准库中的
Sqlite3
模块:


您可以得到一个存储在磁盘文件中的SQL数据库,而无需配置单独的数据库服务器。它不适合多个客户端同时访问,但对于像您这样的单线程分析应用程序,它非常适合。

您使用的是什么数据库技术?oracle、mysql?SQL可能工作得很好。您甚至无法确定SQL是否是正确的工具,这一事实向我表明,您可能需要经历一段相当长的学习曲线才能真正使用它。您的数据是什么格式的?文件是csv和FITS@gnibbler在SQLITE3能够支持多个客户端同时访问它之前,我已经使用过一点SQL,但是,一次只能有一个客户端对数据库进行更改。请看:看来sqlite3是最好的选择!