Python中处理数据的首选方法是什么？

我有30个列表，一些字典，其中大多数至少包含200个项目，整数和字符串

使用selenium和beautiful soup来解析html，然后将其分离为名称/值列表、站点刷新和过程重复

当这种情况发生时，我正在执行函数，将这些名称/值处理为平均值、随时间变化的速率，然后将它们与以前的结果进行比较

目前，它只是存储在我的python脚本中的内存中。我看过使用csv文件存储和检索数据，或者使用sqlite数据库，或者甚至在内存中使用sqlite数据库，但不知道这些选项的速度有多快/慢

---

任何建议都将不胜感激

如果您说您的数据主要是

列表

和

目录

，那么我会选择使用

JSON

JSON非常适合于

键值对

配对，它最初就是为了这个目的而设计的

使用

JSON

模块很容易序列化或解码JSON

序列化JSON的示例

>>> import json
>>> json.loads('["foo", {"bar":["baz", null, 1.0, 2]}]')
['foo', {'bar': ['baz', None, 1.0, 2]}]

将

list

和

dict

编码为JSON的示例

>>> import json
>>> json.dumps([1,2,3,{'4': 5, '6': 7}], separators=(',', ':'))
'[1,2,3,{"4":5,"6":7}]'

有关更多文档，请访问：

---

要使用的解决方案取决于您在问题中未指定的约束条件，以及存储的数据将如何在以后使用的具体细节。如前所述，您的问题主要基于观点。你能用CSV吗？对SQL数据库？对泡菜？对JSON转储？是的，数据基本上一被捕获就被消耗掉了，我说我认为是这样的？我只是担心内存存储的上限，以及我是否应该做其他事情，或者更确切地说，在什么时候我的计算机将无法处理内存中的那么多数据！从我的评论“具体细节”。说“数据基本上一被捕获就被消耗”一点也不具体。好吧——每10秒捕获一个新的价格列表，并对其进行处理，如此类推，相对于前10秒的数据，在一分钟后它会重复，原始的6 x 10秒捕获会被新值覆盖。几乎没有数据一次保留超过5分钟