如何避免在python/pandas中加载大型json文件时出现“数据库磁盘映像格式错误”错误?

如何避免在python/pandas中加载大型json文件时出现“数据库磁盘映像格式错误”错误?,python,json,pandas,sqlite,Python,Json,Pandas,Sqlite,我试图从大小为4GB的sqlite数据库中读取一个表。表中的每个单元格都是json格式的,其中有几个单元格包含大型json格式的文件 当我在db browser中执行查询时,查询工作正常,但在Python中,它会给出一个错误:“数据库磁盘映像格式不正确” 我尝试过使用不同的表,但问题仍然存在。要通过查询获取的行数约为5000。但是,每个单元格本身可能有一个长的json结构字符串,大约有10000行 我已经尝试过使用数据库的副本和其他数据库。我也试着在db中跟随 Pragma完整性检查; Prag

我试图从大小为4GB的sqlite数据库中读取一个表。表中的每个单元格都是json格式的,其中有几个单元格包含大型json格式的文件

当我在db browser中执行查询时,查询工作正常,但在Python中,它会给出一个错误:“数据库磁盘映像格式不正确”

我尝试过使用不同的表,但问题仍然存在。要通过查询获取的行数约为5000。但是,每个单元格本身可能有一个长的json结构字符串,大约有10000行

我已经尝试过使用数据库的副本和其他数据库。我也试着在db中跟随 Pragma完整性检查; Pragma temp_store=2;//强制数据进入RAM

问题似乎与Pandas/Python有关,而不是与实际的DB有关:

导入sqlite3 作为pd进口熊猫 conn=sqlite3.connectdb sql= 选择a.Topic、a.Timestamp、a.SessionId、a.ContextMask、b.BuildUUID、a.BuildId、a.LayerId、, a、 有效载荷 来自MessageTable a 内连接 构建表b 在a.BuildId=b.BuildId上 其中a.主题=‘发动机/传感器/传感器数据’ 和b.BuildUUID=:作业 cur=conn.cursor cur.executesql,{job:'06c95a97-40c7-49b7-ad1b-0d439d412464'} sensordf=pd.DataFramedata=cur.fetchall,列=['Topic','Timestamp\u epoch','SessionId','ContextMask' 'BuildUUID'、'BuildId'、'LayerId'、'Payload'] 我希望输出在dataframe中,最后一列包含每个单元格中的json值。我可以进一步编写一些脚本来解析json以提取更多数据