Python 在将数据帧保存到csv文件时删除一些数据

我正在运行红移查询，它有4000万条记录。但当我保存到csv文件时，它只显示了7000条记录。你能帮我解决这个问题吗

例如：

代码：

---

一切都应该正常工作。我认为主要的问题是调试使用。您期望记录的数量，但文档显示：

对每列或每行的非NA单元格进行计数

调试数据帧时使用更好：

print(len(df))
print(df.shape)
print(df.info())

您还可以使用

read\u sql

更轻松地执行此操作：

import pandas as pd
from sqlalchemy import create_engine


header = True
for chunk in pd.read_sql(
    'your query here - SELECT * FROM... ',
    con=create_engine('creds', echo=True),  # set creds - postgres+psycopg2://user:password@host:5432/db_name
    chunksize=1000,  # read by chunks
):
    file_path = '/tmp/path_to_your.csv'
    chunk.to_csv(
        file_path,
        header=header,
        mode='a',
        index=False,
    )
    header = False

---

一切都应该正常工作。我认为主要的问题是调试使用。您期望记录的数量，但文档显示：

对每列或每行的非NA单元格进行计数

调试数据帧时使用更好：

print(len(df))
print(df.shape)
print(df.info())

您还可以使用

read\u sql

更轻松地执行此操作：

import pandas as pd
from sqlalchemy import create_engine


header = True
for chunk in pd.read_sql(
    'your query here - SELECT * FROM... ',
    con=create_engine('creds', echo=True),  # set creds - postgres+psycopg2://user:password@host:5432/db_name
    chunksize=1000,  # read by chunks
):
    file_path = '/tmp/path_to_your.csv'
    chunk.to_csv(
        file_path,
        header=header,
        mode='a',
        index=False,
    )
    header = False