如何在Python中循环运行_query(),生成多个数据集,然后再生成多个CSV?
因此,我正在从与Datagrip的连接中提取一些数据集。我正在做的是根据id号生成一些表,我想根据结果生成CSV。这是我到目前为止的代码:如何在Python中循环运行_query(),生成多个数据集,然后再生成多个CSV?,python,sqlalchemy,Python,Sqlalchemy,因此,我正在从与Datagrip的连接中提取一些数据集。我正在做的是根据id号生成一些表,我想根据结果生成CSV。这是我到目前为止的代码: import os import sqlalchemy pd.options.display.max_columns = 500 pd.options.display.max_rows = 500 from datetime import timedelta import psycopg2 import csv DB_USER = 'XXXXXX' D
import os
import sqlalchemy
pd.options.display.max_columns = 500
pd.options.display.max_rows = 500
from datetime import timedelta
import psycopg2
import csv
DB_USER = 'XXXXXX'
DB_PASS = 'XXXXXX'
DB_HOST = 'XXXXXX'
DB_PORT = XXXX
DB_NAME = 'xxxxxx'
def get_engine():
return sqlalchemy.create_engine(
'postgresql://{}:{}@{}:{}/{}'.format(DB_USER, DB_PASS, DB_HOST, DB_PORT, DB_NAME))
def run_query(query_txt):
engine = get_engine()
with engine.begin() as con:
return pd.read_sql(query_txt, con)
df = run_query(
"""
select * from database
where id between 0 and 100000
""")
df.to_csv('data_1.csv', sep= ",", quoting=csv.QUOTE_ALL, index=False)
但是,我需要这样做几次,id介于100001和200000之间,200001和300000之间,以此类推。有没有一种方法可以让这一切自动化
谢谢