Python 将数据帧转换为VALUES sql语句
在python中使用pandas,我需要能够生成从数据帧到postgresql的高效查询。不幸的是DataFrame.to_sql。。。只执行直接插入,我希望进行的查询相当复杂 理想情况下,我想这样做:Python 将数据帧转换为VALUES sql语句,python,pandas,postgresql,sqlalchemy,Python,Pandas,Postgresql,Sqlalchemy,在python中使用pandas,我需要能够生成从数据帧到postgresql的高效查询。不幸的是DataFrame.to_sql。。。只执行直接插入,我希望进行的查询相当复杂 理想情况下,我想这样做: WITH my_data AS ( SELECT * FROM ( VALUES <dataframe data> ) AS data (col1, col2, col3) ) UPDATE my_table SET my_table.col1 = my_
WITH my_data AS (
SELECT * FROM (
VALUES
<dataframe data>
) AS data (col1, col2, col3)
)
UPDATE my_table
SET
my_table.col1 = my_data.col1,
my_table.col2 = complex_function(my_table.col2, my_data.col2),
FROM my_data
WHERE my_table.col3 < my_data.col3;
然而,要做到这一点,我需要将我的dataframe转换成一个普通的values语句。当然,我可以重写自己的函数,但过去的经验告诉我,编写用于转义和清理sql的函数永远不应该手动完成
我们使用的是SQLAlchemy,但是绑定参数似乎只适用于有限数量的参数,理想情况下,我希望数据帧到文本的序列化以C速度完成
那么,有没有一种方法,或者通过pandas,或者通过SQLAlchemy,有效地将我的dataframe转换为values子语句,并将其插入到我的查询中?您可以使用。
例如,给定此设置
CREATE TABLE my_table (
col1 int
, col2 text
, col3 int
);
INSERT INTO my_table VALUES
(99, 'X', 1)
, (99, 'Y', 2)
, (99, 'Z', 99);
# | col1 | col2 | col3 |
# |------+------+------|
# | 99 | X | 1 |
# | 99 | Y | 2 |
# | 99 | Z | 99 |
python代码
import psycopg2
import psycopg2.extras as pge
import pandas as pd
import config
df = pd.DataFrame([
(1, 'A', 10),
(2, 'B', 20),
(3, 'C', 30)])
with psycopg2.connect(host=config.HOST, user=config.USER, password=config.PASS, database=config.USER) as conn:
with conn.cursor() as cursor:
sql = '''WITH my_data AS (
SELECT * FROM (
VALUES %s
) AS data (col1, col2, col3)
)
UPDATE my_table
SET
col1 = my_data.col1,
-- col2 = complex_function(col2, my_data.col2)
col2 = my_table.col2 || my_data.col2
FROM my_data
WHERE my_table.col3 < my_data.col3'''
pge.execute_values(cursor, sql, df.values)
或者,您可以使用psycopg2生成SQL。
格式为_值的代码几乎完全是从
屈服
WITH my_data AS (
SELECT * FROM (
VALUES (1,'A''foo''',10),(2,'B',20),(3,'C',30)
) AS data (col1, col2, col3)
)
UPDATE my_table
SET
col1 = my_data.col1,
-- col2 = complex_function(col2, my_data.col2)
col2 = my_table.col2 || my_data.col2
FROM my_data
WHERE my_table.col3 < my_data.col3
我有一个类似的程序,我保存为proc并使用pandas i pd.read_sql_query'EXEC proc_name'。如果我误解了查询,请告诉我。这可能是一个不错的解决办法,但这会很烦人,因为我在一个sqlalchemy事务中工作,在该事务中,我正在执行常规但不相关的orm操作。我添加了一些代码来展示如何使用psycopg2生成SQL而不执行它。然后可以使用sqlalchemy来执行SQL。谢谢。我也看了一下我的情况,似乎我可以通过session.connection.connection访问我当前的事务连接。如果是这样的话,这基本上解决了我的问题。我会让它再打开几个小时,看看是否会出现一个更纯粹的pandas/sqlalchemy响应,但它似乎适合您的解决方案。
import psycopg2
import psycopg2.extras as pge
import pandas as pd
import config
df = pd.DataFrame([
(1, "A'foo'", 10),
(2, 'B', 20),
(3, 'C', 30)])
def format_values(cur, sql, argslist, template=None, page_size=100):
enc = pge._ext.encodings[cur.connection.encoding]
if not isinstance(sql, bytes):
sql = sql.encode(enc)
pre, post = pge._split_sql(sql)
result = []
for page in pge._paginate(argslist, page_size=page_size):
if template is None:
template = b'(' + b','.join([b'%s'] * len(page[0])) + b')'
parts = pre[:]
for args in page:
parts.append(cur.mogrify(template, args))
parts.append(b',')
parts[-1:] = post
result.append(b''.join(parts))
return b''.join(result).decode(enc)
with psycopg2.connect(host=config.HOST, user=config.USER, password=config.PASS, database=config.USER) as conn:
with conn.cursor() as cursor:
sql = '''WITH my_data AS (
SELECT * FROM (
VALUES %s
) AS data (col1, col2, col3)
)
UPDATE my_table
SET
col1 = my_data.col1,
-- col2 = complex_function(col2, my_data.col2)
col2 = my_table.col2 || my_data.col2
FROM my_data
WHERE my_table.col3 < my_data.col3'''
print(format_values(cursor, sql, df.values))
WITH my_data AS (
SELECT * FROM (
VALUES (1,'A''foo''',10),(2,'B',20),(3,'C',30)
) AS data (col1, col2, col3)
)
UPDATE my_table
SET
col1 = my_data.col1,
-- col2 = complex_function(col2, my_data.col2)
col2 = my_table.col2 || my_data.col2
FROM my_data
WHERE my_table.col3 < my_data.col3