Python 雪花:SQL编译错误:错误行标识符无效'&引用;日期UTC“';
我正在将数据从Postgres移动到snowflake。最初它是有效的,但我添加了:Python 雪花:SQL编译错误:错误行标识符无效'&引用;日期UTC“';,python,sqlalchemy,snowflake-cloud-data-platform,Python,Sqlalchemy,Snowflake Cloud Data Platform,我正在将数据从Postgres移动到snowflake。最初它是有效的,但我添加了: df_postgres["dateutc"]= pd.to_datetime(df_postgres["dateutc"]) 因为日期格式错误地加载到snowflake,现在我看到了以下错误: SQL编译错误:位置87处的错误行1无效标识符 “日期UTC” 这是我的密码: from sqlalchemy import create_engine import panda
df_postgres["dateutc"]= pd.to_datetime(df_postgres["dateutc"])
因为日期格式错误地加载到snowflake,现在我看到了以下错误:
SQL编译错误:位置87处的错误行1无效标识符
“日期UTC”
这是我的密码:
from sqlalchemy import create_engine
import pandas as pd
import glob
import os
from config import postgres_user, postgres_pass, host,port, postgres_db, snow_user, snow_pass,snow_account,snow_warehouse
from snowflake.connector.pandas_tools import pd_writer
from snowflake.sqlalchemy import URL
from sqlalchemy.dialects import registry
registry.register('snowflake', 'snowflake.sqlalchemy', 'dialect')
engine = create_engine(f'postgresql://{postgres_user}:{postgres_pass}@{host}:{port}/{postgres_db}')
conn = engine.connect()
#reads query
df_postgres = pd.read_sql("SELECT * FROM rok.my_table", conn)
#dropping these columns
drop_cols=['RPM', 'RPT']
df_postgres.drop(drop_cols, inplace=True, axis=1)
#changed columns to lowercase
df_postgres.columns = df_postgres.columns.str.lower()
df_postgres["dateutc"]= pd.to_datetime(df_postgres["dateutc"])
print(df_postgres.dateutc.dtype)
sf_conn = create_engine(URL(
account = snow_account,
user = snow_user,
password = snow_pass,
database = 'test',
schema = 'my_schema',
warehouse = 'test',
role = 'test',
))
df_postgres.to_sql(name='my_table',
index = False,
con = sf_conn,
if_exists = 'append',
chunksize = 300,
method = pd_writer)
为了完整性,将Ilja的回答从评论转移到回答:
- 雪花是区分大小写的
- 在编写“unquoted”SQL时,Snowflake会将表名和字段转换为大写
- 这通常是有效的,直到有人决定开始在SQL中引用他们的标识符
在标识符中添加引号pd\u writer
- 因此,当您使用
时,当其转换为完全引用的查询时,它将保持小写df_postgres[“dateutc”]
- 用Python编写
应该可以解决这个问题df_postgres[“DATEUTC”]
pd\u writer
被指示引用标识符(带分隔符),因此无法找到“dateutc”
。该列或表实际上没有该列,并且由于您使用了'append'
,因此失败。尝试将其命名为DATEUTC
,看看会发生什么。@IljaEverilä感谢您的回复,我看到您提到了pdäU writer,我删除了它,它成功了!顺便说一句,Pandas实际上是在首先使用常规标识符创建表,因为列名都是小写,然后pd\u writer
执行它应该执行的操作,即使用分隔标识符?我看到类似的问题也出现了。