Python 雪花选择游标语句失败

Python 雪花选择游标语句失败,python,snowflake-cloud-data-platform,snow,Python,Snowflake Cloud Data Platform,Snow," cursor.executeSelect*来自表; " 我使用上面的代码来执行上面的select查询,但是这段代码被阻塞了,因为在表中,我有9300万条记录 我们是否有其他方法从python脚本中的snowflake表中提取所有数据根据您试图对这些数据执行的操作,运行COPY INTO location语句将数据提取到文件中到后台可能是最有效的方法,然后运行GET via Python,将该文件本地带到运行Python的任何地方 但是,您可能希望在cursor.execute语句之后提供有关

" cursor.executeSelect*来自表; "

我使用上面的代码来执行上面的select查询,但是这段代码被阻塞了,因为在表中,我有9300万条记录


我们是否有其他方法从python脚本中的snowflake表中提取所有数据

根据您试图对这些数据执行的操作,运行COPY INTO location语句将数据提取到文件中到后台可能是最有效的方法,然后运行GET via Python,将该文件本地带到运行Python的任何地方

但是,您可能希望在cursor.execute语句之后提供有关如何在python中使用数据的更多详细信息。在这种情况下,您最好直接向Snowflake发出SQL语句,而不是将其加载到Pandas中以执行某些操作—在这种情况下,Pandas有更好的Snowflake函数,或者其他操作?如果你只是从它创建一个文件,那么我上面的建议就行了

问题是,当您从Snowflake获取数据到Python时,由于记录量和SF到Python的数据转换,查询被卡住了

您是否正在尝试从表中获取所有数据,以及如何使用最重要的下游数据。限制列数

通过绕过数据转换提高查询性能

要提高查询性能,请使用snowflake.connector.converter\u null模块中的snowflake NoConverterTopython类绕过从snowflake内部数据类型到本机Python数据类型的数据转换,例如:

con = snowflake.connector.connect(
    ...
    converter_class=SnowflakeNoConverterToPython
)
for rec in con.cursor().execute("SELECT * FROM large_table"):
    # rec includes raw Snowflake data