Python雪花-大数据集提取-停止迭代/挂起错误

Python雪花-大数据集提取-停止迭代/挂起错误,python,sqlalchemy,snowflake-cloud-data-platform,read-sql,Python,Sqlalchemy,Snowflake Cloud Data Platform,Read Sql,当我从Snowflake中提取小数据集时,它不会出现任何问题。但是,当我尝试使用Python SNOW connector从Snowflake中提取大型数据集时,它抛出了一个操作错误 感谢您的帮助 错误: OperationalError:(snowflake.connector.errors.OperationalError)250003:未能获取响应。绞刑?方法:get,url:(此错误的背景信息位于:) 代码: 尝试的大型提取有多大?我知道您使用的是pd.read_sql,如果是panda

当我从Snowflake中提取小数据集时,它不会出现任何问题。但是,当我尝试使用Python SNOW connector从Snowflake中提取大型数据集时,它抛出了一个操作错误

感谢您的帮助

错误: OperationalError:(snowflake.connector.errors.OperationalError)250003:未能获取响应。绞刑?方法:get,url:(此错误的背景信息位于:)

代码:


尝试的大型提取有多大?我知道您使用的是pd.read_sql,如果是pandas提供的,为什么不使用chunksize以分块而不是一次全部获取数据呢?分块模型提取也存在同样的问题。这在使用JDBC连接器时效果很好(完整和区块提取),但python雪花连接器存在问题。尝试的大型提取有多大?我看到您使用的是pd.read_sql,如果这是从pandas获得的,为什么不使用chunksize将数据分块返回,而不是一次全部返回?这与块模型提取也是一个问题。这在使用JDBC连接器时效果很好(完整和块提取),但在python雪花连接器中是个问题。
import snowflake.connector
from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker
from sqlalchemy.dialects import registry
from snowflake.sqlalchemy import URL
import sqlalchemy
        snow_conn1 = URL(
                account="XXX.aws",
                user="XXX",
                password="XXX",
                insecure_mode=True,
                role="SYSADMIN",
                warehouse=XX,
                database=XX,
                schema=XX)

        engine1=create_engine(snow_conn1)   
        
        with engine1.connect() as con:
            mtd_query1 = "select * from information_schema.tables"
            df1 = pd.read_sql(mtd_query1, con)