Python 有没有办法使用pyspark在SNOWflake中使用DML操作?我可以运行select语句,但在merge或create语句中遇到问题
是否有任何方法可以使用pyspark在SNOWflake中使用DML操作,我可以运行select语句,但在merge或create语句中遇到问题使用Spark Connector,您可以在scala中运行DML查询。 使用Utils对象的runQuery()方法执行DDL/DML SQL语句,以及查询,例如:Python 有没有办法使用pyspark在SNOWflake中使用DML操作?我可以运行select语句,但在merge或create语句中遇到问题,python,pyspark,merge,snowflake-cloud-data-platform,dml,Python,Pyspark,Merge,Snowflake Cloud Data Platform,Dml,是否有任何方法可以使用pyspark在SNOWflake中使用DML操作,我可以运行select语句,但在merge或create语句中遇到问题使用Spark Connector,您可以在scala中运行DML查询。 使用Utils对象的runQuery()方法执行DDL/DML SQL语句,以及查询,例如: 如果您使用的是Python,则需要使用Python连接器,而不是Spark连接器。请检查这是否有帮助 import snowflake.connector ctx = snowflake.
如果您使用的是Python,则需要使用Python连接器,而不是Spark连接器。请检查这是否有帮助
import snowflake.connector
ctx = snowflake.connector.connect(
user='u-name',
account='account',
warehouse='wh-hane',
database='db-name',
schema='schema-name'
)
cs = ctx.cursor()
try:
cs.execute("USE WAREHOUSE xxx")
cs.execute("USE DATABASE xxx")
cs.execute("USE SCHEMA xxx")
cs.execute("my-query")
finally:
cs.close()
ctx.close()
添加您尝试过的错误日志和代码将有助于其他人更好地理解问题,从而提供相关建议/解决方案。另外,您是否尝试参考雪花的官方文档来解决您的问题?谷歌搜索给我这个文件,它可能会帮助你解决问题,同意更多信息的要求。到目前为止,您遇到了什么样的错误?pyspark为Spark与Snowflake的集成提供了完全不同的用途。它用于将数据加载到数据帧中,然后推送到Snowflake,反之亦然。您可以使用“CREATE”语句的python连接器在Snowflake DB中创建一个表。您解决了这个问题吗?我也面临同样的问题。我找不到任何关于如何执行此操作的文档。谢谢,是的,我可以使用python本机连接器执行此操作,但不能使用pyspark。。