在AWS Glue中使用Python调用雪花存储过程

在AWS Glue中使用Python调用雪花存储过程,python,snowflake-cloud-data-platform,Python,Snowflake Cloud Data Platform,我有一个管道,需要在AWS Glue作业中使用Python shell调用Snowflake存储过程 任何人都可以为相同的建议适当的代码 感谢执行DDL/DML语句:net.snowflake.spark.snowflake.Utils.runQuery 由于它不是Python库中直接提供的Java类,因此需要通过Spark驱动程序的运行时调用它: 直拨电话: sc.\u gateway.jvm.net.snowflake.spark.snowflake.Utils.runQuerysfOpti

我有一个管道,需要在AWS Glue作业中使用Python shell调用Snowflake存储过程

任何人都可以为相同的建议适当的代码


感谢执行DDL/DML语句:net.snowflake.spark.snowflake.Utils.runQuery

由于它不是Python库中直接提供的Java类,因此需要通过Spark驱动程序的运行时调用它:

直拨电话: sc.\u gateway.jvm.net.snowflake.spark.snowflake.Utils.runQuerysfOptions,调用SF\u TEST\u DB.STRUCTURED.TEST 或者,使用导入样式: 从py4j.java_网关导入java_导入 java_importsc._gateway.jvm,net.snowflake.spark.snowflake.Utils Utils=sc.\u gateway.jvm.Utils Utils.runQuerysfOptions,调用SF\u TEST\u DB.STRUCTURED.TEST 不过有一个警告。引用文件:

runQuery方法只返回TRUE或FALSE。它适用于不返回结果集的语句,例如CREATE TABLE之类的DDL语句和INSERT、UPDATE和DELETE之类的DML语句。它对于返回结果集的语句(如SELECT或SHOW)不有用


对于DDL/DML语句执行,可以使用:net.snowflake.spark.snowflake.Utils.runQuery

由于它不是Python库中直接提供的Java类,因此需要通过Spark驱动程序的运行时调用它:

直拨电话: sc.\u gateway.jvm.net.snowflake.spark.snowflake.Utils.runQuerysfOptions,调用SF\u TEST\u DB.STRUCTURED.TEST 或者,使用导入样式: 从py4j.java_网关导入java_导入 java_importsc._gateway.jvm,net.snowflake.spark.snowflake.Utils Utils=sc.\u gateway.jvm.Utils Utils.runQuerysfOptions,调用SF\u TEST\u DB.STRUCTURED.TEST 不过有一个警告。引用文件:

runQuery方法只返回TRUE或FALSE。它适用于不返回结果集的语句,例如CREATE TABLE之类的DDL语句和INSERT、UPDATE和DELETE之类的DML语句。它对于返回结果集的语句(如SELECT或SHOW)不有用


能够使用AWS glue中的python连接器连接到snowflake。 请参考下面的链接,为AWS glue中使用的雪花连接器构建外部python库包


感谢

我们能够使用AWS glue中的python连接器连接到snowflake。 请参考下面的链接,为AWS glue中使用的雪花连接器构建外部python库包


感谢

去年我们遇到了以下情况:Snowflake Python连接器依赖于操作系统上的一些加密软件包,但是Glue不允许您安装这些软件包。因此,无法安装使用雪花连接器所需的软件包。您可以使用Spark并连接到Snowflake,但是这不允许存储过程AFAIK执行。我们从Glue转向Airflow。去年我们遇到了以下情况:Snowflake Python连接器依赖于操作系统上的一些加密软件包,但是Glue不允许您安装这些软件包。因此,无法安装使用雪花连接器所需的软件包。您可以使用Spark并连接到Snowflake,但是这不允许存储过程AFAIK执行。我们从胶水转向气流。