使用AWS Glue(python)从redis获取数据

使用AWS Glue(python)从redis获取数据,redis,pyspark,aws-glue,Redis,Pyspark,Aws Glue,我正在尝试使用AWS Glue(python)从redis获取数据。我想知道如何从spark上下文连接到redis。Redis也位于同一AWS地区 我在redis网站上看到了代码。找不到Pyspark的代码示例 import com.redislabs.provider.redis._ ... sc = new SparkContext(new SparkConf() .setMaster("local") .setAppName("myApp") //

我正在尝试使用AWS Glue(python)从redis获取数据。我想知道如何从spark上下文连接到redis。Redis也位于同一AWS地区

我在redis网站上看到了代码。找不到Pyspark的代码示例

import com.redislabs.provider.redis._

...

sc = new SparkContext(new SparkConf()
      .setMaster("local")
      .setAppName("myApp")

      // initial redis host - can be any node in cluster mode
      .set("redis.host", "localhost")

      // initial redis port
      .set("redis.port", "6379")

      // optional redis AUTH password
      .set("redis.auth", "")
  )

可以从pyspark连接到redis吗?

Q:AWS Glue支持哪些数据源


AWS Glue本机支持存储在Amazon Aurora、Amazon RDS for MySQL、Amazon RDS for Oracle、Amazon RDS for PostgreSQL、Amazon RDS for SQL Server、Amazon Redshift和Amazon S3中的数据,以及运行在Amazon EC2上的虚拟私有云(Amazon VPC)中的MySQL、Oracle、Microsoft SQL Server和PostgreSQL数据库。存储在AWS Glue数据目录中的元数据可以从Amazon Athena、Amazon EMR和Amazon Redshift Spectrum轻松访问您还可以编写自定义Scala或Python代码,并将自定义库和Jar文件导入到Glue ETL作业中,以访问AWS Glue本机不支持的数据源。有关导入自定义库的详细信息,请参阅我们的文档。

参考此:@zhiwen更新的问题。使用AWS glue时如何添加该zip文件?对此有任何更新吗?类似的情况从这个QA中,应该有一些方法来做。请试一试。