无法将数据从Cloudant加载到Watson Studio笔记本中的Python/Spark数据框中

无法将数据从Cloudant加载到Watson Studio笔记本中的Python/Spark数据框中,python,watson-studio,python-cloudant,Python,Watson Studio,Python Cloudant,我正在尝试将数据从Cloudant DB加载到Watson Studio中Python和Spark环境中的Python/Spark数据帧中。我已经遵循了链接中提到的步骤,并停留在步骤3:步骤5中。我已经有了一个名为“twitterdb”的cloudant数据库,我正在尝试从这里加载数据 错误截图 通过查看错误,我发现与IBM Cloud提供的Spark as服务上的Spark版本相比,您一定安装了不正确的Cloudant连接器。 Spark As服务提供Spark版本2.1.2 现在从教程开始,

我正在尝试将数据从Cloudant DB加载到Watson Studio中Python和Spark环境中的Python/Spark数据帧中。我已经遵循了链接中提到的步骤,并停留在步骤3:步骤5中。我已经有了一个名为“twitterdb”的cloudant数据库,我正在尝试从这里加载数据

错误截图


通过查看错误,我发现与IBM Cloud提供的Spark as服务上的Spark版本相比,您一定安装了不正确的Cloudant连接器。 Spark As服务提供Spark版本2.1.2

现在从教程开始,其中一个步骤指示安装Spark Cloudant包

pixiedust.installPackage("org.apache.bahir:spark-sql-cloudant_2.11:0")
我认为这一定是安装了错误版本的spark cloudant连接器,因为它试图使用错误状态

/gpfs/global_fs01/sym_shared/YPProdSpark/user/s97c-0d96df4a6a0cd8-8754c7852bb5/data/libs/spark-sql-cloudant_2.11-2.2.1.jar
要安装/使用的正确版本为

现在重要的一点是,默认情况下已经安装了Spark Cloudant连接器。 /usr/local/src/dataconnector-cloudant-2.0/spark-2.0.0/libs/

您应该使用pixiedust卸载用户安装的软件包

pixiedust.packageManager.uninstallPackage("org.apache.bahir:spark-sql-cloudant_2.11:2.2.1")
然后重新启动内核,然后使用cloudant连接器从 cloudant数据库

spark = SparkSession\
    .builder\
    .appName("Cloudant Spark SQL Example in Python using dataframes")\
    .config("cloudant.host","ACCOUNT.cloudant.com")\
    .config("cloudant.username", "USERNAME")\
    .config("cloudant.password","PASSWORD")\
    .config("jsonstore.rdd.partitions", 8)\
    .getOrCreate()

# ***1. Loading dataframe from Cloudant db
df = spark.read.load("n_airportcodemapping", "org.apache.bahir.cloudant")
df.cache() 
df.printSchema()
参考:-

谢谢,
Charles。

请将错误添加为文本而不是图像。无法通过搜索找到。