Apache spark 使用Spark SQL从Couchbase 5.x读取文档

我试图通过Spark shell使用Spark SQL读取bucket的文档

spark-shell --packages com.couchbase.client:spark-connector_2.11:2.2.0

import org.apache.spark.sql.SparkSession
import com.couchbase.spark.sql._
import com.couchbase.client.java.document.JsonDocument 
import com.couchbase.client.java.query.N1qlQuery
import com.couchbase.client.java.view.ViewQuery
import org.apache.spark.sql.sources.EqualTo 

// Configure Spark
val sparkConf = SparkSession.
      builder().
      appName("KeyValueExample").
      master("local[*]").
      config("spark.couchbase.nodes", "135.x.x.x").
      config("spark.couchbase.username", "Administrator").
      config("spark.couchbase.password", "password").
      config("spark.couchbase.bucket.transaction-datastore", "transaction-datastore").
      getOrCreate()

import sparkConf.implicits._
val sc = sparkConf.sparkContext
val sql = sparkConf.sqlContext

// Create a DataFrame with Schema Inference
val cc = sql.read.couchbase(EqualTo("type", "Credit Card"))

sql.read.couchbase（）抛出如下错误：

19/03/13 13:04:19警告端点：[null][KeyValueEndpoint]： 身份验证失败。19/03/13 13:04:19警告端点： [null][KeyValueEndpoint]：身份验证失败。19/03/13 13:04:19 警告终结点：重新连接期间出错： com.couchbase.client.core.endpoint.kv.AuthenticationException： 身份验证失败 在com.couchbase.client.core.endpoint.kv.KeyValueAuthHandler.checkIsAuthed（KeyValueAuthHandler.java:288） 位于com.couchbase.client.core.endpoint.kv.KeyValueAuthHandler.channelRead0（KeyValueAuthHandler.java:173） 位于com.couchbase.client.core.endpoint.kv.KeyValueAuthHandler.channelRead0（KeyValueAuthHandler.java:52） 位于com.couchbase.client.deps.io.netty.channel.SimpleChannelInboundHandler.channelRead（SimpleChannelInboundHandler.java:105） 位于com.couchbase.client.deps.io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:356） 位于com.couchbase.client.deps.io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:342） 位于com.couchbase.client.deps.io.netty.channel.AbstractChannelHandlerContext.fireChannelRead（AbstractChannelHandlerContext.java:335） 位于com.couchbase.client.deps.io.netty.handler.codec.MessageToMessageDecoder.channelRead（MessageToMessageDecoder.java:102） 位于com.couchbase.client.deps.io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:356） 位于com.couchbase.client.deps.io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:342） 位于com.couchbase.client.deps.io.netty.channel.AbstractChannelHandlerContext.fireChannelRead（AbstractChannelHandlerContext.java:335） 位于com.couchbase.client.deps.io.netty.channel.CombinedChannelDuplexHandler$DelegatingChannelHandlerContext.fireChannelRead（CombinedChannelDuplexHandler.java:438） 位于com.couchbase.client.deps.io.netty.handler.codec.ByteToMessageDecoder.fireChannelRead（ByteToMessageDecoder.java:312） 位于com.couchbase.client.deps.io.netty.handler.codec.ByteToMessageDecoder.channelRead（ByteToMessageDecoder.java:286） com.couchbase.client.deps.io.netty.channel.CombinedChannelDuplexHandler.channelRead（CombinedChannelDuplexHandler.java:253） 位于com.couchbase.client.deps.io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:356） 位于com.couchbase.client.deps.io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:342） 位于com.couchbase.client.deps.io.netty.channel.AbstractChannelHandlerContext.fireChannelRead（AbstractChannelHandlerContext.java:335） 在com.couchbase.client.deps.io.netty.handler.timeout.IdleStateHandler.channelRead（IdleStateHandler.java:286）上 位于com.couchbase.client.deps.io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:356） 位于com.couchbase.client.deps.io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:342） 位于com.couchbase.client.deps.io.netty.channel.AbstractChannelHandlerContext.fireChannelRead（AbstractChannelHandlerContext.java:335） 位于com.couchbase.client.deps.io.netty.channel.DefaultChannelPipeline$HeadContext.channelRead（DefaultChannelPipeline.java:1302） 位于com.couchbase.client.deps.io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:356） 位于com.couchbase.client.deps.io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead（AbstractChannelHandlerContext.java:342） 位于com.couchbase.client.deps.io.netty.channel.DefaultChannelPipeline.fireChannelRead（DefaultChannelPipeline.java:919） 位于com.couchbase.client.deps.io.netty.channel.nio.AbstractNioByteChannel$niobytuensafe.read（AbstractNioByteChannel.java:131） 位于com.couchbase.client.deps.io.netty.channel.nio.NioEventLoop.processSelectedKey（NioEventLoop.java:646） 位于com.couchbase.client.deps.io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized（NioEventLoop.java:581） 位于com.couchbase.client.deps.io.netty.channel.nio.NioEventLoop.processSelectedKeys（NioEventLoop.java:498） 位于com.couchbase.client.deps.io.netty.channel.nio.NioEventLoop.run（NioEventLoop.java:460） 位于com.couchbase.client.deps.io.netty.util.concurrent.SingleThreadEventExecutor$2.run（SingleThreadEventExecutor.java:131） 位于com.couchbase.client.deps.io.netty.util.concurrent.DefaultThreadFactory$DefaultRunnableDecorator.run（DefaultThreadFactory.java:138） 运行（Thread.java:748）

---

请帮帮我！提前感谢。：）

1-通过安全->添加用户创建新用户/密码

2-添加此用户访问bucket的权限。（如果您使用的是测试环境，只需添加“完全管理”权限）

3-在代码中，执行以下操作：

val sparkConf = SparkSession.
  builder().
  appName("KeyValueExample").
  master("local[*]").
  config("spark.couchbase.nodes", "135.x.x.x").
  config("spark.couchbase.username", "myUser").
  config("spark.couchbase.password", "myPassword").
  config("spark.couchbase.bucket.myBucketName", ""). //it must have a empty string as a parameter (backward compatibility)
  getOrCreate()

---

您的bucket的名称是“事务数据存储”，对吗？您是否也尝试过配置（“spark.couchbase.bucket.transaction datastore”，”）？对，我的bucket的名称是transaction datastore。我一共有5桶。当我配置（“spark.couchbase.bucket.transaction datastore”，”）时，我得到以下错误：19/03/13 15:02:12警告端点：[null][KeyValueEndpoint]：身份验证失败。19/03/13 15:02:12错误执行者：第1.0阶段（TID 1）中任务0.0中的异常com.couchbase.client.java.ERROR.InvalidPasswordException:bucket“default”的密码不匹配。谢谢！但与前面提到的错误相同。我已将密码设置为我的bucket，因此也将密码与confi一起传递