Apache spark Spark cassendra yugabyte连接器问题从表中获取记录

下面是我的代码示例：

spark = SparkSession.builder.appName('SparkCassandraApp')\
    .config('spark.cassandra.connection.host', 'xx.xx.xx.xx') \
    .config('spark.cassandra.connection.port', '9042') \
    .config("spark.cassandra.auth.username","username")\
    .config("spark.cassandra.auth.password","password")\
    .getOrCreate()
df = spark.read.format("org.apache.spark.sql.cassandra").option("table","local").option( "keyspace","system").load().select('host_id')
df.show()

获取以下错误：

错误执行器。执行器：阶段0.0（TID 0）中任务0.0中的异常 java.io.IOException：在准备选择“主机id”时发生异常 从“系统”、“本地”到令牌（“密钥”）<？允许筛选： org/apache/spark/sql/catalyst/package$ScalaReflectionLock$at com.datastax.spark.connector.rdd.CassandraTableScanRDD.createStatement（CassandraTableScanRDD.scala:323）

我正在使用

Spark版本：2.4.6

Scala版本：2.11.12

---

spark cassendra-接头spark-cassandra-connector_2.11-2.0.5-yb-2.jar

对于spark 2.4.x，您需要使用spark cassandra接头2.4.3或更好。Spark Cassandra接头仅与Spark 2.0-2.2兼容。看

---

请参阅如何将SCC 2.5.0与pyspark一起使用。

对于Spark 2.4.x，您需要使用Spark Cassandra连接器2.4.3或更高版本。Spark Cassandra接头仅与Spark 2.0-2.2兼容。看

---

请参阅如何将SCC 2.5.0与pyspark一起使用。

感谢Alex的重播，我尝试了两种方法，但都不起作用。ReflectionLock是驱动程序不兼容的第一个迹象。。。在更改软件包版本后，您是否进行了清理？感谢Alex的重播，我尝试了两种方法，但都不起作用。ReflectionLock是驱动程序不兼容的第一个迹象。。。更改软件包版本后，您是否进行了清理？