Apache spark java.lang.ClassNotFoundException:pyspark读取hbase表时找不到数据源：org.apache.hadoop.hbase.spark

我使用pyspark将hbase表作为数据帧读取，但它出现了一些错误：

sc = SparkContext(master="local[*]", appName="test")
spark = SparkSession(sc).builder.getOrCreate()
df = spark.read.format('org.apache.hadoop.hbase.spark') \
    .option('hbase.table', 'h_table') \
    .option('hbase.columns.mapping',
            'life_id STRING :key, score STRING info:total_score') \
    .option('hbase.use.hbase.context', False) \
    .option('hbase.config.resources', 'file:///home/softs/hbase-2.0.5/conf/hbase-site.xml') \
    .option('hbase-push.down.column.filter', False) \
    .load()

df.show()

它显示：

java.lang.ClassNotFoundException:找不到数据源：org.apache.hadoop.hbase.spark。请在以下网址查找包裹：http://spark.apache.org/third-party-projects.html

---

我遵循的是

依赖项并没有打包到您的JAR中。如果您不希望在项目中打包依赖项，请使用spark submit的-packages标志来指定您正在使用的连接器的uri

将以下行添加到

spark submit

命令：

--packages com.hortonworks:shc-core:1.1.1-2.1-s_2.11 --repositories http://repo.hortonworks.com/content/groups/public/

---

它应该可以工作。

@littley您可以共享您用于代码的pom.xml或build.sbt文件吗？这是pyspark，我没有porm.xml。@littley请尝试此链接。此人已找到Pypark的密码