Apache spark 我可以使用pyspark连接到Hive数据库,但当我运行程序时,数据不会显示
我已经编写了下面的代码来读取配置单元表中的数据,当我试图运行时,没有编译错误,也没有数据显示Apache spark 我可以使用pyspark连接到Hive数据库,但当我运行程序时,数据不会显示,apache-spark,hive,pyspark,Apache Spark,Hive,Pyspark,我已经编写了下面的代码来读取配置单元表中的数据,当我试图运行时,没有编译错误,也没有数据显示 from pyspark import SparkConf, SparkContext from pyspark.sql import SQLContext, HiveContext, SparkSession import os os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars hive-jdbc-2.1.0.jar pysp
from pyspark import SparkConf, SparkContext
from pyspark.sql import SQLContext, HiveContext, SparkSession
import os
os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars hive-jdbc-2.1.0.jar
pyspark-shell'
sparkConf = SparkConf().setAppName("App")
sc = SparkContext(conf=sparkConf)
sqlContext = SQLContext(sc)
hiveContext = HiveContext(sc);
source_df = hiveContext.read.format('jdbc').options(
url='jdbc:hive2://localhost:10000/sample',
driver='org.apache.hive.jdbc.HiveDriver',
dbtable='abc',
user='root',
password='root').load()
print source_df.show()
When i run this, I am getting below output and not able to fetch the
data from table.
+--------+------+
|abc.name|abc.id|
+--------+------+
+--------+------+
试试看
df = hiveContext.read.table("your_hive_table") //reads from default db
df = hiveContext.read.table("your_db.your_hive_table") //reads from your db
你也可以这样做
df = hiveContext.sql("select * from your_table")
如果没有JDBC,您不能直接读取表吗?我想从自己创建的数据库中读取表,而不是从数据库中读取表,直到数据库连接但没有数据为止。在使用此df=hiveContext.sql(“从您的表中选择*”)之前,如何建立连接