Hive 数据科学体验以一个空的配置单元表进行响应
根据我的数据科学经验,我能够在BigInsights中连接到Hive数据库并读取表模式。但数据科学的经验似乎无法读取表中的内容,因为我得到的计数为零!以下是我的一些设置:Hive 数据科学体验以一个空的配置单元表进行响应,hive,pyspark,ibm-cloud,biginsights,data-science-experience,Hive,Pyspark,Ibm Cloud,Biginsights,Data Science Experience,根据我的数据科学经验,我能够在BigInsights中连接到Hive数据库并读取表模式。但数据科学的经验似乎无法读取表中的内容,因为我得到的计数为零!以下是我的一些设置: conf = (SparkConf().set("com.ibm.analytics.metadata.enabled","false")) spark = SparkSession.builder.enableHiveSupport().getOrCreate() dash = { 'jdbcurl'
conf = (SparkConf().set("com.ibm.analytics.metadata.enabled","false"))
spark = SparkSession.builder.enableHiveSupport().getOrCreate()
dash = {
'jdbcurl': 'jdbc:hive2://nnnnnnnnnnn:10000/;ssl=true;',
'user': 'xxxxxxxxxx',
'password': 'xxxxxxxxx',
}
spark.conf
offers = spark.read.jdbc(dash['jdbcurl'],
table='offers',
properties={"user" : dash["user"],
"password" : dash["password"]})
offers.count() returns: 0
offers.show()
returns:
+-----------+----------+
|offers.name|offers.age|
+-----------+----------+
+-----------+----------+
谢谢。是的,我能够看到hive jdbc连接器的相同行为。 我尝试了这个python连接器,它返回了正确的计数
从摄取。连接器导入连接器
`HiveloadOptions = { Connectors.Hive.HOST : 'bi-hadoop-prod-4222.bi.services.us-south.bluemix.net',
Connectors.Hive.PORT : '10000',
Connectors.Hive.SSL : True,
Connectors.Hive.DATABASE : 'default',
Connectors.Hive.USERNAME : 'charles',
Connectors.Hive.PASSWORD : 'march14march',
Connectors.Hive.SOURCE_TABLE_NAME : 'student'}
`
HiveDF.printSchema()
HiveDF.show()
HiveDF.count()
谢谢,
Charles。是的,我能够看到hive jdbc连接器的相同行为。 我尝试了这个python连接器,它返回了正确的计数
从摄取。连接器导入连接器
`HiveloadOptions = { Connectors.Hive.HOST : 'bi-hadoop-prod-4222.bi.services.us-south.bluemix.net',
Connectors.Hive.PORT : '10000',
Connectors.Hive.SSL : True,
Connectors.Hive.DATABASE : 'default',
Connectors.Hive.USERNAME : 'charles',
Connectors.Hive.PASSWORD : 'march14march',
Connectors.Hive.SOURCE_TABLE_NAME : 'student'}
`
HiveDF.printSchema()
HiveDF.show()
HiveDF.count()
谢谢,
Charles。我应该安装什么程序包来解析“从摄取.连接器导入连接器”?我应该安装什么程序包来解析“从摄取.连接器导入连接器”?