Apache spark \“CASE\”、“WHEN\”、“THEN\”、“ELSE\”、“END\”、“JOIN\”、“CROSS\”、“OUTER\”、“INNER\”、“LEFT\”、“SEMI\”、“RIGHT\”、“FULL\”、“NATURAL\”、“ON\”、“PIVOT\”、“LATERAL\”、“WINDOW\”、“OVER\”、“perior\”、“PARTITION\”、“RANGE\”、“RANGE\”、“ROWS\”、“UNBOUNDED\”、“UNBOUNDED\”、“FOLLOWING\”、“AFTER\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”,“值”、“创建”、“表”、“目录”、“视图”、“替换”、“插入”、“删除”、“插入”、“描述”、“解释”、“格式”、“逻辑”、“代码根”、“成本”、“转换”、“显示”、“表”、“列”、“列”、“使用”、“分区”、“函数”、“删除”、“联合”、“除交集”、“交集”等”,\'TABLESAMPLE\'、\'STRATIFY\'、\'ALTER\'、\'RENAME\'、\'ARRAY\'、\'MAP\',
您没有在write语句中指定数据库的名称。 以下是我将如何做您正在尝试做的事情:Apache spark \“CASE\”、“WHEN\”、“THEN\”、“ELSE\”、“END\”、“JOIN\”、“CROSS\”、“OUTER\”、“INNER\”、“LEFT\”、“SEMI\”、“RIGHT\”、“FULL\”、“NATURAL\”、“ON\”、“PIVOT\”、“LATERAL\”、“WINDOW\”、“OVER\”、“perior\”、“PARTITION\”、“RANGE\”、“RANGE\”、“ROWS\”、“UNBOUNDED\”、“UNBOUNDED\”、“FOLLOWING\”、“AFTER\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”,“值”、“创建”、“表”、“目录”、“视图”、“替换”、“插入”、“删除”、“插入”、“描述”、“解释”、“格式”、“逻辑”、“代码根”、“成本”、“转换”、“显示”、“表”、“列”、“列”、“使用”、“分区”、“函数”、“删除”、“联合”、“除交集”、“交集”等”,\'TABLESAMPLE\'、\'STRATIFY\'、\'ALTER\'、\'RENAME\'、\'ARRAY\'、\'MAP\',,apache-spark,pyspark,apache-spark-sql,Apache Spark,Pyspark,Apache Spark Sql,您没有在write语句中指定数据库的名称。 以下是我将如何做您正在尝试做的事情: database_name = "my_database" prefix_list = ["hive_table_name1","hive_table_name2", "hive_table_name3"] list1 = ["dataframe_content_1", "dataframe_content_2", "dataframe_content_3"] for index, l in enumerate
database_name = "my_database"
prefix_list = ["hive_table_name1","hive_table_name2", "hive_table_name3"]
list1 = ["dataframe_content_1", "dataframe_content_2", "dataframe_content_3"]
for index, l in enumerate(list1):
selecteddata = df.select(l)
#Embedding table name within quotations
tablename = prefix_list[index]
# map to the correct database and table
db_name_and_corresponding_table = "{0}.{1}".format(database_name, tablename)
# write the "selecteddata" dataframe to hive table
selecteddata.write.mode("overwrite").saveAsTable(db_name_and_corresponding_table)
希望有帮助 非常感谢你,兄弟:)我以为我在写默认数据库。但是,我在sc.setSystemProperty(“hive.metastore.warehouse.dir”)错误地设置了配置单元仓库目录hdfs:///user/hive/warehouse"). 你的解决方案帮了大忙。
database_name = "my_database"
prefix_list = ["hive_table_name1","hive_table_name2", "hive_table_name3"]
list1 = ["dataframe_content_1", "dataframe_content_2", "dataframe_content_3"]
for index, l in enumerate(list1):
selecteddata = df.select(l)
#Embedding table name within quotations
tablename = prefix_list[index]
# map to the correct database and table
db_name_and_corresponding_table = "{0}.{1}".format(database_name, tablename)
# write the "selecteddata" dataframe to hive table
selecteddata.write.mode("overwrite").saveAsTable(db_name_and_corresponding_table)