Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark \“CASE\”、“WHEN\”、“THEN\”、“ELSE\”、“END\”、“JOIN\”、“CROSS\”、“OUTER\”、“INNER\”、“LEFT\”、“SEMI\”、“RIGHT\”、“FULL\”、“NATURAL\”、“ON\”、“PIVOT\”、“LATERAL\”、“WINDOW\”、“OVER\”、“perior\”、“PARTITION\”、“RANGE\”、“RANGE\”、“ROWS\”、“UNBOUNDED\”、“UNBOUNDED\”、“FOLLOWING\”、“AFTER\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”,“值”、“创建”、“表”、“目录”、“视图”、“替换”、“插入”、“删除”、“插入”、“描述”、“解释”、“格式”、“逻辑”、“代码根”、“成本”、“转换”、“显示”、“表”、“列”、“列”、“使用”、“分区”、“函数”、“删除”、“联合”、“除交集”、“交集”等”,\'TABLESAMPLE\'、\'STRATIFY\'、\'ALTER\'、\'RENAME\'、\'ARRAY\'、\'MAP\',_Apache Spark_Pyspark_Apache Spark Sql - Fatal编程技术网

Apache spark \“CASE\”、“WHEN\”、“THEN\”、“ELSE\”、“END\”、“JOIN\”、“CROSS\”、“OUTER\”、“INNER\”、“LEFT\”、“SEMI\”、“RIGHT\”、“FULL\”、“NATURAL\”、“ON\”、“PIVOT\”、“LATERAL\”、“WINDOW\”、“OVER\”、“perior\”、“PARTITION\”、“RANGE\”、“RANGE\”、“ROWS\”、“UNBOUNDED\”、“UNBOUNDED\”、“FOLLOWING\”、“AFTER\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”,“值”、“创建”、“表”、“目录”、“视图”、“替换”、“插入”、“删除”、“插入”、“描述”、“解释”、“格式”、“逻辑”、“代码根”、“成本”、“转换”、“显示”、“表”、“列”、“列”、“使用”、“分区”、“函数”、“删除”、“联合”、“除交集”、“交集”等”,\'TABLESAMPLE\'、\'STRATIFY\'、\'ALTER\'、\'RENAME\'、\'ARRAY\'、\'MAP\',

Apache spark \“CASE\”、“WHEN\”、“THEN\”、“ELSE\”、“END\”、“JOIN\”、“CROSS\”、“OUTER\”、“INNER\”、“LEFT\”、“SEMI\”、“RIGHT\”、“FULL\”、“NATURAL\”、“ON\”、“PIVOT\”、“LATERAL\”、“WINDOW\”、“OVER\”、“perior\”、“PARTITION\”、“RANGE\”、“RANGE\”、“ROWS\”、“UNBOUNDED\”、“UNBOUNDED\”、“FOLLOWING\”、“AFTER\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”、“FIRST\”,“值”、“创建”、“表”、“目录”、“视图”、“替换”、“插入”、“删除”、“插入”、“描述”、“解释”、“格式”、“逻辑”、“代码根”、“成本”、“转换”、“显示”、“表”、“列”、“列”、“使用”、“分区”、“函数”、“删除”、“联合”、“除交集”、“交集”等”,\'TABLESAMPLE\'、\'STRATIFY\'、\'ALTER\'、\'RENAME\'、\'ARRAY\'、\'MAP\',,apache-spark,pyspark,apache-spark-sql,Apache Spark,Pyspark,Apache Spark Sql,您没有在write语句中指定数据库的名称。 以下是我将如何做您正在尝试做的事情: database_name = "my_database" prefix_list = ["hive_table_name1","hive_table_name2", "hive_table_name3"] list1 = ["dataframe_content_1", "dataframe_content_2", "dataframe_content_3"] for index, l in enumerate

您没有在write语句中指定数据库的名称。 以下是我将如何做您正在尝试做的事情:

database_name = "my_database"
prefix_list = ["hive_table_name1","hive_table_name2", "hive_table_name3"]
list1 = ["dataframe_content_1", "dataframe_content_2", "dataframe_content_3"]


for index, l in enumerate(list1):
    selecteddata = df.select(l)

    #Embedding table name within quotations
    tablename = prefix_list[index]

    # map to the correct database and table
    db_name_and_corresponding_table = "{0}.{1}".format(database_name, tablename)

    # write the "selecteddata" dataframe to hive table
    selecteddata.write.mode("overwrite").saveAsTable(db_name_and_corresponding_table)
希望有帮助

非常感谢你,兄弟:)我以为我在写默认数据库。但是,我在sc.setSystemProperty(“hive.metastore.warehouse.dir”)错误地设置了配置单元仓库目录hdfs:///user/hive/warehouse"). 你的解决方案帮了大忙。
database_name = "my_database"
prefix_list = ["hive_table_name1","hive_table_name2", "hive_table_name3"]
list1 = ["dataframe_content_1", "dataframe_content_2", "dataframe_content_3"]


for index, l in enumerate(list1):
    selecteddata = df.select(l)

    #Embedding table name within quotations
    tablename = prefix_list[index]

    # map to the correct database and table
    db_name_and_corresponding_table = "{0}.{1}".format(database_name, tablename)

    # write the "selecteddata" dataframe to hive table
    selecteddata.write.mode("overwrite").saveAsTable(db_name_and_corresponding_table)