Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/18.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用scala/spark创建配置单元视图_Scala_Apache Spark_Hive - Fatal编程技术网

使用scala/spark创建配置单元视图

使用scala/spark创建配置单元视图,scala,apache-spark,hive,Scala,Apache Spark,Hive,如何使用spark和scala以编程方式在配置单元中创建多个表视图 如果存在视图,请删除 从配置单元中的表创建视图 自SPARK 2: spark.sql("create or replace view viewSO as select f1.orig as f1_orig, f2.orig as f2_orig, f2.dest as f2_dest from facts f1, facts f2 ") spark.table("viewSO").printSchema root |--

如何使用spark和scala以编程方式在配置单元中创建多个表视图

  • 如果存在视图,请删除
  • 从配置单元中的表创建视图
  • 自SPARK 2:

    spark.sql("create or replace view viewSO as select f1.orig as f1_orig, f2.orig as f2_orig, f2.dest as f2_dest from facts f1, facts f2 ")
    spark.table("viewSO").printSchema
    
    root
     |-- f1_orig: string (nullable = true)
     |-- f2_orig: string (nullable = true)
     |-- f2_dest: string (nullable = true)
    
    我会在蜂箱里做,黑斑羚,但无论如何

    以及:


    为什么不在蜂巢或黑斑羚中这样做呢?我需要自动化它,因为所有东西都是用spark和scala编写的。Dit有帮助吗?如果是的话,请接受回答。你能指出这是否有助于你按照本论坛的指导方针?谢谢
    spark.sql("drop view viewSO")