使用scala/spark创建配置单元视图
如何使用spark和scala以编程方式在配置单元中创建多个表视图使用scala/spark创建配置单元视图,scala,apache-spark,hive,Scala,Apache Spark,Hive,如何使用spark和scala以编程方式在配置单元中创建多个表视图 如果存在视图,请删除 从配置单元中的表创建视图 自SPARK 2: spark.sql("create or replace view viewSO as select f1.orig as f1_orig, f2.orig as f2_orig, f2.dest as f2_dest from facts f1, facts f2 ") spark.table("viewSO").printSchema root |--
spark.sql("create or replace view viewSO as select f1.orig as f1_orig, f2.orig as f2_orig, f2.dest as f2_dest from facts f1, facts f2 ")
spark.table("viewSO").printSchema
root
|-- f1_orig: string (nullable = true)
|-- f2_orig: string (nullable = true)
|-- f2_dest: string (nullable = true)
我会在蜂箱里做,黑斑羚,但无论如何
以及:
为什么不在蜂巢或黑斑羚中这样做呢?我需要自动化它,因为所有东西都是用spark和scala编写的。Dit有帮助吗?如果是的话,请接受回答。你能指出这是否有助于你按照本论坛的指导方针?谢谢
spark.sql("drop view viewSO")