Apache spark 可以阅读Alluxio';s元数据就像Hive?;
我试图通过使用Alluxio来减少Spark读取和写入数据的时间 但是我发现我必须指定读取数据的路径 我发现我可以使用Hive的metatool将Hive的仓库从HDFS更改为Alluxio,这样我就可以通过Spark sql将数据写入Alluxio。但我不知道如何通过sql读取Alluxio的数据Apache spark 可以阅读Alluxio';s元数据就像Hive?;,apache-spark,hadoop,alluxio,Apache Spark,Hadoop,Alluxio,我试图通过使用Alluxio来减少Spark读取和写入数据的时间 但是我发现我必须指定读取数据的路径 我发现我可以使用Hive的metatool将Hive的仓库从HDFS更改为Alluxio,这样我就可以通过Spark sql将数据写入Alluxio。但我不知道如何通过sql读取Alluxio的数据 有没有办法像Hive一样读取/写入Alluxio的数据?也许可以阅读Alluxio的元数据并将其添加到metastore?您需要做的就是修改Spark的metastore中的表位置 您可以查看详细信
有没有办法像Hive一样读取/写入Alluxio的数据?也许可以阅读Alluxio的元数据并将其添加到metastore?您需要做的就是修改
Spark
的metastore中的表位置
您可以查看详细信息,如果表位置更改花费的时间太长,请查看帮助
请注意,第一次查询该表时,Alluxio
将从UFS获取数据。数据存储在Alluxio
中后,未来的表查询将直接从Alluxio
读取数据 Alluxio支持Hadoop文件系统API,因此您应该能够以从HDFS读取数据的方式从Alluxio读取数据。您能否解释一下,您是如何通过Spark sql从Alluxio读取数据的,以及遇到了哪些问题?