Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 可以阅读Alluxio';s元数据就像Hive?;_Apache Spark_Hadoop_Alluxio - Fatal编程技术网

Apache spark 可以阅读Alluxio';s元数据就像Hive?;

Apache spark 可以阅读Alluxio';s元数据就像Hive?;,apache-spark,hadoop,alluxio,Apache Spark,Hadoop,Alluxio,我试图通过使用Alluxio来减少Spark读取和写入数据的时间 但是我发现我必须指定读取数据的路径 我发现我可以使用Hive的metatool将Hive的仓库从HDFS更改为Alluxio,这样我就可以通过Spark sql将数据写入Alluxio。但我不知道如何通过sql读取Alluxio的数据 有没有办法像Hive一样读取/写入Alluxio的数据?也许可以阅读Alluxio的元数据并将其添加到metastore?您需要做的就是修改Spark的metastore中的表位置 您可以查看详细信

我试图通过使用Alluxio来减少Spark读取和写入数据的时间

但是我发现我必须指定读取数据的路径

我发现我可以使用Hive的metatool将Hive的仓库从HDFS更改为Alluxio,这样我就可以通过Spark sql将数据写入Alluxio。但我不知道如何通过sql读取Alluxio的数据


有没有办法像Hive一样读取/写入Alluxio的数据?也许可以阅读Alluxio的元数据并将其添加到metastore?

您需要做的就是修改
Spark
的metastore中的表
位置

您可以查看详细信息,如果表位置更改花费的时间太长,请查看帮助


请注意,第一次查询该表时,
Alluxio
将从UFS获取数据。数据存储在
Alluxio
中后,未来的表查询将直接从
Alluxio
读取数据

Alluxio支持Hadoop文件系统API,因此您应该能够以从HDFS读取数据的方式从Alluxio读取数据。您能否解释一下,您是如何通过Spark sql从Alluxio读取数据的,以及遇到了哪些问题?