Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
是否可以构建一个用于查询HDFS数据的REST接口?_Rest_Hadoop_Hdfs - Fatal编程技术网

是否可以构建一个用于查询HDFS数据的REST接口?

是否可以构建一个用于查询HDFS数据的REST接口?,rest,hadoop,hdfs,Rest,Hadoop,Hdfs,我们目前正在对HDFS集群执行各种转换。作为堆栈的新手,我被告知转换后的数据以二进制格式以容器的形式存储 目前,查询此数据的唯一方法是通过CLI执行强化命令 我的问题是——是否可以构建一个RESTful接口来搜索这些容器中的数据?解密的数据是JSON格式的 我这样做的原因是为了扩展测试——如果我可以以可读、可解析的格式(而不是二进制)检索数据,我可以创建自动测试挂钩,可以根据更新触发。然后可以轻松地根据源代码验证更改。任何事情都是可能的™ “以容器的形式”是非常不清楚的。“集装箱”指很多东西——

我们目前正在对HDFS集群执行各种转换。作为堆栈的新手,我被告知转换后的数据以二进制格式以容器的形式存储

目前,查询此数据的唯一方法是通过CLI执行强化命令

我的问题是——是否可以构建一个RESTful接口来搜索这些容器中的数据?解密的数据是JSON格式的

我这样做的原因是为了扩展测试——如果我可以以可读、可解析的格式(而不是二进制)检索数据,我可以创建自动测试挂钩,可以根据更新触发。然后可以轻松地根据源代码验证更改。

任何事情都是可能的™

“以容器的形式”是非常不清楚的。“集装箱”指很多东西——纱线集装箱、码头集装箱等等

第一个想法是尝试Hive、PrestoDB或Livy(Spark)。通过RESTAPI,可以更容易地创建针对每个对象的查询

或者,您可以用不同的方式存储数据,而不是启动文件系统扫描。例如,HBase或Accumulo或Ignite

不过,如果您想要真正快速的搜索,您实际上需要为所述数据编制索引。Solr或Elasticsearch是两个流行的选项,它们都在本地显式地公开RESTAPI以搜索数据