Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/three.js/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Oozie将启动HQL文件_Hql_Oozie - Fatal编程技术网

Oozie将启动HQL文件

Oozie将启动HQL文件,hql,oozie,Hql,Oozie,希洛社区 我在一个大数据项目中工作,我有以下问题: 我愿意使用oozie来运行hql文件,以便对表进行ceate并将数据加载到其中,我目前正在使用hortonworks集群xith 6节点,我的问题如下 我是否需要在hdfs下存储大小非常小的HQL文件,或者我是否可以使用集群的本地文件系统。 在第二种情况下,如果这些文件在本地文件系统下,oozie将能够处理它们。我目前确信,我们应该尽可能避免在HDFS下存储小文件。 非常感谢您的回复。好的,Oozie需要HDFS上除job.properties

希洛社区 我在一个大数据项目中工作,我有以下问题:

我愿意使用oozie来运行hql文件,以便对表进行ceate并将数据加载到其中,我目前正在使用hortonworks集群xith 6节点,我的问题如下 我是否需要在hdfs下存储大小非常小的HQL文件,或者我是否可以使用集群的本地文件系统。 在第二种情况下,如果这些文件在本地文件系统下,oozie将能够处理它们。我目前确信,我们应该尽可能避免在HDFS下存储小文件。
非常感谢您的回复。好的,Oozie需要HDFS上除job.properties文件之外的所有内容。

是的,Oozie读取并本地化HDFS中的所有内容。一般来说,您应该避免在HDFS上存储小文件,但是一些脚本、hql和工作流文件不应该导致任何问题。是的,HDFS应该用于大数据,但目前,Oozie从HDFS获取数据。我们可以尝试通过Oozie运行ssh操作,它将从本地文件系统获取数据。