Oozie将启动HQL文件
希洛社区 我在一个大数据项目中工作,我有以下问题: 我愿意使用oozie来运行hql文件,以便对表进行ceate并将数据加载到其中,我目前正在使用hortonworks集群xith 6节点,我的问题如下 我是否需要在hdfs下存储大小非常小的HQL文件,或者我是否可以使用集群的本地文件系统。 在第二种情况下,如果这些文件在本地文件系统下,oozie将能够处理它们。我目前确信,我们应该尽可能避免在HDFS下存储小文件。Oozie将启动HQL文件,hql,oozie,Hql,Oozie,希洛社区 我在一个大数据项目中工作,我有以下问题: 我愿意使用oozie来运行hql文件,以便对表进行ceate并将数据加载到其中,我目前正在使用hortonworks集群xith 6节点,我的问题如下 我是否需要在hdfs下存储大小非常小的HQL文件,或者我是否可以使用集群的本地文件系统。 在第二种情况下,如果这些文件在本地文件系统下,oozie将能够处理它们。我目前确信,我们应该尽可能避免在HDFS下存储小文件。 非常感谢您的回复。好的,Oozie需要HDFS上除job.properties
非常感谢您的回复。好的,Oozie需要HDFS上除job.properties文件之外的所有内容。是的,Oozie读取并本地化HDFS中的所有内容。一般来说,您应该避免在HDFS上存储小文件,但是一些脚本、hql和工作流文件不应该导致任何问题。是的,HDFS应该用于大数据,但目前,Oozie从HDFS获取数据。我们可以尝试通过Oozie运行ssh操作,它将从本地文件系统获取数据。