Hadoop 如何通过调度作业每天运行单个查询

我是hadoop新手。我想每天运行一个特定的查询，并获取存储在配置单元表中的信息

---

如何使用作业调度和计时器安排查询每天运行

您可以通过cronjob进行计划

首先，将配置单元查询保存在.hql文件中，然后转到

crontab-e

并键入类似的内容。这将在当地时间每天上午00:01运行配置单元查询

01 00 * * * hive -f /usr/hadoop/hive_folder/hivequery.hql

---

您可以通过cronjob计划它

首先，将配置单元查询保存在.hql文件中，然后转到

crontab-e

并键入类似的内容。这将在当地时间每天上午00:01运行配置单元查询

01 00 * * * hive -f /usr/hadoop/hive_folder/hivequery.hql

---

创建shell脚本并通过shell运行配置单元查询。 将shell脚本放在Crontab中

script.sh

error_handler() 
{
 echo "ERROR: $1" 1>&2 
} 

hive -f /usr/hadoop/hive_folder/hivequery.hql 
if [ $? -ne 0 ];
then error_handler "hive query failed" 
fi 

echo "Hive query completed" 

Crontab：

01 00 * * * hive -f /usr/hadoop/hive_folder/script.sh   /usr/hadoop/hive_folder/job_$(date +\%Y\%m\%d.\%H\%M).log 2>&1

---

创建shell脚本并通过shell运行配置单元查询。 将shell脚本放在Crontab中

script.sh

error_handler() 
{
 echo "ERROR: $1" 1>&2 
} 

hive -f /usr/hadoop/hive_folder/hivequery.hql 
if [ $? -ne 0 ];
then error_handler "hive query failed" 
fi 

echo "Hive query completed" 

Crontab：

01 00 * * * hive -f /usr/hadoop/hive_folder/script.sh   /usr/hadoop/hive_folder/job_$(date +\%Y\%m\%d.\%H\%M).log 2>&1

---

您还可以创建一个oozie作业，使用oozie中的shell操作来运行上面的配置单元shell命令。您甚至可以根据需要安排此作业，并可以在Hue控制台上监视该作业以及日志

您还可以创建一个oozie作业，以使用oozie中的shell操作运行上述配置单元shell命令。您甚至可以根据需要安排此作业，并可以在Hue console上监视作业以及日志

是的，我这样做了，但我们如何知道cronjob是否工作以及如何检查输出？我也这样做了，但是，我们如何知道cronjob是否工作以及如何检查输出？您认为这有帮助吗？您认为这有帮助吗？如果您想使用cronjob，您可以在/var/log/cron处监视cron日志，或者将配置单元外壳命令的输出重定向到日志文件，同时设置cron如果您想使用cronjob，您可以在/var/log/cron处监视cron日志，也可以在设置cron时将hiveshell命令的输出重定向到日志文件