Hadoop 未执行cron选项卡作业

Hadoop 未执行cron选项卡作业,hadoop,cron,hdfs,Hadoop,Cron,Hdfs,我在centOS系统上安装了hadoop。我有一个shell脚本,它将在某个特定的小时文件夹位置生成的所有HDFS小文件合并到HDFS另一个位置的单个文件中。 shell在被调用时可以正常工作 然后,我将shell放置在每天凌晨1:30作为cron作业运行 我键入了crontab-e并粘贴了以下内容: 30 1 * * * /home/hadoop/tmp/cron-merge-files.sh > /home/hadoop/tmp/cron-merge-files.txt 但合并操作不

我在centOS系统上安装了hadoop。我有一个shell脚本,它将在某个特定的小时文件夹位置生成的所有HDFS小文件合并到HDFS另一个位置的单个文件中。 shell在被调用时可以正常工作

然后,我将shell放置在每天凌晨1:30作为cron作业运行

我键入了
crontab-e
并粘贴了以下内容:

30 1 * * * /home/hadoop/tmp/cron-merge-files.sh > /home/hadoop/tmp/cron-merge-files.txt
但合并操作不会发生。我在
/var/log/cron
文件中看到该条目在凌晨1:30出现,但我看不到这些文件在hdfs中合并。当我只是执行 shell脚本,然后它工作得非常好,并且执行脚本中编写的上述操作

Jul  8 01:30:01 ip-10-1-3-111 CROND[2265463]: (hadoopuser) CMD (/home/hadoop/tmp/cron-merge-files.sh > /home/hadoop/tmp/cron-merge-files.txt)
/home/hadoop/tmp/cron-merge-files.txt的内容是写入循环中的单个echo语句。循环应该运行24次,然后打印出来 24次


我不确定发生了什么。

我从另一个论坛上得到了这个问题的解决方案。当通过crontab运行同一个脚本时,环境变量并没有被提取出来,出现了一些问题。刚刚将.bash_配置文件导出到我的脚本中,它成功了

我从另一个论坛得到了这个问题的解决方案。当通过crontab运行同一个脚本时,环境变量并没有被提取出来,出现了一些问题。刚刚将.bash_配置文件导出到我的脚本中,它成功了