Hadoop 未执行cron选项卡作业
我在centOS系统上安装了hadoop。我有一个shell脚本,它将在某个特定的小时文件夹位置生成的所有HDFS小文件合并到HDFS另一个位置的单个文件中。 shell在被调用时可以正常工作 然后,我将shell放置在每天凌晨1:30作为cron作业运行 我键入了Hadoop 未执行cron选项卡作业,hadoop,cron,hdfs,Hadoop,Cron,Hdfs,我在centOS系统上安装了hadoop。我有一个shell脚本,它将在某个特定的小时文件夹位置生成的所有HDFS小文件合并到HDFS另一个位置的单个文件中。 shell在被调用时可以正常工作 然后,我将shell放置在每天凌晨1:30作为cron作业运行 我键入了crontab-e并粘贴了以下内容: 30 1 * * * /home/hadoop/tmp/cron-merge-files.sh > /home/hadoop/tmp/cron-merge-files.txt 但合并操作不
crontab-e
并粘贴了以下内容:
30 1 * * * /home/hadoop/tmp/cron-merge-files.sh > /home/hadoop/tmp/cron-merge-files.txt
但合并操作不会发生。我在/var/log/cron
文件中看到该条目在凌晨1:30出现,但我看不到这些文件在hdfs中合并。当我只是执行
shell脚本,然后它工作得非常好,并且执行脚本中编写的上述操作
Jul 8 01:30:01 ip-10-1-3-111 CROND[2265463]: (hadoopuser) CMD (/home/hadoop/tmp/cron-merge-files.sh > /home/hadoop/tmp/cron-merge-files.txt)
/home/hadoop/tmp/cron-merge-files.txt的内容是写入循环中的单个echo语句。循环应该运行24次,然后打印出来
24次
我不确定发生了什么。我从另一个论坛上得到了这个问题的解决方案。当通过crontab运行同一个脚本时,环境变量并没有被提取出来,出现了一些问题。刚刚将.bash_配置文件导出到我的脚本中,它成功了 我从另一个论坛得到了这个问题的解决方案。当通过crontab运行同一个脚本时,环境变量并没有被提取出来,出现了一些问题。刚刚将.bash_配置文件导出到我的脚本中,它成功了