Bashscript将文件上载到hdfs
我正在尝试创建一个bashscript来将文件从本地边缘节点文件系统上载到hdfs。我想知道在文件中添加时间戳的好方法。在使用时间戳时遇到一些问题Bashscript将文件上载到hdfs,bash,hadoop,hdfs,Bash,Hadoop,Hdfs,我正在尝试创建一个bashscript来将文件从本地边缘节点文件系统上载到hdfs。我想知道在文件中添加时间戳的好方法。在使用时间戳时遇到一些问题 #!/bin/bash echo Running upload script to hdfs... timestamp(){date +"%T"} hdfs dfs -put /home/myname/folder1/* /user/myname/example_1_$(timestamp).txt hdfs dfs -put /home/myna
#!/bin/bash
echo Running upload script to hdfs...
timestamp(){date +"%T"}
hdfs dfs -put /home/myname/folder1/* /user/myname/example_1_$(timestamp).txt
hdfs dfs -put /home/myname/folder2/* /user/myname/example_2_$(timestamp).txt
无法使用
date+%T
,因为命令结果将包含:
字符,如11:12:45
,并且在HDFS中无法创建带有:
字符的文件名。看
在脚本中尝试此命令
hdfs dfs -put /home/myname/folder1/* /user/myname/example_1_`date +%H%M%S`.txt
这将创建文件名,如
/user/myname/example_1_111245.txt
您是否希望结果模式为示例\u 1\u 11:20:15.txt
?是的,或者文件名:
中带有时间戳的内容是不可能的。检查下面的答案。