pig中hadoop文件的日期列表

pig中hadoop文件的日期列表,hadoop,apache-pig,Hadoop,Apache Pig,我做到了: hadoop dfs-ls/user/abc/fun/ 它工作得很好,按字母顺序递增地列出了所有文件。 我想根据文件列表的日期,以增加的顺序,即最新的日期文件被放置在底部 大概是这样的: hadoop dfs-ls ltrh/user/abc/fun/ 当我读到pig的wiki时,它不起作用,因为这不是一个有效的FSshell命令。 请建议如何获得期望的结果。 任何帮助都将不胜感激。谢谢 有两种方法可以做到这一点 如果您想在Pig Shell中执行此操作,而不是编写脚本,只需将以下

我做到了:

hadoop dfs-ls/user/abc/fun/

它工作得很好,按字母顺序递增地列出了所有文件。 我想根据文件列表的日期,以增加的顺序,即最新的日期文件被放置在底部

大概是这样的:

hadoop dfs-ls ltrh/user/abc/fun/

当我读到pig的wiki时,它不起作用,因为这不是一个有效的FSshell命令。 请建议如何获得期望的结果。
任何帮助都将不胜感激。谢谢

有两种方法可以做到这一点

  • 如果您想在Pig Shell中执行此操作,而不是编写脚本,只需将以下命令
    hadoop fs-ls/user/abc/fun/| sort-k6,7
    保存在
    test.sh
    文件中即可。给它
    chmod+x
    权限,然后从grunt shell内部执行
    sh./test.sh
    以获得所需的结果
  • 假设您想将其包含在
    pig
    脚本中,并使用
    pig-f
    运行它,那么您可以简单地使用
    %declare baseDir hadoop fs-ls/user/abc/fun/| sort-k6,7 | tail-1

  • 有两种方法可以做到这一点

    • 如果您想在Pig Shell中执行此操作,而不是编写脚本,只需将以下命令
      hadoop fs-ls/user/abc/fun/| sort-k6,7
      保存在
      test.sh
      文件中即可。给它
      chmod+x
      权限,然后从grunt shell内部执行
      sh./test.sh
      以获得所需的结果
    • 假设您想将其包含在
      pig
      脚本中,并使用
      pig-f
      运行它,那么您可以简单地使用
      %declare baseDir hadoop fs-ls/user/abc/fun/| sort-k6,7 | tail-1

    • 有两种方法可以做到这一点

      • 如果您想在Pig Shell中执行此操作,而不是编写脚本,只需将以下命令
        hadoop fs-ls/user/abc/fun/| sort-k6,7
        保存在
        test.sh
        文件中即可。给它
        chmod+x
        权限,然后从grunt shell内部执行
        sh./test.sh
        以获得所需的结果
      • 假设您想将其包含在
        pig
        脚本中,并使用
        pig-f
        运行它,那么您可以简单地使用
        %declare baseDir hadoop fs-ls/user/abc/fun/| sort-k6,7 | tail-1

      • 有两种方法可以做到这一点

        • 如果您想在Pig Shell中执行此操作,而不是编写脚本,只需将以下命令
          hadoop fs-ls/user/abc/fun/| sort-k6,7
          保存在
          test.sh
          文件中即可。给它
          chmod+x
          权限,然后从grunt shell内部执行
          sh./test.sh
          以获得所需的结果
        • 假设您想将其包含在
          pig
          脚本中,并使用
          pig-f
          运行它,那么您可以简单地使用
          %declare baseDir hadoop fs-ls/user/abc/fun/| sort-k6,7 | tail-1

        sort-k6,7的确切功能。请详细说明。感谢此查询也很有效:hadoop dfs-ls/user/abc/fun/| sortsort-k6,7按6,7列对hadoop dfs-ls的输出进行排序,这列基本上是数据和时间字段。这正是“sort-k6,7”所要做的。请详细说明。谢谢这个查询也很有效:hadoop dfs-ls/user/abc/fun/| sortsort-k6,7按6,7列对hadoop dfs-ls的输出进行排序,6,7列基本上是数据和时间字段。这正是“sort-k6,7”所要做的。请详细说明。谢谢这个查询也很有效:hadoop dfs-ls/user/abc/fun/| sortsort-k6,7按6,7列对hadoop dfs-ls的输出进行排序,6,7列基本上是数据和时间字段。这正是“sort-k6,7”所要做的。请详细说明。谢谢这个查询也很有效:hadoop dfs-ls/user/abc/fun/| sortsort-k6,7按6,7列对hadoop dfs-ls的输出进行排序,6,7列基本上是数据和时间字段。这正是你想要的