Apache pig Pig第三方UDF澄清

Apache pig Pig第三方UDF澄清,apache-pig,Apache Pig,我对猪不熟悉。从pig wiki页面,我了解到piggybank udf和另一个有用的Linkedin数据集DataFu。我还了解到,从Pig0.8开始,piggybank是ApachePig内置UDF的一部分 但是。。我认为大多数piggybank UDF都没有记录在ApachePig中。像丝线海螺 我正在寻找一些日期格式自定义项,它将datetime转换为类似FormatDate的字符串。 我不确定这些UDF已经存在于pig/PIGGABNK中,因为我在文档中找不到它 此外,是否还有其他第三

我对猪不熟悉。从pig wiki页面,我了解到piggybank udf和另一个有用的Linkedin数据集DataFu。我还了解到,从Pig0.8开始,piggybank是ApachePig内置UDF的一部分

但是。。我认为大多数piggybank UDF都没有记录在ApachePig中。像丝线海螺

我正在寻找一些日期格式自定义项,它将datetime转换为类似FormatDate的字符串。 我不确定这些UDF已经存在于pig/PIGGABNK中,因为我在文档中找不到它

此外,是否还有其他第三方udfs java/python可用。请列出那些


非常感谢您的帮助。

这里有几个问题。我会试着把它们都包括进去

储蓄银行单据

遗憾的是,piggybank UDF没有用户手动解释如何在pigscript中使用它们。但是,Pig javadoc包含在piggy bank中实现udf的每个java cas的信息(向下滚动到“contrib:piggy bank”):

日期时间字符串

(假设清管器<0.11)

要转换包含类时间信息的字符串,需要使用UDF。这将使用数据信息和日期时间格式规范获取字符,并将其转换为ISO日期时间格式。一旦采用这种格式,就有几个Piggybank函数在ISO格式的时间上运行:

还要注意,ISO格式的字符串比较会导致日期排序。这意味着您可以对它们应用比较和排序操作,它们的行为就好像它们是时间感知的一样。有关更多背景信息,请参见以下答案:


如果您使用的是0.11plus,则可以使用内置的ToDate()函数:

能否提供字符串/日期格式的特定用例?ie“我有一个具有unix历元值的字段,希望将其转换为'YYYY-MM-DD'格式”。我的主要问题是了解流行的UDF集合,例如DataFu,以及piggybank中的大多数UDF,它们现在是Apache Pig API的一部分,但未在Apache网站中记录。如何访问这些自定义项的文档。例如StringConcat、COUNT_STAR等。我可能遗漏了一些东西。我只是想确认一下,知道是否有办法访问所有可用的自定义项。最后,我正在寻找CHARARRAY字段,它是一种日期表示形式(例如yyyy-MM-dd hh:MM:ss),用于转换为DateTime类型或提取年份、日期、月份、小时等。我通常在寻找方便的date Util UDF。我的要求非常广泛。寻找关于已经可用的UDF的更多信息。值得一提的是,StringConcat不“意味着”直接调用——它在JavaDoc中说“这个方法永远不应该直接使用,使用{@link CONCAT}.”。