在pig中加载多个文件

Question

我是猪的新手.

在pig中,我想加载多个文件,其名称带有时间戳.

如果我在2012/02/12至2012/02/19之间加载文件,则以下工作正常

$START = "12"
$END = "19"
raw_data = load '/table/status/2012/02/{$START,$END}' using Loader()

假设开始日期是2011/12/29,结束日期是2012/01/04,我该如何更改代码行？

谢谢你的帮助!

Answer 1

您可以使用以下globs加载您需要的范围:

raw_data = load '/table/status/{2011/12/{29,3{0,1}},2012/01/0[1-4]}' using Loader()

请注意,Pig使用Hadoop的globbing,因此您可以使用的内容取决于底层HDFS的版本.这在0.20下工作.

如果需要更复杂的范围,那么这种目录枚举方式可能有点不灵活.因此,请考虑使用shell脚本来收集您需要的目录,如此处所示