像包一样扁平元组

Question

我的数据集如下所示:

( A, (1,2) )
( B, (2,9) )

我想"压扁"Pig中的元组,基本上重复内元组中找到的每个值的每条记录,这样预期的输出是:

( A, 1 )
( A, 2 )
( B, 2 ) 
( B, 9 )

我知道当元组(1,2)和(2,9)是袋子时这是可能的.

Answer 1

你的洞察力很好; 它可以通过将元组转换成一个袋子来实现.我们想要的模式是:{a:chararray,{(chararray)}}例如:(A,{(1),(2)})

以下是您的问题的解决方案:

A = LOAD 'data.txt' AS (a:chararray,b:(b1:chararray,b2:chararray));
B = FOREACH A GENERATE a, TOBAG(b.b1,b.b2);
C = FOREACH B GENERATE a, FLATTEN($1);

神奇的部分是TOBAG运营商.