在 hadoop 中的 Pig 中使用正则表达式

Question

我有一个包含用户 (tweetid, tweets, userid) 的 CSV 文件。

396124436476092416,"Think about the life you livin but don't think so hard it hurts Life is truly a gift, but at the same it is a curse",Obey_Jony09
396124436740317184,"“@BleacherReport: Halloween has given us this amazing Derrick Rose photo (via @amandakaschube, @ScottStrazzante) http://t.co/tM0wEugZR1” yes",Colten_stamkos
396124436845178880,"When's 12.4k gonna roll around",Matty_T_03

现在我需要编写一个 Pig 查询 returns 所有包含单词 'favorite' 的推文，按推文 ID 排序。

为此，我有以下代码： A = load '/user/pig/tweets' as (line); B = FOREACH A GENERATE FLATTEN(REGEX_EXTRACT_ALL(line,'(.*)[,”:-](.*)[“,:-](.*)')) AS (tweetid:long,msg:chararray,userid:chararray); C = filter B by msg matches '.*favorite.*'; D = order C by tweetid;

这里的正则表达式如何以所需方式拆分输出？

我尝试使用 REGEX_EXTRACT 而不是 REGEX_EXTRACT_ALL，因为我发现它更简单，但除了仅提取推文外无法使代码正常工作：

B = FOREACH A GENERATE FLATTEN(REGEX_EXTRACT(line,'[,”:-](.*)[“,:-]',1)) AS (msg:chararray);

上面的别名让我得到推文，但是如果我使用 REGEX_EXTRACT 得到 tweet_id，我没有得到想要的 o/p：B = FOREACH A GENERATE FLATTEN(REGEX_EXTRACT(line,'(.*)[,”:-]',1)) AS (tweetid:long);

(396124554353197056,"Just saw @samantha0wen and @DakotaFears at the drake concert #waddup")
(396124554172432384,"@Yutika_Diwadkar I'm just so bright ")

(396124554609033216,"@TB23GMODE i don't know, i'm just saying, why you in GA though? that's where you from?")

(396124554805776385,"@MichaelThe_Lion me too ")

(396124552540852226,"Happy Halloween from us 2 @maddow &amp; @Rev_AlSharpton :) http://t.co/uC35lDFQYn")
grunt>

请帮忙。

Answer 1

无法发表评论，但通过查看和测试，您在正则表达式中的引号似乎与 csv 中的引号不同。

" 在 csv

” 在正则表达式代码中。

要获得 tweetid 试试这个：

B = FOREACH A GENERATE FLATTEN(REGEX_EXTRACT(line,'.*(,")',1))  AS (tweetid:long);

在 hadoop 中的 Pig 中使用正则表达式

Using Regex in Pig in hadoop

regex

csv

hadoop

apache-pig