从 HiveQL 中的 url 字段解析和提取字段

Question

我从 table:

那里获得了这些数据

id,uri,date_entered,p_id,ads_id
1,http://vegiefood.com/path1/p.php?keyword=veganway&amp;country=france#Ref1,30/JUN/2016,PVEGIEFOOD,GOOGLEADSENSE
2,http://techteacher.com/path1/p.php?keyword=datascience&amp;country=norway#Ref1,15/JAN/2018,PTECHTEACHER,GOOGLEADSENSE

我想转换或创建一个包含以下字段的新分区 table：字段：id、日期、pub_id、advertiser_id、关键字分区字段：主机、国家

关键字=素食主义

主机=vegiefood.com

国家=法国

然后得到一个像这样的table

+-------------+---------------+-----------------+-----------------------+------------------+------------------+------------------+
| id          | date          |  pub_id         |       advertiser_id   |  keyword         |   host           | country          |
+-------------+---------------+-----------------+-----------------------+------------------+------------------+------------------+
| 1           | 30/JUN/2016   | PVEGIEFOOD      | GOOGLEADSENSE         | veganway         | vegiefood.com    | france           |
| 2           | 15/JAN/2018   | PTECHTEACHER    | GOOGLEADSENSE         | datascience      | techteacher.com  | norway           |
+-------------+---------------+-----------------+-----------------------+------------------+------------------+------------------+

我对分区 table 或从另一个 table 加载数据没有任何问题，但是，我的问题是我还没有解析 uri 字段 [http://vegiefood.com/path1/p.php?keyword=veganway&country=france#Ref1]。我已经用 [regexp_extract(str, regexp[ idx]) 尝试过这个 - 提取一个匹配 regexp]

的组

有人可以帮助我或提供一些有关正则表达式或其他函数的线索来解析 uri 吗？

提前致谢。

Answer 1

使用内置函数parse_url_tuple提取所需字段。由于显示的 url 为非标准格式，您可能需要执行额外的 split 操作才能获取国家/地区值。否则你可以在函数中使用 QUERY:country。

select t.*,parsed.host,parsed.keyword,split((split(query,';')[1]),'=')[1]
from tbl t
lateral view parse_url_tuple(uri,'HOST','QUERY:keyword','QUERY') parsed as host,keyword,query

从 HiveQL 中的 url 字段解析和提取字段

Parse and extract fields from an url field in HiveQL

regex

hive

partitioning

hiveql