MAPREDUCE - 将数据批量加载到 HBASE TABLE
MAPREDUCE - BULK LOADING DATA INTO HBASE TABLE
为什么我们只使用驱动程序 class 和映射程序 class 而我们不使用减速器 class?
如果您想对批量加载的数据进行任何聚合,可以使用 Reducer。
在正常情况下,如果您只是加载而没有任何聚合。那么只有 mapper 作业就足够了。
例如:
案例 1:
如果您正在阅读 CSV 并将 hbase table 中的所有单词加载到相应的列中,即没有像 wordcount 这样的聚合。那么只有 mapper 作业就足够了。
案例 2:
如果您正在阅读 csv 并想进行字数统计之类的聚合(这是聚合),然后将其加载到 hbase 中,那么您需要 reducer。
希望澄清..
为什么我们只使用驱动程序 class 和映射程序 class 而我们不使用减速器 class?
如果您想对批量加载的数据进行任何聚合,可以使用 Reducer。
在正常情况下,如果您只是加载而没有任何聚合。那么只有 mapper 作业就足够了。
例如:
案例 1:
如果您正在阅读 CSV 并将 hbase table 中的所有单词加载到相应的列中,即没有像 wordcount 这样的聚合。那么只有 mapper 作业就足够了。
案例 2:
如果您正在阅读 csv 并想进行字数统计之类的聚合(这是聚合),然后将其加载到 hbase 中,那么您需要 reducer。
希望澄清..