带有 ResultSerialization 的多表输入 MapReduce

Question

我知道在我使用单个输入的情况下会使用结果序列化 table。

TableMapReduceUtil.initTableMapperJob( tableName, scan, Mapper.class, Text.class, Result.class, job );

有什么想法可以在使用 MultiTableInput（多次扫描作为输入）时实现同样的效果吗？

TableMapReduceUtil.initTableMapperJob( scans, SummaryMapper.class, Text.class, Result.class, job );

我在运行 MR 作业时收到以下错误：

INFO mapreduce.Job: Task Id : attempt_1492475015807_0003_m_000003_2, Status : FAILED Error: java.lang.NullPointerException at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask.java:988) at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:391) at org.apache.hadoop.mapred.MapTask.access0(MapTask.java:80) at org.apache.hadoop.mapred.MapTask$NewOutputCollector.(MapTask.java:675) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:747) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:340) at org.apache.hadoop.mapred.YarnChild.run(YarnChild.java:168) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614) at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163)

Answer 1

我能够度过这个阶段。我在作业配置中明确指定了 ResultSerialization class（但必须在创建作业实例之前完成）。

config.setStrings( "io.serializations", config.get( "io.serializations" ),
                    MutationSerialization.class.getName(), ResultSerialization.class.getName(),
                    KeyValueSerialization.class.getName() );

这是在使用单个输入初始化映射器时指定的方式 table。如果我对此有任何进一步的发现，我一定会更新这个答案，以便它可能对其他可能需要它的人有用。

带有 ResultSerialization 的多表输入 MapReduce

MultitableInput MapReduce with ResultSerialization

hadoop

hbase

mapreduce