映射器在简单的配置单元插入命令中停留在 2%
mappers stuck at 2 % in simple hive insert command
我正在尝试 运行 一个插入命令，该命令内部连接 2 tables，一个 table 中的数据为 34567892，另一个 table 中的数据为 6754289。问题是的，mapper们在完成2%之后还没有开始。我使用了各种属性，例如 set tez.am.resource.memory.mb=16384;
设置 hive.tez.container.size=16384；
设置 hive.tez.java.opts=-Xms13107m；
但仍然没有运气。
有人可以帮我弄清楚该怎么做吗？
通过大量研究，我发现以下属性很有用，运行 我的查询在 2-3 分钟内完成：
- 设置hive.auto.convert.join = false;
- 设置hive.exec.parallel=true;
- 设置hive.exec.compress.output=true;
- 设置hive.exec.parallel=true;
- 设置hive.cbo.enable=true;
- 设置hive.compute.query.using.stats=true;
- 设置hive.stats.fetch.column.stats=true;
- 设置hive.stats.fetch.partition.stats=true;
我正在尝试 运行 一个插入命令，该命令内部连接 2 tables，一个 table 中的数据为 34567892，另一个 table 中的数据为 6754289。问题是的，mapper们在完成2%之后还没有开始。我使用了各种属性，例如 set tez.am.resource.memory.mb=16384; 设置 hive.tez.container.size=16384； 设置 hive.tez.java.opts=-Xms13107m； 但仍然没有运气。 有人可以帮我弄清楚该怎么做吗？
通过大量研究，我发现以下属性很有用，运行 我的查询在 2-3 分钟内完成：
- 设置hive.auto.convert.join = false;
- 设置hive.exec.parallel=true;
- 设置hive.exec.compress.output=true;
- 设置hive.exec.parallel=true;
- 设置hive.cbo.enable=true;
- 设置hive.compute.query.using.stats=true;
- 设置hive.stats.fetch.column.stats=true;
- 设置hive.stats.fetch.partition.stats=true;