在hadoop中,我只想在每个节点上执行自己自定义的程序
In hadoop, I just want to execute my own custom program on each node
是的,我想在每个 hadoop 节点上 运行 我的自定义程序。
我想部署 No mapper 和 reducer。
它就像分布式计算系统,不像 mapreduce 那样工作(但在内部使用 hdfs)。
我该怎么办?
如果您不想使用 map reduce,您可以使用 Apache tez https://tez.apache.org。您只需要像在 MR 中一样在 Apache yarn 上安装 Apache tez。
MapReduce 和 Tez 作业都使用 YARN(又一个资源协商器)在所谓的容器中在集群上分布和执行。您也可以自己使用 YARN 来 运行 您自己的工作。请查看 Hadoop Architecture Overview 以获得高级概述。
是的,我想在每个 hadoop 节点上 运行 我的自定义程序。 我想部署 No mapper 和 reducer。 它就像分布式计算系统,不像 mapreduce 那样工作(但在内部使用 hdfs)。 我该怎么办?
如果您不想使用 map reduce,您可以使用 Apache tez https://tez.apache.org。您只需要像在 MR 中一样在 Apache yarn 上安装 Apache tez。
MapReduce 和 Tez 作业都使用 YARN(又一个资源协商器)在所谓的容器中在集群上分布和执行。您也可以自己使用 YARN 来 运行 您自己的工作。请查看 Hadoop Architecture Overview 以获得高级概述。