如何在不使用 Cloudera 管理器的情况下在 100 节点集群上安装 Cloudera CDH?

How do I install Cloudera CDH on 100 Node cluster without using Cloudera manager?

如何在不使用 Cloudera 管理器的情况下在 100 节点集群上安装 Cloudera CDH?在集群中的每个节点上手动安装和配置 CDH 是一项艰巨的任务。使用哪些工具和技术来自动化生产中的任务?

CDH 支持基于 Parcel 和基于 Package 的安装。如果您愿意,可以使用 Puppet/Chef 这些类型的配置管理工具来进行基于包的安装。但是,推荐的方式是使用Cloudera Manager 进行基于Parcel 的安装。 Cloudera Manager 提供了很多 OOTB 功能,包括监控、配置版本控制、基于向导的安全配置、滚动升级等。如果您不使用 Cloudera Manager 的原因是因为它不是开源的,请注意

  1. CM有免费版(部分企业功能没有 可用)
  2. CM只是一个管理工具。您的数据仍在存储 在 HDFS 和您的大数据应用程序(配置单元脚本,spark/MapReduce 应用程序等)仍然可以在标准的开源 Hadoop 上运行 平台,没有供应商锁定。