在 RHEL 7 上安装 Apache Bigtop

Apache Bigtop Installation on RHEL 7

我正在寻求帮助,我的任务是在工作中建立一个 Hadoop 集群。我在家里的笔记本电脑上使用开源堆栈完成了单节点的工作(我试图坚持使用开源 Apache 堆栈以避免任何许可成本。现在我们对 Cloudera 或 HortonWorks 没有兴趣。)。

我遇到了 Apache BigTop 堆栈 (1.2.0) 并在那里闲逛。现在,我仍在努力思考它提供的内容(我还没有找到对 Hadoop/Spark 版本等的引用)。我可以在以下方面获得一些帮助吗:

  1. 1.2.0版本提供的Hadoop/Spark/其他工具有哪些版本?

  2. 是否有关于在 RHEL 7 下从头开始安装完整 Hadoop/Spark 集群的良好参考?我有 12 个服务器,我计划做 2 个名称节点和 10 个数据节点。 BigTop 适合这个吗,还是我应该只安装每个包并手动配置?

  3. 我发现了以下内容:

https://cwiki.apache.org/confluence/display/BIGTOP/How+to+install+Hadoop+distribution+from+Bigtop+1.2.0

这看起来很有希望,但它适用于 CentOS 7,我知道它很相似,但不完全相同。有人可以建议我如何修改它以在 RHEL 7 下工作吗?我找到了回购协议,但是 none 对于 RHEL....

  1. 官方 Apache 页面上的文档看起来很薄,或者我可能只是没有找到正确的位置...是否有完整集群安装的良好参考链接?

感谢所有能提供帮助的人,我真的很感激!

What versions of Hadoop/Spark/other tools does the 1.2.0 version provide?

查看我们的 1.2.0 版本文档:

https://cwiki.apache.org/confluence/display/BIGTOP/Bigtop+1.2.0+Release

您将立即获得 hadoop 2.7.3 和 spark 2.1.0。我们在 S3 上提供了可安装的工件供您测试功能

https://www.apache.org/dist/bigtop/bigtop-1.2.0/repos/centos7/bigtop.repo

注意:我们将在 2017 年 10 月 15 日有效地进行 S3 迁移。之后我们将进行相应的更改。如果您想尽快尝试一下。请将 baseurl 更改为:

http://repos.bigtop.apache.org/releases/1.2.0/centos/7/x86_64

Is there a good reference on installing a full Hadoop/Spark cluster from scratch under RHEL 7? I have 12 servers, I plan on doing 2 namenodes and 10 datanodes. Is BigTop appropriate for this, or should I just install each package and configure manually?

RHEL 和 CentOS 应该非常相似。我建议:

  • 直接在 RHEL 上试用我们的 CentOS 软件包,看看是否可行。我在生产环境中的 RHEL 6 上使用了 Bigtop CentOS 6 软件包,它的效果非常好。
  • 如果以上方法不起作用,Bigtop 是一个完全开源的解决方案,供您构建自己的 Hadoop 发行版。您可以根据所需的 Distro 构建整个堆栈。从头开始。我们精心设计的工具和码头化框架来支持它。如果您要这样做,请在 user@bigtop.apache.org 邮件列表中提出您的需求。我们很乐意提供帮助。

I found the following: https://cwiki.apache.org/confluence/display/BIGTOP/Bigtop+1.2.0+Release

是的。您正在寻找合适的文档。这正是我在上面提到的:虽然它适用于 CentOS 7,但您可以在 RHEL 7 上尝试 repo。