Sqoop 2 提供了哪些 Sqoop 1 没有提供的内容?
What does Sqoop 2 provide that Sqoop 1 does not?
根据 sqoop.apache.org,Sqoop 2 功能不完整,不应用于生产系统。很公平,有些人可能想在他们的测试环境中测试 Sqoop 2 的新功能。
Cloudera 对 Sqoop 1 和 Sqoop 2 进行了功能比较 (https://www.cloudera.com/documentation/enterprise/5-8-x/topics/cdh_ig_sqoop_vs_sqoop2.html),但根据该页面,没有什么是 Sqoop 2 提供而 Sqoop 1 不提供的。
那么为什么会有人使用当前形式的 Sqoop 2?与 Sqoop 1 相比,它有什么优势吗?如果不是,为什么可以使用?提前致谢!
Apache Sqoop 使用客户端模型,用户需要在客户端上安装 Sqoop 和 connectors/drivers。 Sqoop2 使用基于服务的模型,其中 connectors/drivers 安装在 Sqoop2 服务器上。此外,所有配置都需要在 Sqoop2 服务器上完成。
从 MR 的角度来看,另一个区别是 Sqoop 仅提交一个 Map 作业,而 Sqoop2 提交一个 MapReduce 作业,其中 Mappers 将从源传输数据,而 Reducers 将根据源转换数据指定的。这提供了一个干净的抽象。在 Sqoop 中,传输和转换都仅由 Mappers 提供。
Sqoop2 的另一个主要区别是从安全角度来看。管理员将设置到源和目标的连接,而操作员用户使用已经建立的连接,因此操作员用户不需要知道有关连接的详细信息。根据需要,操作员将只能访问部分连接器。
Sqoop2 稳定版中预期的一些功能:
- 一个简单易用的 GUI,它是对现有命令行的补充。
- 公开共享密码等安全修复
- 更好的日志记录更容易调试。
- 为不遵循 JDBC 模型的连接器提供支持。
目前没有可用的 sqoop 2 稳定版本。但您可以构建最新的项目来测试产品并提交到开放项目(如果有兴趣)。
参考:
快速说明:
根据 Cloudera(截至 2017 年 11 月)
Note: Sqoop 2 is being deprecated. Cloudera recommends using Sqoop 1.
根据 sqoop.apache.org,Sqoop 2 功能不完整,不应用于生产系统。很公平,有些人可能想在他们的测试环境中测试 Sqoop 2 的新功能。
Cloudera 对 Sqoop 1 和 Sqoop 2 进行了功能比较 (https://www.cloudera.com/documentation/enterprise/5-8-x/topics/cdh_ig_sqoop_vs_sqoop2.html),但根据该页面,没有什么是 Sqoop 2 提供而 Sqoop 1 不提供的。
那么为什么会有人使用当前形式的 Sqoop 2?与 Sqoop 1 相比,它有什么优势吗?如果不是,为什么可以使用?提前致谢!
Apache Sqoop 使用客户端模型,用户需要在客户端上安装 Sqoop 和 connectors/drivers。 Sqoop2 使用基于服务的模型,其中 connectors/drivers 安装在 Sqoop2 服务器上。此外,所有配置都需要在 Sqoop2 服务器上完成。
从 MR 的角度来看,另一个区别是 Sqoop 仅提交一个 Map 作业,而 Sqoop2 提交一个 MapReduce 作业,其中 Mappers 将从源传输数据,而 Reducers 将根据源转换数据指定的。这提供了一个干净的抽象。在 Sqoop 中,传输和转换都仅由 Mappers 提供。
Sqoop2 的另一个主要区别是从安全角度来看。管理员将设置到源和目标的连接,而操作员用户使用已经建立的连接,因此操作员用户不需要知道有关连接的详细信息。根据需要,操作员将只能访问部分连接器。
Sqoop2 稳定版中预期的一些功能:
- 一个简单易用的 GUI,它是对现有命令行的补充。
- 公开共享密码等安全修复
- 更好的日志记录更容易调试。
- 为不遵循 JDBC 模型的连接器提供支持。
目前没有可用的 sqoop 2 稳定版本。但您可以构建最新的项目来测试产品并提交到开放项目(如果有兴趣)。
参考:
快速说明:
根据 Cloudera(截至 2017 年 11 月)
Note: Sqoop 2 is being deprecated. Cloudera recommends using Sqoop 1.