Hadoop SQOOP2提供了什么,而SQOOP1没有?

Hadoop SQOOP2提供了什么,而SQOOP1没有?,hadoop,sqoop,cloudera-cdh,Hadoop,Sqoop,Cloudera Cdh,根据sqoop.apache.org,sqoop2功能不完整,不应用于生产系统。公平地说,有些人可能想在他们的测试环境中测试SQOOP2的新特性 Cloudera在Sqoop1和Sqoop2()之间有一个功能比较,但是根据页面,Sqoop2没有提供Sqoop1也没有提供的功能 那么,为什么会有人以当前的形式使用sqoop2呢?与SQOOP1相比,它有什么优势吗?如果没有,为什么可以使用?提前谢谢 apachesqoop使用客户机模型,用户需要在客户机上安装Sqoop和连接器/驱动程序。Sqoop

根据sqoop.apache.org,sqoop2功能不完整,不应用于生产系统。公平地说,有些人可能想在他们的测试环境中测试SQOOP2的新特性

Cloudera在Sqoop1和Sqoop2()之间有一个功能比较,但是根据页面,Sqoop2没有提供Sqoop1也没有提供的功能


那么,为什么会有人以当前的形式使用sqoop2呢?与SQOOP1相比,它有什么优势吗?如果没有,为什么可以使用?提前谢谢

apachesqoop使用客户机模型,用户需要在客户机上安装Sqoop和连接器/驱动程序。Sqoop2使用基于服务的模型,其中连接器/驱动程序安装在Sqoop2服务器上。此外,所有配置都需要在Sqoop2服务器上完成

从MR的角度来看,另一个区别是Sqoop提交一个仅映射的作业,而Sqoop2提交一个MapReduce作业,其中映射者将从源传输数据,而Reducer将根据指定的源转换数据。这提供了一个干净的抽象。在Sqoop中,传输和转换都仅由映射者提供


Sqoop2的另一个主要区别是从安全性的角度。管理员将设置到源和目标的连接,而操作员用户使用已建立的连接,因此操作员用户不需要知道有关连接的详细信息。并且操作员将根据需要只能访问部分连接器。

Sqoop2稳定版中预期的一些功能:

  • 一个易于使用的GUI,它是现有命令行的补充
  • 安全修复,如公开共享的密码将被修复
  • 通过更好的日志记录更容易调试
  • 为不遵循JDBC模型的连接器提供支持
  • 目前还没有稳定的sqoop2版本。但是您可以构建最新的项目来测试产品,并提交给开放项目(如果感兴趣)


    参考:


    简单地说:

    根据(截至2017年11月)

    注意:不推荐使用SQOOP2。Cloudera建议使用SQOOP1


    感谢您的回答,其中包括地图和MapReduce差异。这是一个很好的观点,抽象是更干净的。感谢你的答案和来源,我已经接受了你的答案作为最接近我所寻找的,因为功能列表。然而,我想这些是最终的特性——您能详细说明一下目前SQOOP2上存在哪些特性吗?谢谢Hbase连接器(KiteConnector)支持、执行中更新引擎(MR)和Kerberos支持。我们将知道完整的名单只有一次稳定的释放出来。这是我第一次看到后续版本被弃用,但之前的版本是生产稳定的:-很奇怪,他们是否丢失了代码或糟糕的体系结构lol