Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/oracle/9.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如果我们在sqoop中使用6映射器从Oracle导入数据,那么sqoop和源之间将建立多少连接_Oracle_Hadoop_Mapreduce_Sqoop_Data Ingestion - Fatal编程技术网

如果我们在sqoop中使用6映射器从Oracle导入数据,那么sqoop和源之间将建立多少连接

如果我们在sqoop中使用6映射器从Oracle导入数据,那么sqoop和源之间将建立多少连接,oracle,hadoop,mapreduce,sqoop,data-ingestion,Oracle,Hadoop,Mapreduce,Sqoop,Data Ingestion,如果我们在sqoop中使用6映射器从Oracle导入数据,那么sqoop和源之间将建立多少连接 每个映射器是单连接还是6个连接。根据sqoop: 同样,不要将平行度提高到数据库可以合理支持的程度以上。将100个并发客户端连接到数据库可能会增加数据库服务器上的负载,从而影响性能 这意味着所有映射程序都将进行并发连接 还要记住,如果您的表只有2条记录,那么sqoop将只使用2个映射器,而不是全部6个映射器 查看my other以了解Sqoop命令中映射器数量的概念 编辑: 所有映射程序都将作为JDB

如果我们在sqoop中使用6映射器从Oracle导入数据,那么sqoop和源之间将建立多少连接

每个映射器是单连接还是6个连接。

根据sqoop:

同样,不要将平行度提高到数据库可以合理支持的程度以上。将100个并发客户端连接到数据库可能会增加数据库服务器上的负载,从而影响性能

这意味着所有映射程序都将进行并发连接

还要记住,如果您的表只有2条记录,那么sqoop将只使用2个映射器,而不是全部6个映射器

查看my other以了解Sqoop命令中映射器数量的概念

编辑: 所有映射程序都将作为JDBC客户端程序进行非活动连接。然后,活动连接(实际上触发SQL查询)将在多个映射器之间共享

-verbose
模式下启动SQOOP导入命令,您将看到日志-

DEBUG manager.OracleManager$ConnCache: Got cached connection for jdbc:oracle:thin:@192.xx.xx.xx:1521:orcl/dev

DEBUG manager.OracleManager$ConnCache: Caching released connection for jdbc:oracle:thin:@192.xx.xx.xx:1521:orcl/dev
有关更多详细信息,请检查和选择方法。

-m指定将作为作业的一部分运行的映射程序任务的数量。
因此,映射程序的数量越多,连接的数量就越多。

这可能取决于管理器,但我想他们可能都会创建一个映射程序。以DirectPostgresSqlManager为例。它通过psql复制到STDOUT为每个映射器创建一个连接 请看一下

如果使用6个映射器,问题是关于连接数。这与地图绘制者的数量及其副作用无关,这是不相关的@RamPrasadG明确提到,所有映射程序都将进行并发连接。我希望你能理解这是什么意思?另外,我从文档部分删除了额外的信息。好的,你的意思是,不管有多少映射程序,都会有一个连接。问题是有多少连接?在这种情况下,您的答案应该是一个?我认为这个答案是相关的,因为它不仅提到每个映射器将与数据库建立一个连接(这是对原始问题的回答),而且还提到记录数和映射器数之间的关系。@JaimeCr:“所有映射器都将进行并发连接”意思是。。所有映射程序之间共享连接。他告诉一个地图绘制者一个连接。。这是我的智慧使然。请注意,在我的评论之后,答案被编辑了