Jdbc 对于一个有3200万行的表,Sqoop导入运行25小时。

Jdbc 对于一个有3200万行的表,Sqoop导入运行25小时。,jdbc,sql-server-2008-r2,sqoop,Jdbc,Sql Server 2008 R2,Sqoop,我尝试Sqoop一些包含3000多万行的表,大约需要91241秒,也就是大约25小时才能完成映射任务。详情如下: 14/01/01 08:37:12信息mapreduce.ImportJobBase:在91241.711秒(2.4935 MB/秒)内传输222.1807 GB 14/01/01 08:37:12信息mapreduce.ImportJobBase:检索到32419937条记录 可能存在什么问题?如何提高速度 使用表内基于主键的sqoop导入(按最小和最大限制范围),从单个表进行多个

我尝试Sqoop一些包含3000多万行的表,大约需要91241秒,也就是大约25小时才能完成映射任务。详情如下:


14/01/01 08:37:12信息mapreduce.ImportJobBase:在91241.711秒(2.4935 MB/秒)内传输222.1807 GB
14/01/01 08:37:12信息mapreduce.ImportJobBase:检索到32419937条记录


可能存在什么问题?如何提高速度

使用表内基于主键的sqoop导入(按最小和最大限制范围),从单个表进行多个导入。

13/12/31 07:16:38信息mapreduce。作业:映射0%减少0%14/01/01 08:37:12信息mapreduce。作业:映射100%减少0%14/01/01 08:37:12信息mapreduce。作业:作业\u 13863668977819\u 0274已成功完成14/01/0108:37:12信息mapreduce.作业:计数器:27文件系统计数器文件:读取字节数=0文件:写入字节数=89714文件:读取操作数=0文件:大型读取操作数=0文件:写入操作数=0 HDFS:读取字节数=87 HDFS:写入字节数=238564739552 HDFS:读取操作数=4 HDFS:大型读取操作数=0 HDFS:写入操作数=2启动的作业计数器映射任务=1其他本地映射任务=1所有贴图在占用插槽中花费的总时间(ms)=91232432所有贴图在占用插槽中花费的总时间(ms)=0Map Reduce Framework映射输入记录=32419937映射输出记录=32419937输入分割字节=87溢出记录=0失败的无序排列=0合并的映射输出=0 GC所用时间(毫秒)=639519 CPU所用时间(毫秒)=12879390物理内存(字节)快照=286007296虚拟内存(字节)快照=1572376576提交的堆使用总量(字节)=95420416文件输入格式计数器字节读取=0文件输出格式计数器字节写入=238564739552 14/01/01 08:37:12信息mapreduce.ImportJobBase:在91241.711秒(2.4935 MB/秒)内传输222.1807 GB 14/01/01 08:37:12信息mapreduce.ImportJobBase:检索到32419937条记录。