Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/xml/15.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 使用TDCH时Terdata导出失败_Hadoop_Hive_Teradata_Hadoop2 - Fatal编程技术网

Hadoop 使用TDCH时Terdata导出失败

Hadoop 使用TDCH时Terdata导出失败,hadoop,hive,teradata,hadoop2,Hadoop,Hive,Teradata,Hadoop2,在使用TDCH(teradata Connector for hadoop)将20亿条以上的记录从hadoop导出到teradata时,请使用下面带有“batch.insert”的命令 hadoop-jar teradata-connector-1.3.2-hadoop210.jar com.teradata.connector.common.tool.ConnectorExportTool\ -D mapreduce.job.queuename=\ -libjars\ -类名com.terad

在使用TDCH(teradata Connector for hadoop)将20亿条以上的记录从hadoop导出到teradata时,请使用下面带有“batch.insert”的命令

hadoop-jar teradata-connector-1.3.2-hadoop210.jar com.teradata.connector.common.tool.ConnectorExportTool\
-D mapreduce.job.queuename=\
-libjars\
-类名com.teradata.jdbc.TeraDriver\
-网址\
-用户名\
-密码“********”\
-工作型蜂巢\
-源数据库\
-源表\
-文件格式或文件\
-舞台酶\
-舞台舞台舞台剧\
-有针对性\
-nummappers 25\
-批量大小13000\
-方法batch.insert\
-usexviews false\
-keepstagetable true\
-“查询带”
数据已成功加载到阶段表中,但在将阶段表中的记录插入目标表之前,导出作业失败,并显示“连接重置”


有人能帮我找出原因,以及如何解决这个问题吗

需要的不仅仅是“连接重置”。从表面上看,这听起来像是网络中断,但没有日志文件或错误号,很难说清楚。感谢@RobPaller提供您的详细信息。但是,在将映射器计数减少到10后,我的问题得到了解决。没有再次观察到连接重置事件@罗伯帕勒
hadoop jar teradata-connector-1.3.2-hadoop210.jar com.teradata.connector.common.tool.ConnectorExportTool \
-D mapreduce.job.queuename=<queuename> \
-libjars <LIB_JARS_PATH> \
-classname com.teradata.jdbc.TeraDriver \
-url <jdbc_connection_string> \
-username <user_id> \
-password "********" \
-jobtype hive \
-sourcedatabase <hive_src_dbase> \
-sourcetable <hive_src_table> \
-fileformat orcfile \
-stagedatabase <stg_db_in_tdata> \
-stagetablename <stg_tbl_in_tdata> \
-targettable <target_tbl_in_tdata> \
-nummappers 25 \
-batchsize 13000 \
-method batch.insert \
-usexviews false \
-keepstagetable true \
-queryband '<queryband>'