使用Teradata Hadoop连接器时出现连接拒绝异常

我目前正在使用免费版本的Teradata Hadoop connector Teradata connector 1.3.4将数据加载到Teradata。我正在使用internal.fastload加载数据

数据库版本为14.10

jdbc驱动程序版本是15.0

有时在运行作业时，我会遇到连接被拒绝异常，但在重置加载作业2-3次时，此问题会消失。此外，这与teradata数据库上的负载无关，因为负载非常正常。引发的异常如下所示：

15/10/29 22:52:54 INFO mapreduce.Job: Running job: job_1445506804193_290389
com.teradata.connector.common.exception.ConnectorException: Internal fast load socket server time out
    at com.teradata.connector.teradata.TeradataInternalFastloadOutputFormat$InternalFastloadCoordinator.beginLoading(TeradataInternalFastloadOutputFormat.java:642)
    at com.teradata.connector.teradata.TeradataInternalFastloadOutputFormat$InternalFastloadCoordinator.run(TeradataInternalFastloadOutputFormat.java:503)
    at java.lang.Thread.run(Thread.java:745)
15/10/29 23:39:29 INFO mapreduce.Job: Job job_1445506804193_290389 running in uber mode : false
15/10/29 23:39:29 INFO mapreduce.Job:  map 0% reduce 0%
15/10/29 23:40:08 INFO mapreduce.Job: Task Id : attempt_1445506804193_290389_m_000001_0, Status : FAILED
Error: com.teradata.connector.common.exception.ConnectorException: java.net.ConnectException: Connection refused
    at java.net.PlainSocketImpl.socketConnect(Native Method)
    at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:345)
    at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
    at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
    at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
    at java.net.Socket.connect(Socket.java:589)
    at java.net.Socket.connect(Socket.java:538)
    at java.net.Socket.<init>(Socket.java:434)
    at java.net.Socket.<init>(Socket.java:211)
    at com.teradata.connector.teradata.TeradataInternalFastloadOutputFormat.getRecordWriter(TeradataInternalFastloadOutputFormat.java:301)
    at com.teradata.connector.common.ConnectorOutputFormat$ConnectorFileRecordWriter.<init>(ConnectorOutputFormat.java:84)
    at com.teradata.connector.common.ConnectorOutputFormat.getRecordWriter(ConnectorOutputFormat.java:33)
    at org.apache.hadoop.mapred.MapTask$NewDirectOutputCollector.<init>(MapTask.java:624)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:744)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:340)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:167)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1591)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162)

15/10/29 22:52:54信息mapreduce.作业：运行作业：作业\u 1445506804193\u 290389
com.teradata.connector.common.exception.ConnectorException:内部快速加载套接字服务器超时
位于com.teradata.connector.teradata.TeradataInternalFastloadOutputFormat$InternalFastloadCoordinator.beginLoading（TeradataInternalFastloadOutputFormat.java:642）
位于com.teradata.connector.teradata.TeradataInternalFastloadOutputFormat$InternalFastloadCoordinator.run（TeradataInternalFastloadOutputFormat.java:503）
运行（Thread.java:745）
15/10/29 23:39:29信息mapreduce.作业：作业作业\u 1445506804193\u 290389在uber模式下运行：false
15/10/29 23:39:29信息地图还原。作业：地图0%还原0%
15/10/29 23:40:08信息mapreduce.作业：任务Id:尝试_1445506804193 _290389 _m 000001 _0，状态：失败
错误：com.teradata.connector.common.exception.ConnectorException:java.net.ConnectException:连接被拒绝
位于java.net.PlainSocketImpl.socketConnect（本机方法）
位于java.net.AbstractPlainSocketImpl.doConnect（AbstractPlainSocketImpl.java:345）
位于java.net.AbstractPlainSocketImpl.connectToAddress（AbstractPlainSocketImpl.java:206）
位于java.net.AbstractPlainSocketImpl.connect（AbstractPlainSocketImpl.java:188）
位于java.net.socksocketimpl.connect（socksocketimpl.java:392）
位于java.net.Socket.connect（Socket.java:589）
位于java.net.Socket.connect（Socket.java:538）
位于java.net.Socket。（Socket.java:434）
位于java.net.Socket。（Socket.java:211）
位于com.teradata.connector.teradata.TeradataInternalFastloadOutputFormat.getRecordWriter（TeradataInternalFastloadOutputFormat.java:301）
位于com.teradata.connector.common.ConnectorOutputFormat$ConnectorFileRecordWriter。（ConnectorOutputFormat.java:84）
位于com.teradata.connector.common.ConnectorOutputFormat.getRecordWriter（ConnectorOutputFormat.java:33）
位于org.apache.hadoop.mapred.MapTask$NewDirectOutputCollector。（MapTask.java:624）
位于org.apache.hadoop.mapred.MapTask.runNewMapper（MapTask.java:744）
位于org.apache.hadoop.mapred.MapTask.run（MapTask.java:340）
位于org.apache.hadoop.mapred.YarnChild$2.run（YarnChild.java:167）
位于java.security.AccessController.doPrivileged（本机方法）
位于javax.security.auth.Subject.doAs（Subject.java:422）
位于org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1591）
位于org.apache.hadoop.mapred.YarnChild.main（YarnChild.java:162）

这方面的任何建议都肯定会有所帮助

---

提前感谢。

根本原因：

com.teradata.connector.common.exception.connector异常：内部快速加载套接字服务器超时

内部快速加载服务器套接字超时

使用“internal.fastload”方法运行导出作业时，可能会发生以下错误：内部快速加载套接字服务器超时

发生此错误是因为当前可用的映射任务数小于命令行中通过“-numappers”参数指定的映射任务数

此错误可能在以下情况下发生：

（1） Hadoop集群中还有一些其他map/reduce作业同时运行，因此没有足够的资源为导出作业分配指定的map任务

（2） 映射任务的最大数量小于Hadoop集群中导出作业的现有映射任务和预期映射任务

出现上述错误时，请尝试增加Hadoop群集的最大映射任务数，或减少导出作业的映射任务数

有一个很好的故障排除PDF可用@

如果您遇到任何类型的错误，请查看上面的PDF并将其修复

---

如果必须对其他贴图进行微调，请查看它们

检查服务是否在您尝试连接的端口上运行&您有足够的权限连接到该端口（例如，防火墙可能会阻止您访问特定端口上的服务）。服务正在运行。重置后作业已成功完成。唯一的问题是我不确定为什么会出现间歇性故障