Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/mongodb/12.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop map/reduce显示错误:com.mongodb.connection.SslSettings$Builder.context(Ljavax/net/ssl/SSLContext;)_Java_Mongodb_Hadoop_Mapreduce - Fatal编程技术网

Hadoop map/reduce显示错误:com.mongodb.connection.SslSettings$Builder.context(Ljavax/net/ssl/SSLContext;)

Hadoop map/reduce显示错误:com.mongodb.connection.SslSettings$Builder.context(Ljavax/net/ssl/SSLContext;),java,mongodb,hadoop,mapreduce,Java,Mongodb,Hadoop,Mapreduce,我定期运行map/reduce作业,最近我收到了这样的日志: 17/09/27 10:38:03信息地图还原。作业:地图27%还原0% 17/09/27 10:38:07信息mapreduce。作业:任务Id: 尝试\u 1494368272823\u 5583\u m\u 000014\u 0,状态:失败 错误:com.mongodb.connection.SslSettings$Builder.context(Ljavax/net/ssl/SSLContext;)Lcom/mongodb/c

我定期运行map/reduce作业,最近我收到了这样的日志:

17/09/27 10:38:03信息地图还原。作业:地图27%还原0%
17/09/27 10:38:07信息mapreduce。作业:任务Id:
尝试\u 1494368272823\u 5583\u m\u 000014\u 0,状态:失败 错误:com.mongodb.connection.SslSettings$Builder.context(Ljavax/net/ssl/SSLContext;)Lcom/mongodb/connection/SslSettings$Builder
17/09/27 10:38:08信息mapreduce。作业:映射30%减少0%
17/09/27 10:38:10信息mapreduce。工作:映射30%减少6%
17/09/27 10:38:43信息地图还原。作业:地图32%还原6%
17/09/27 10:38:45信息地图还原。工作:地图33%还原6%
17/09/27 10:38:46信息地图还原。工作:地图33%还原7%
17/09/27 10:38:49信息地图还原。工作:地图35%还原7%
17/09/27 10:38:52信息地图还原。工作:地图35%还原8%

17/09/27 10:39:15信息mapreduce.作业:任务Id:尝试--U 14943682723--U 5583--U m_000008--U 0,状态:失败 错误:com.mongodb.connection.SslSettings$Builder.context(Ljavax/net/ssl/SSLContext;)Lcom/mongodb/connection/SslSettings$Builder
容器被应用程序管理员杀死。
集装箱在要求时被杀死。退出代码为143
容器以非零退出代码143退出

17/09/27 10:39:16信息地图还原。工作:地图40%还原10%

最后是:

17/09/27 10:44:12信息mapreduce.作业:作业作业--U 149436822823--U 5583失败,状态失败,原因是:任务失败任务--U 149436822823--U 5583--U M000025 作业失败,因为任务失败。failedMaps:1 failedReduces:0

17/09/27 10:44:12信息mapreduce作业:计数器:41 文件系统计数器
文件:读取的字节数=0
文件:写入的字节数=5481350
文件:读取操作数=0
文件:大读取操作数=0
文件:写入操作数=0
HDFS:读取的字节数=3430808431
HDFS:写入的字节数=2495944
HDFS:读取操作数=5540
HDFS:大读取操作数=0
HDFS:写入操作数=118 作业计数器
失败的映射任务=21
终止映射任务=9
减少任务=1
已启动的地图任务=47
已启动的减少任务=1
其他本地地图任务=20
数据本地地图任务=26
机架本地地图任务=1
所有地图在占用的插槽中花费的总时间(毫秒)=34635900
占用的插槽中所有减少项花费的总时间(毫秒)=3707820
所有map任务花费的总时间(毫秒)=3463590
所有reduce任务花费的总时间(ms)=370782
所有映射任务占用的总vcore毫秒=3463590
所有reduce任务占用的vcore总毫秒数=370782
所有映射任务占用的总MB毫秒=34635900000
所有reduce任务占用的总MB毫秒=370782000
Map Reduce框架
地图输入记录=18
地图输出记录=9722
映射输出字节=2572358
映射输出物化字节=2608684
输入拆分字节=3387
合并输入记录=0
溢出记录=9722
失败的洗牌=0
合并地图输出=0
GC经过的时间(ms)=62408
CPU使用时间(毫秒)=1809020
物理内存(字节)快照=56575217664
虚拟内存(字节)快照=155695132672
提交的堆总使用率(字节)=60439920640
文件输入格式计数器
字节读取=0
MapReduce失败,错误为1

有时工作实际上是成功完成的。有时是如上所述。日志中没有提供更多信息。我将感谢任何关于到底发生了什么导致这次失败的见解?据我所知,这似乎不是超时或内存问题。群集未过载(我已检查)


编辑:在进一步调试之后,当我连接到MongoDB时,“connect”方法似乎出现了问题。但为什么会发生这种情况?当我尝试手动连接时,连接是成功的,并且在某些情况下可以正常工作。

我想您使用的是
MongoClient
实例

在这种情况下,请验证与
SSLContext
相关的参数是否如以下参考中所述设置:

“Java安全套接字扩展(JSSE)参考指南”将是一本很好的读物,以了解有关
SSLContext
的更多信息:

您将找到大量关于创建
SSLContext
实例的示例

否则,您很可能会遇到以下问题:

摘自该链接

一个旧版本的mongodb驱动核心正在被引入


请清理您的依赖关系并使用最新的。

谢谢您的回答。你为什么认为这会解决问题?为什么将SSL设置为“true”将解决此问题?另外,如果错误的mongodb驱动程序被拉出来,我猜它会100%失败,不是吗?有时它会失败,有时它会通过,所以这似乎是另一个问题…@Idos,这些是我将根据日志文件中的错误进行调查的方向,以确保一切正常。我相信在执行环境中可能有多个版本的依赖项jar。你有没有查过