Json 如何忽略配置单元中的顶点失败错误

Json 如何忽略配置单元中的顶点失败错误,json,hive,Json,Hive,从配置单元表(其中包含JSON数据)插入时,我收到了“vertex failed”错误。我假设表中的数据可能已损坏。如果发生错误,我想忽略它。在hive中,我怎么能忽略这一点呢?我个人在TEZ engine中遇到过这个问题,尤其是在处理海量数据时,在使用聚合的同时(很可能是使用独特的) 当我通过将执行引擎更改为MR来重新运行相同的查询时,它对我起了作用 SET hive. execution.engine=MR; 如果您在查询中的任何位置使用distinct,只需选中删除它,然后检查是否有帮助

从配置单元表(其中包含JSON数据)插入时,我收到了“
vertex failed
”错误。我假设表中的数据可能已损坏。如果发生错误,我想忽略它。在hive中,我怎么能忽略这一点呢?

我个人在TEZ engine中遇到过这个问题,尤其是在处理海量数据时,在使用聚合的同时(很可能是使用独特的)

当我通过将执行引擎更改为MR来重新运行相同的查询时,它对我起了作用

SET hive. execution.engine=MR;
如果您在查询中的任何位置使用distinct,只需选中删除它,然后检查是否有帮助


谢谢

你在使用Tez引擎吗?是的,我也试过MR,但我也遇到了同样的问题。这次我想忽略这个错误,有没有办法做到这一点,我没有为此使用distinct。谢谢你提供的信息。你能在这里发表你的疑问吗