使用tensorflow对象检测API训练自定义模型的问题

我想训练只检测人的自定义模型。
损失没有收敛或收敛到我预期的高值。
这是我的环境。

Tensorflow version : 1.13.1
Pre-trained model : SSD mobilenet v2 quantized 300x300 coco
Learning rate optimizer : Adam optimizer / exponential decay learning rate

我试过这些东西

Add more images
Add gaussian noise for 1/3 of data set
Reduce loss 0.004 to 0.000001 by stages.
Change learning rate optimizer rms prop to adam
change tensorflow version 1.15.0 to 1.13.1

但这些事情并没有解决我的问题。
顺便说一下，我发现有点奇怪。
我的数据集中的一些图像有一些问题。
我准备的所有图像都来自coco数据集。
例如，看起来没有人。
我将注释文件.json（从coco）直接转换为.xml，所以我没有意识到。
最后我在图像中找到了公交车司机，他真的很难辨认。
这样的图像会引起问题吗？
如果没有，如何解决此问题？