Tensorflow 为什么在深度学习（回归）中我会得到一个等间距的正方形真实预测图？

我使用Tensorflow 2.0进行回归，在训练损失方面表现不佳。绘制真实值与预测我总是会有这种奇怪的行为：

我有一个有两个输入和一个输出的模型。一个输入是三维体素图像（无，32,32,32,1），第二个输入是数字输入（无，2）。输出也是数字的（无，6）。对于第一个，我使用由“CNN-CNN-MAX…”组成的简单CNN，第二个输入通过一些FC。我连接这两个分支，并通过一些额外的FC。我能够在小批量的情况下进行过拟合，并在批量为32的情况下获得<0.1%的相对误差。我在用亚当。所有层都有LeakyRElu激活。没有正规化。我对输入使用z分数缩放。我采集固定数量的样本，并在每一个历元中洗牌。我尝试了不同的学习率、优化器、架构、均方或平均绝对损失等。拟合过度的样本在真实预测和预测（线性相关）中表现出完美的行为

对于更多的样本，我得到了图片中的行为。我认为这是一种非常“特殊”的行为，但我在网上找不到类似的东西。这种行为的平均相对误差约为10%

有人见过这种行为吗？原因可能是什么？我想我什么都试过了。我原以为这和洗牌有关，但停用并没有帮助。有什么建议吗