Machine learning 如何解释神经网络层的权重分布

Machine learning 如何解释神经网络层的权重分布,machine-learning,tensorflow,neural-network,deep-learning,Machine Learning,Tensorflow,Neural Network,Deep Learning,我设计了一个三层神经网络,其输入是CNN和RNN的串联特征。网络学习的权重值非常小。对此的合理解释是什么?如何解释Tensorflow中的权重直方图和分布?有什么好的资源吗 这是使用tensorboard可视化的三层神经网络的第一个隐藏层的权重分布。如何解读??所有的权重都占零值 这是3层神经网络的第二个隐藏层的权重分布: 如何解释Tensorflow中的权重直方图和分布 嗯,你可能没有意识到,但是你刚刚在ML&AI中问了一个100万美元的问题 模型可解释性是当前研究的一个非常活跃和非常热门

我设计了一个三层神经网络,其输入是CNN和RNN的串联特征。网络学习的权重值非常小。对此的合理解释是什么?如何解释Tensorflow中的权重直方图和分布?有什么好的资源吗

这是使用tensorboard可视化的三层神经网络的第一个隐藏层的权重分布。如何解读??所有的权重都占零值

这是3层神经网络的第二个隐藏层的权重分布:

如何解释Tensorflow中的权重直方图和分布

嗯,你可能没有意识到,但是你刚刚在ML&AI中问了一个100万美元的问题

模型可解释性是当前研究的一个非常活跃和非常热门的领域(想想圣杯之类的东西),这一领域最近被提出,主要是因为深度学习模型在各种任务中取得了(通常是巨大的)成功;这些模型目前只是黑匣子,我们自然会对此感到不舒服

有什么好的资源吗

可能不完全是您所想的那种资源,我们在这里讨论了一个非常合适的话题,但既然您提出了…:

  • 最近(2017年7月)在《科学》杂志上发表的一篇文章很好地概述了当前的现状和研究:(没有文本链接,但谷歌名称和术语会有回报)

  • DARPA本身目前正在运行一个程序

  • 2016年10月30日,NIPS举办了一个研讨会

在更实际的层面上:

  • 神经网络分层相关传播(LRP)工具箱(,,)

  • FairML:审计黑盒预测模型,由快进实验室(,)

  • Geoff Hinton最近(2017年11月)发表的一篇论文

  • SHAP:解释模型预测的统一方法(,作者)

对于初学者来说,这些应该足够了,可以让你大致了解你所问的主题

更新(2018年10月):我在回答这个问题时列出了更详细的实用资源清单