Fatal编程技术网
  • nlp/
  • Nlp 用于语言建模的选通卷积后的数据大小

Nlp 用于语言建模的选通卷积后的数据大小

nlp

Nlp 用于语言建模的选通卷积后的数据大小,nlp,convolution,Nlp,Convolution,我最近读了以下关于CNN语言建模的文章 基于门卷积网络的语言建模 在本文中，他们使用下图作为模型。但我不确定卷积图（第三层）。通常，为了将CNN应用于文本嵌入，筛选器大小为（筛选器，嵌入大小）。因此，卷积后的数据大小为（seq_len-filter_h+1，1），且步长==1。见下图 但在这个图中，卷积后数据大小的高度仍然很大（我的意思是大于1）。所以，如果我尝试实现这个，它需要许多填充来扩展列。 事实上我在github找到的。是的，看起来他们对padding=SAME的列也使用了如此多的填充

我最近读了以下关于CNN语言建模的文章

基于门卷积网络的语言建模

在本文中，他们使用下图作为模型。但我不确定卷积图（第三层）。通常，为了将CNN应用于文本嵌入，筛选器大小为
（筛选器，嵌入大小）
。因此，卷积后的数据大小为
（seq_len-filter_h+1，1）
，且
步长==1
。见下图

但在这个图中，卷积后数据大小的高度仍然很大（我的意思是大于1）。所以，如果我尝试实现这个，它需要许多填充来扩展列。 事实上我在github找到的。是的，看起来他们对
padding=SAME
的列也使用了如此多的填充

他们为什么要用这么多填充物？很多填充物对我来说没有意义