Pytorch 填充后如何生成注意面具？

在将第二和第三维度上有4个维度[4，5，129，24]的张量a填充到[4，6，136，24]之后，我如何生成它的“注意面具”

我想出了两个解决方案：

• 第一种方法是创建一个零张量a_注意，就像一个_垫，然后遍历a以填充1到a_注意中的相关位置
• 第二个是在填充过程中创建注意遮罩。但这似乎有点麻烦，因为初始张量a有4维

有没有什么方法可以在填充后更有效地生成注意力面具？有API吗

---

非常感谢。

您可以尝试使用《拥抱脸》中的变形金刚库，它提供了一个非常有用的工具

---

我建议您浏览整个快速入门，但原则上，您对它感兴趣。

对不起，我忘了说我想在collate_fn（）中生成注意掩码。我想贴上批次数据标签。非常感谢。最后，我通过在填充过程中创建注意遮罩实现了这一点。您使用了Transformers库吗？顺便说一句，我还在collate函数中使用padding=True属性，一切都很顺利。