Pytorch 在BERT的顶部添加一个RNN层

我的伯特类模型如下

class BertModel(nn.Module):
    def __init__(self, num_labels):
        super().__init__()
        self._bert = BertModel.from_pretrained('bert-base-cased')

        for param in self._bert.parameters():
           param.requires_grad = False

        self._head = nn.Linear(768, num_labels, batch_first=True)
        
    def forward(self, batch, mask):
        b = self._bert(input_ids=batch["input_ids"], attention_mask=batch["attention_mask"])
        pooler = b.last_hidden_state[:, mask]
        return self._head(pooler)

我想在最后一个线性层之前添加一个RNN层。我需要做什么改变？将最后一个隐藏状态提供给nn.RNN层是否足够