Tensorflow 使用Transformer进行文本摘要
我使用huggingface transformer模型进行文本摘要。 目前我正在测试不同的模型，如T5和飞马座。 现在，这些模型被训练用来将大的文本总结成非常短的文本，比如最多两个句子。现在我有了任务，我想要摘要，大约是文本的一半大小，因此生成的摘要对于我来说太小了 我现在的问题是，是否有一种方法可以告诉模型前面有另一个句子？ 有点类似于有状态RNN中的逻辑（尽管我知道它们的工作方式完全不同）。 如果是的话，我可以在句子上方的小窗口中总结出之前的内容 这只是我的想法吗？我不敢相信，我是唯一一个想写更短的摘要的人，而不仅仅是一两句长的摘要Tensorflow 使用Transformer进行文本摘要,tensorflow,pytorch,huggingface-transformers,transformer,summarization,Tensorflow,Pytorch,Huggingface Transformers,Transformer,Summarization,我使用huggingface transformer模型进行文本摘要。 目前我正在测试不同的模型，如T5和飞马座。 现在，这些模型被训练用来将大的文本总结成非常短的文本，比如最多两个句子。现在我有了任务，我想要摘要，大约是文本的一半大小，因此生成的摘要对于我来说太小了 我现在的问题是，是否有一种方法可以告诉模型前面有另一个句子？ 有点类似于有状态RNN中的逻辑（尽管我知道它们的工作方式完全不同）。 如果是的话，我可以在句子上方的小窗口中总结出之前的内容 这只是我的想法吗？我不敢相信，我是唯一一个
谢谢为什么不转移学习？就你的具体课文和总结对他们进行培训 我对T5进行了超过5个历元的特定限定文本培训，并取得了非常好的效果。我从这里根据自己的需要采用了代码
如果您有特定的培训问题，请告诉我。但是您可以使用超过原始序列长度限制的方法进行转移学习吗？是的，您可以。如果512不适合，您可以根据google文档进行更改：“您也可以使用不同的批大小进行微调。我们根据批中令牌的总数设置批大小。默认情况下，批使用512的序列长度。”来源：谢谢，我将查看您的nb！