Pytorch Gpt2生成大于1024的文本
我知道GPT2支持的上下文是1024，但我假设他们使用了某种技术来训练和生成比结果更长的文本。此外，我还看到许多长度超过1024的基于gpt2的回购协议培训文本。但是，当我尝试使用run_generation.py生成长度超过1024的文本时，它抛出了一个运行时错误：张量a（1025）的大小必须与非单态维度3的张量b（1024）的大小相匹配。我有以下问题： 既然使用了滑动窗口，难道不可能生成更长的文本吗？ 你能解释一下生成更长的文本需要什么吗？我必须对run_generation.py代码进行哪些更改Pytorch Gpt2生成大于1024的文本,pytorch,huggingface-transformers,Pytorch,Huggingface Transformers,我知道GPT2支持的上下文是1024，但我假设他们使用了某种技术来训练和生成比结果更长的文本。此外，我还看到许多长度超过1024的基于gpt2的回购协议培训文本。但是，当我尝试使用run_generation.py生成长度超过1024的文本时，它抛出了一个运行时错误：张量a（1025）的大小必须与非单态维度3的张量b（1024）的大小相匹配。我有以下问题： 既然使用了滑动窗口，难道不可能生成更长的文本吗？ 你能解释一下生成更长的文本需要什么吗？我必须对run_generation.py代码进行哪