Python 3.x 将GPT-2与您自己的词典一起使用

我正在使用自定义编码和自定义vocab.bpe文件培训gpt-2。但是，当我使用gpt-2生成文本时，输出标记的范围超出了我的新编码范围。

---

那么我怎样才能让gpt-2为我工作呢？

你能告诉我们你是如何解决的吗？我正在尝试为另一种语言创建一个新的

encoder.json

和

vocab.bpe

文件，但我还找不到任何有用的东西。非常感谢。