Tensorflow Textsum-与ref文件相比，解码结果不正确

在对我自己的数据集执行训练时，可以看到这个问题，该数据集通过data_convert_example.py转换为二进制。经过一周的训练，我得到的解码结果在比较decode和ref文件时没有意义

如果有人已经取得了成功，并且使用他们自己的数据获得了与Textsum自述中发布的结果类似的结果，我很想知道什么对你有效……环境、tf构建、文章数量

我目前还没有幸运的0.11，但已经得到了一些0.9的结果，但是解码结果与下面显示的结果相似，我甚至不知道它们是从哪里来的

我目前正在运行Ubuntu 16.04、TF0.9、CUDA 7.5和CuDnn 4。我尝试了TF0.11，但处理了其他问题，所以我回到了0.9。解码结果似乎是从有效文章生成的，但参考文件和解码文件标记没有相关性

如果有人能提供任何帮助或指导，我们将不胜感激。否则，如果我发现了什么，我会在这里发布

最后几个问题。关于引用的vocab文件。它需要按词频排序吗？在生成它时，我从来没有按照这些思路执行过任何操作，只是不确定这是否也会抛出一些东西

最后，在生成数据时，我假设应该将培训数据文章分解成更小的批次。我把文章分成多个文件，每个文件有100篇文章。这些被命名为数据-0、数据-1等等。我想这是我的正确假设？我还将所有的vocab保存在一个文件中，似乎没有抛出任何错误

上述假设是否也正确

下面是一些ref和decode结果，您可以看到这些结果非常奇怪，似乎没有相关性

解码： 参考：

---

我自己来回答这个问题。这里的问题似乎是缺乏训练数据。最后，我确实对我的vocab文件进行了排序，但是这似乎不是必需的。这样做的原因是，允许最终用户根据自己的意愿将vocab单词限制在20万个左右

上述问题的最大原因仅仅是缺乏数据。当我在最初的帖子中运行培训时，我正在处理40k+的文章。我认为这已经足够了，但显然还不够，当我深入代码并更好地理解所发生的事情时，这一点就更加明显了。最后，我将文章数量增加到130多万篇，我在980GTX上训练了大约一周半，平均损失为1.6到2.2篇。我看到了更好的结果

我在学习的过程中了解到了这一点，但我在高于平均损失的情况下停了下来，因为我进行的一些阅读表明，当你对“测试”数据进行“评估”时，你的平均损失应该接近你在训练中看到的。这有助于确定当它们相距较远时，您是否接近过度合身。我正在学习这一点，但对我来说，这似乎是合乎逻辑的

---

最后一个我用艰苦的方式学到的音符是。确保升级到最新的0.11 Tensorflow版本。我最初使用0.9进行培训，但当我想知道如何导出tensorflow的模型时，我发现该repo中没有export.py文件。当我升级到0.11时，我发现检查点文件结构似乎在0.11中发生了变化，我需要再花2周的时间来训练。所以我建议升级，因为他们已经解决了我在RC期间看到的一些问题。我仍然需要设置is_tuple=false，但除此之外，一切都很顺利。希望这对别人有帮助。

我自己来回答这个问题。这里的问题似乎是缺乏训练数据。最后，我确实对我的vocab文件进行了排序，但是这似乎不是必需的。这样做的原因是，允许最终用户根据自己的意愿将vocab单词限制在20万个左右

上述问题的最大原因仅仅是缺乏数据。当我在最初的帖子中运行培训时，我正在处理40k+的文章。我认为这已经足够了，但显然还不够，当我深入代码并更好地理解所发生的事情时，这一点就更加明显了。最后，我将文章数量增加到130多万篇，我在980GTX上训练了大约一周半，平均损失为1.6到2.2篇。我看到了更好的结果

我在学习的过程中了解到了这一点，但我在高于平均损失的情况下停了下来，因为我进行的一些阅读表明，当你对“测试”数据进行“评估”时，你的平均损失应该接近你在训练中看到的。这有助于确定当它们相距较远时，您是否接近过度合身。我正在学习这一点，但对我来说，这似乎是合乎逻辑的

---

最后一个我用艰苦的方式学到的音符是。确保升级到最新的0.11 Tensorflow版本。我最初使用0.9进行培训，但当我想知道如何导出tensorflow的模型时，我发现该repo中没有export.py文件。当我升级到0.11时，我发现检查点文件结构似乎在0.11中发生了变化，我需要再花2周的时间来训练。所以我建议升级，因为他们已经解决了我在RC期间看到的一些问题。我仍然需要设置is_tuple=false，但除此之外，一切都很顺利。希望这对其他人有所帮助。

嗨，我想和你讨论一下TextSum，我正在CNN和Dailymail数据上培训TextSum，并想知道你对这方面的看法。如果你能提供给我，我们可以交换一些电子邮件吗

output=Wild Boy Goes About How I Can't Be Really Go For Love 
output=State Department defends the campaign of Iran
output=John Deere sails profit - Business Insider  
output=to roll for the Perseid meteor shower
output=Man in New York City in Germany

output=Battle Chasers: Nightwar Combines Joe Mad's Stellar Art With Solid RPG Gameplay
output=Obama Meets a Goal That Could Literally Destroy America
output=WOW! 10 stunning photos of presidents daughter Zahra Buhari   
output=Koko the gorilla jams out on bass with Flea from Red Hot Chili Peppers  
output=Brenham police officer refused service at McDonald's