Python 用自己的数据集训练神经网络';由于缓存奇怪的问题,无法工作

Python 用自己的数据集训练神经网络';由于缓存奇怪的问题,无法工作,python,caching,neural-network,transformer,transfer-learning,Python,Caching,Neural Network,Transformer,Transfer Learning,我在尝试使用github的代码来训练神经网络时遇到了一个奇怪的挑战,那就是huggingface会话模型 发生的情况:即使我使用自己的数据集进行训练,结果仍然与原始数据集相同。我的假设是,这是一个缓存问题——旧数据集不断地从缓存中加载并替换我的数据集。 当我用神经网络启动实际的交互式会话时,它可以工作,但没有我的数据,即使我通过了模型检查点 为什么我想到缓存:在这个repo中,如果终端中没有指定参数,作者在/home/joo/.cache/torch/pytorch\u transformers

我在尝试使用github的代码来训练神经网络时遇到了一个奇怪的挑战,那就是huggingface会话模型

发生的情况:即使我使用自己的数据集进行训练,结果仍然与原始数据集相同。我的假设是,这是一个缓存问题——旧数据集不断地从缓存中加载并替换我的数据集。 当我用神经网络启动实际的交互式会话时,它可以工作,但没有我的数据,即使我通过了模型检查点

为什么我想到缓存:在这个repo中,如果终端中没有指定参数,作者在/home/joo/.cache/torch/pytorch\u transformers/中使用自动下载和缓存神经网络模型

我在Github上创建了一个问题。但我不确定这是一个专门针对回购的问题,还是我第一次面对的神经网络再培训的常见问题

一些复制粘贴问题:

我仍然很好奇,无法传递我的数据集:

I added to original 200mb json my personality
trained once more with --dataset_path ./my.json
invoke interact.py with new checkpoint and path python ./interact.py --model_checkpoint
./runs/Oct08_18-22-53_joo-tf_openai-gpt/--dataset_path./my.json 它报告了18878个人物(但不是18879个,还有我自己的)。 我更改了interact.py中的代码,以这样选择我的第一个perosnability

was:个性=随机选择(个性)

变成:个性=个性[0]

第一个人格不是我的


已解决:这是此回购协议的一个特定问题,只是硬编码的数据集路径。 但是为什么它不能第一次加载呢?没有答案