Logging 在培训RoBERTa拥抱脸/变形金刚时,我如何检查损失?

Logging 在培训RoBERTa拥抱脸/变形金刚时,我如何检查损失?,logging,huggingface-transformers,loss,roberta-language-model,Logging,Huggingface Transformers,Loss,Roberta Language Model,我用变形金刚从头训练了一个罗伯塔模型,但我不能在训练过程中检查训练损耗 在笔记本中,每500步打印一次损失,但在培训期间没有记录任何培训损失: Iteration: 100%|█████████▉| 20703/20711 [4:42:54<00:07, 1.14it/s][A Iteration: 100%|█████████▉| 20704/20711 [4:42:54<00:05, 1.24it/s][A Iteration: 100%|█████████▉| 20

我用变形金刚从头训练了一个罗伯塔模型,但我不能在训练过程中检查训练损耗

在笔记本中,每500步打印一次损失,但在培训期间没有记录任何培训损失:

Iteration: 100%|█████████▉| 20703/20711 [4:42:54<00:07,  1.14it/s][A  
Iteration: 100%|█████████▉| 20704/20711 [4:42:54<00:05,  1.24it/s][A  
Iteration: 100%|█████████▉| 20705/20711 [4:42:55<00:05,  1.20it/s][A  
Iteration: 100%|█████████▉| 20706/20711 [4:42:56<00:04,  1.18it/s][A  
Iteration: 100%|█████████▉| 20707/20711 [4:42:57<00:03,  1.19it/s][A  
Iteration: 100%|█████████▉| 20708/20711 [4:42:58<00:02,  1.16it/s][A  
Iteration: 100%|█████████▉| 20709/20711 [4:42:59<00:01,  1.14it/s][A  
Iteration: 100%|█████████▉| 20710/20711 [4:43:00<00:00,  1.13it/s][A  
Iteration: 100%|██████████| 20711/20711 [4:43:00<00:00,  1.45it/s][A  
Iteration: 100%|██████████| 20711/20711 [4:43:00<00:00,  1.22it/s]  
Epoch: 100%|██████████| 13/13 [61:14:16<00:00, 16952.06s/it]  
Epoch: 100%|██████████| 13/13 [61:14:16<00:00, 16958.16s/it]

compress roberta.20200717.zip on ./pretrained
save roberta.20200717.zip on minio(petcharts)

没有为损失打印任何值,因此我不知道训练是否收敛良好。如何在培训期间监控丢失情况?

只需再次尝试执行笔记本,例如,使用更新版本的库直接在colab中执行,日志记录已被修改。请注意,培训师可能会因为不赞成而需要一组稍微不同的论点

该示例显示了输出中没有问题的训练损失

我正在使用

tokenizers                    0.9.4          
transformers                  4.0.0rc1
这些培训论点似乎起到了作用:

来自变压器进口培训师,培训论证 培训参数=培训参数 输出_dir=./EsperBERTo, 覆盖\u输出\u目录=真, 数字列车时代=1, 每台设备、每列设备、每批设备尺寸=64, 保存步骤=10\u 000, 保存总限制=2, 教练 模型=模型, args=训练参数, 数据整理器=数据整理器, 列车数据集=数据集,
只需再次尝试执行笔记本,例如,使用更新版本的库直接在colab中执行,日志记录已被修改。请注意,培训师可能会因为不赞成而需要一组稍微不同的论点

该示例显示了输出中没有问题的训练损失

我正在使用

tokenizers                    0.9.4          
transformers                  4.0.0rc1
这些培训论点似乎起到了作用:

来自变压器进口培训师,培训论证 培训参数=培训参数 输出_dir=./EsperBERTo, 覆盖\u输出\u目录=真, 数字列车时代=1, 每台设备、每列设备、每批设备尺寸=64, 保存步骤=10\u 000, 保存总限制=2, 教练 模型=模型, args=训练参数, 数据整理器=数据整理器, 列车数据集=数据集,