Logging 在培训RoBERTa拥抱脸/变形金刚时,我如何检查损失?
我用变形金刚从头训练了一个罗伯塔模型,但我不能在训练过程中检查训练损耗 在笔记本中,每500步打印一次损失,但在培训期间没有记录任何培训损失:Logging 在培训RoBERTa拥抱脸/变形金刚时,我如何检查损失?,logging,huggingface-transformers,loss,roberta-language-model,Logging,Huggingface Transformers,Loss,Roberta Language Model,我用变形金刚从头训练了一个罗伯塔模型,但我不能在训练过程中检查训练损耗 在笔记本中,每500步打印一次损失,但在培训期间没有记录任何培训损失: Iteration: 100%|█████████▉| 20703/20711 [4:42:54<00:07, 1.14it/s][A Iteration: 100%|█████████▉| 20704/20711 [4:42:54<00:05, 1.24it/s][A Iteration: 100%|█████████▉| 20
Iteration: 100%|█████████▉| 20703/20711 [4:42:54<00:07, 1.14it/s][A
Iteration: 100%|█████████▉| 20704/20711 [4:42:54<00:05, 1.24it/s][A
Iteration: 100%|█████████▉| 20705/20711 [4:42:55<00:05, 1.20it/s][A
Iteration: 100%|█████████▉| 20706/20711 [4:42:56<00:04, 1.18it/s][A
Iteration: 100%|█████████▉| 20707/20711 [4:42:57<00:03, 1.19it/s][A
Iteration: 100%|█████████▉| 20708/20711 [4:42:58<00:02, 1.16it/s][A
Iteration: 100%|█████████▉| 20709/20711 [4:42:59<00:01, 1.14it/s][A
Iteration: 100%|█████████▉| 20710/20711 [4:43:00<00:00, 1.13it/s][A
Iteration: 100%|██████████| 20711/20711 [4:43:00<00:00, 1.45it/s][A
Iteration: 100%|██████████| 20711/20711 [4:43:00<00:00, 1.22it/s]
Epoch: 100%|██████████| 13/13 [61:14:16<00:00, 16952.06s/it]
Epoch: 100%|██████████| 13/13 [61:14:16<00:00, 16958.16s/it]
compress roberta.20200717.zip on ./pretrained
save roberta.20200717.zip on minio(petcharts)
没有为损失打印任何值,因此我不知道训练是否收敛良好。如何在培训期间监控丢失情况?只需再次尝试执行笔记本,例如,使用更新版本的库直接在colab中执行,日志记录已被修改。请注意,培训师可能会因为不赞成而需要一组稍微不同的论点 该示例显示了输出中没有问题的训练损失 我正在使用
tokenizers 0.9.4
transformers 4.0.0rc1
这些培训论点似乎起到了作用:
来自变压器进口培训师,培训论证
培训参数=培训参数
输出_dir=./EsperBERTo,
覆盖\u输出\u目录=真,
数字列车时代=1,
每台设备、每列设备、每批设备尺寸=64,
保存步骤=10\u 000,
保存总限制=2,
教练
模型=模型,
args=训练参数,
数据整理器=数据整理器,
列车数据集=数据集,
只需再次尝试执行笔记本,例如,使用更新版本的库直接在colab中执行,日志记录已被修改。请注意,培训师可能会因为不赞成而需要一组稍微不同的论点 该示例显示了输出中没有问题的训练损失 我正在使用
tokenizers 0.9.4
transformers 4.0.0rc1
这些培训论点似乎起到了作用:
来自变压器进口培训师,培训论证
培训参数=培训参数
输出_dir=./EsperBERTo,
覆盖\u输出\u目录=真,
数字列车时代=1,
每台设备、每列设备、每批设备尺寸=64,
保存步骤=10\u 000,
保存总限制=2,
教练
模型=模型,
args=训练参数,
数据整理器=数据整理器,
列车数据集=数据集,