Nlp 训练合成网模型

Nlp 训练合成网模型,nlp,tensorflow,bazel,syntaxnet,Nlp,Tensorflow,Bazel,Syntaxnet,我正在尝试使用本文提供的数据集,用另一种语言训练GoogleSyntaxNet模型。我编辑了syntaxnet/context.pbtxt文件,但是当我试图运行指南中提供的bazel脚本时,我得到了以下错误: syntaxnet/term_frequency_map.cc:62] Check failed: ::tensorflow::Status::OK() == (tensorflow::Env::Default()->NewRandomAccessFile(filename, &am

我正在尝试使用本文提供的数据集,用另一种语言训练GoogleSyntaxNet模型。我编辑了
syntaxnet/context.pbtxt
文件,但是当我试图运行指南中提供的
bazel脚本时,我得到了以下错误:

syntaxnet/term_frequency_map.cc:62] Check failed: ::tensorflow::Status::OK() == (tensorflow::Env::Default()->NewRandomAccessFile(filename, &file)) (OK vs. Not found: brain_pos/greedy/0/label-map)
我的疑问是:我必须提供此文件和其他文件,如
fine to universal.map
tag map
word map
等,或者训练步骤必须使用训练数据集创建它们?如果我必须提供它们,我如何构建它们


提前谢谢

我正试图做和你一样的事情,却遇到了完全相同的错误。结果是我意外地删除了标志
--compute\u lexicon
。我假设此标志负责创建
标记映射
单词映射
等。因此,请确保启用了
--compute\u lexicon

我正在尝试与您相同的操作,并遇到了完全相同的错误。结果是我意外地删除了标志
--compute\u lexicon
。我假设这个标志负责创建
标记映射
单词映射
等。因此,请确保启用了
--compute\u lexicon

我也遇到了类似的错误,老实说,我没有发现问题所在,但我用它来学习培训和测试过程,它为培训提供了有用的文档


您可能无法将训练、调整和测试数据集的格式从
.conllu
更改为
.conl
,或者训练shell可能会被
--arg_prefix
--output_path
中提到的目录所混淆,--task\u context,甚至
--model\u path

我也遇到了类似的错误,老实说,我没有发现问题所在,但我用它来学习培训和测试过程,它为培训提供了有用的文档


您可能无法将训练、调整和测试数据集的格式从
.conllu
更改为
.conl
,或者训练shell可能会被
--arg_prefix
--output_path
中提到的目录所混淆,--task\u context甚至
--model\u path

我记得在开始时有一个类似的错误。您是否使用了“训练解析器步骤1:本地预训练”下的确切代码?因为您会注意到其中有一个未初始化的$PARAMS变量,它应该表示经过培训的POS标记器的参数。训练标记器时(请参见本教程前面的内容),它将在models/brain_pos/greedy/$PARAMS中创建文件。我相信在您的例子中,这个$PARAMS变量被解释为0,脚本正在brain_pos/greedy/0中寻找一个训练有素的标记者,但显然没有找到。如果您只是在脚本的开头添加一行,指定经过训练的标记器的参数(教程中为128-0.08-3600-0.9-0),应该可以使用

因此:


我记得一开始也有类似的错误。您是否使用了“训练解析器步骤1:本地预训练”下的确切代码?因为您会注意到其中有一个未初始化的$PARAMS变量,它应该表示经过培训的POS标记器的参数。训练标记器时(请参见本教程前面的内容),它将在models/brain_pos/greedy/$PARAMS中创建文件。我相信在您的例子中,这个$PARAMS变量被解释为0,脚本正在brain_pos/greedy/0中寻找一个训练有素的标记者,但显然没有找到。如果您只是在脚本的开头添加一行,指定经过训练的标记器的参数(教程中为128-0.08-3600-0.9-0),应该可以使用

因此:

$PARAMS=128-0.08-3600-0.9-0
bazel-bin/syntaxnet/parser_trainer \
  --arg_prefix=brain_parser \
  --batch_size=32 \
  --projectivize_training_set \
  --decay_steps=4400 \
  --graph_builder=greedy \
  --hidden_layer_sizes=200,200 \
  --learning_rate=0.08 \
  --momentum=0.85 \
  --output_path=models \
  --task_context=models/brain_pos/greedy/$PARAMS/context \
  --seed=4 \
  --training_corpus=tagged-training-corpus \
  --tuning_corpus=tagged-tuning-corpus \
  --params=200x200-0.08-4400-0.85-4