Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/jquery/72.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Stanford nlp 在训练斯坦福情绪模型时,devTrees有什么用途?_Stanford Nlp - Fatal编程技术网

Stanford nlp 在训练斯坦福情绪模型时,devTrees有什么用途?

Stanford nlp 在训练斯坦福情绪模型时,devTrees有什么用途?,stanford-nlp,Stanford Nlp,在为给定数据集训练斯坦福情感模型时,我们使用以下命令: java -mx8g edu.stanford.nlp.sentiment.SentimentTraining -numHid 25 -trainPath train.txt -devPath dev.txt -train -model model.ser.gz 可以不使用dev.txt进行培训吗?它的意义是什么?是的,不使用开发数据就可以进行培训。开发数据用于根据看不见的测试数据评估模型,以猜测最终模型对新输入的概括程度 如果您不提供

在为给定数据集训练斯坦福情感模型时,我们使用以下命令:

 java -mx8g edu.stanford.nlp.sentiment.SentimentTraining -numHid 25 -trainPath train.txt -devPath dev.txt -train -model model.ser.gz

可以不使用dev.txt进行培训吗?它的意义是什么?

是的,不使用开发数据就可以进行培训。开发数据用于根据看不见的测试数据评估模型,以猜测最终模型对新输入的概括程度


如果您不提供任何开发数据,您将无法在培训期间获得有关模型性能的任何反馈。您仍然可以手动获取保存的模型并测试新数据。

谢谢。我还想知道,在对测试数据集进行评估后,您如何发现情绪模型的准确性。在评估摘要中,有两件事:标签准确性和根标签准确性。他们之间有什么区别。如何找到整体准确度?标签准确度测量每个树中每个节点的情感标签的准确度,而根标签准确度仅检查整体情感标签。您需要选择最适合您的任务的指标。例如,如果你不关心在句子级别下获得准确的正确性,只要句子级别的情感正确产生,你可能应该关注根标签的准确性。现在我正在训练一个包含27328个句子的数据集。但当我用1794个句子的已知数据集测试时,我的根标签准确率只有33%。有什么问题吗?这和句子的长度有关吗?这似乎很低。。您如何监控培训衔接?在测试之前,您可能需要对模型进行更长时间的训练。使用开发集将帮助您知道何时停止!实际上,我是在使用model.ser.gz模型文件来训练model.ser.gz。这就是准确率低的原因。我使用的数据集只有一个训练集。如何从中构建开发集?