Lambda 斯坦福大学的兰姆达太大了

我正在使用Stanford POS Tagger来训练语料库。我准备了设置文件“Prop”，并格式化了数据，开始了培训

在那之后，我开始收到诸如“Lambda太大”之类的信息，这些信息一直持续到培训结束。之后我尝试了这个模型，并不断给我一个“内存不足异常”。我在一个拥有40gb以上RAM的HPC上厌倦了这个模型，并将java的堆空间增加到25gb，但同样的问题仍然存在

我使用的语料库大约有6000个句子，一个句子中最少有3个单词，最多有128个单词。一个单词可以同时有三个标记，如{p1}{p2}

当我开始培训时，以下是日志：

 pcond initialized
 zlambda initialized
 ftildeArr initialized
QNMinimizer called on double function of 337720 variables, using M = 10.

Iter. 0: neg. log cond. likelihood = 821394.2976644086 [1 calls to valueAt]
          An explanation of the output:
Iter           The number of iterations
evals          The number of function evaluations
SCALING        <D> Diagonal scaling was used; <I> Scaled Identity
LINESEARCH     [## M steplength]  Minpack linesearch
                   1-Function value was too high
                   2-Value ok, gradient positive, positive curvature
                   3-Value ok, gradient negative, positive curvature
                   4-Value ok, gradient negative, negative curvature
               [.. B]  Backtracking
VALUE          The current function value
TIME           Total elapsed time
|GNORM|        The current norm of the gradient
{RELNORM}      The ratio of the current to initial gradient norms
AVEIMPROVE     The average improvement / current value
EVALSCORE      The last available eval score

Iter ## evals ## <SCALING> [LINESEARCH] VALUE TIME |GNORM| {RELNORM} AVEIMPROVE
EVALSCORE

Iter 1 evals 1 <D> [lambda 5525 too big: 623.532051211901
lambda 28341 too big: 623.5660256059567
lambda 153849 too big: 623.5660256059567

---

有人能告诉我我做错了什么吗？

关于Lambda大小的信息，您可以在这里找到答案：

关于

内存不足异常

，请指定要标记的文件的大小。不管是什么情况，我怀疑您正在试图为标记器传递一个大文件。尝试通过

100KB的文件作为测试。我认为如果文件的大小很小，您不会收到错误消息。但是，如果持续显示
内存不足异常
错误消息，则可以在此处向
java nlp用户发布问题：。请注意，在发布任何问题之前，您必须加入列表

我希望这对你有帮助
 我会尝试你的建议并发回…谢谢。
## tagger training invoked at Thu Mar 03 01:31:10 AST 2016 with arguments:
                   model = arabic.New.tagger
                    arch = words(-2,2),order(1),prefix(6),suffix(6),unicodeshapes(1)
            wordFunction = 
               trainFile = format=TSV,Train.txt
         closedClassTags = 
 closedClassTagThreshold = 40
 curWordMinFeatureThresh = 1
                   debug = false
             debugPrefix = 
            tagSeparator = /
                encoding = UTF-8
              iterations = 100
                    lang = arabic
    learnClosedClassTags = false
        minFeatureThresh = 3
           openClassTags = 
rareWordMinFeatureThresh = 3
          rareWordThresh = 5
                  search = qn
                    sgml = false
            sigmaSquared = 0.0
                   regL1 = 0.75
               tagInside = 
                tokenize = false
        tokenizerFactory = edu.stanford.nlp.process.WhitespaceTokenizer
        tokenizerOptions = 
                 verbose = false
          verboseResults = true
    veryCommonWordThresh = 250
                xmlInput = 
              outputFile = 
            outputFormat = slashTags
     outputFormatOptions = 
                nthreads = 1