Java 余弦相似性始终为1.0

我试图用Java中的DeepLearning4J框架构建段落向量并对其进行一些推断。当我将段落向量构建到ZIP文件夹中时，我可以通过使用行号获得相似性，如下所示：

SentenceIterator sentenceIterator = new BasicLineIterator(new File(inputFilePath));
AbstractCache<VocabWord> abstractCache = new AbstractCache<VocabWord>();
TokenizerFactory tokenizerFactory = new DefaultTokenizerFactory();
tokenizerFactory.setTokenPreProcessor(new CommonPreprocessor());

LabelsSource labelsSource = new LabelsSource("LINE_");

ParagraphVectors paragraphVectors = new ParagraphVectors.Builder()
        .minWordFrequency(1)
        .iterations(5)
        .epochs(1)
        .layerSize(100)
        .learningRate(0.025)
        .labelsSource(labelsSource)
        .windowSize(5)
        .iterate(sentenceIterator)
        .trainWordVectors(false)
        .vocabCache(abstractCache)
        .tokenizerFactory(tokenizerFactory)
        .sampling(0)
         .build();
paragraphVectors.fit();

double similarity1 = paragraphVectors.similarity("LINE_9835", "LINE_100");
System.out.println("Similarity: " + similarity1);

WordVectorSerializer.writeParagraphVectors(paragraphVectors, outputParagraphVectorsFilePath);

inputFilePath

变量指磁盘上包含向量的ZIP文件夹所在的位置。当我运行此函数时，我得到以下信息：

余弦相似性A/B:1.0

余弦相似性A/B2:1.0

即使我改变周围的向量并将它们与其他向量进行比较，我也会得到相同的1.0。我做错什么了吗？任何帮助都将不胜感激。

根据GitHub上发布的问题，余弦相似性不准确的主要原因是

dl4j

和

nd4j

使用的版本不正确。我的项目中使用的版本是

0.7.1

。更新到

0.9.1

后，我能够得到准确的答案。以下是一些重要的指导原则：

如果您在线下载完整的项目：请确保检查外部库并确保它们是最新的。确定这一点的最佳方法是定期查看DeepLearning4J网站或下载GutHib项目的新副本

确保您使用了正确的文件扩展名：升级我的项目后，我收到了一个ZIP错误，因为段落向量应该在ZIP文件夹中。我把它们放在一个二进制文件中

TokenizerFactory tokenizerFactory = new DefaultTokenizerFactory();
tokenizerFactory.setTokenPreProcessor(new CommonPreprocessor());

ParagraphVectors paragraphVectors = WordVectorSerializer.readParagraphVectors(new File(inputFilePath));
paragraphVectors.setTokenizerFactory(tokenizerFactory);
paragraphVectors.getConfiguration().setIterations(1);

INDArray inferredVectorA = paragraphVectors.inferVector("This is my world .");
INDArray inferredVectorA2 = paragraphVectors.inferVector("This is my world .");
INDArray inferredVectorB = paragraphVectors.inferVector("This is my way .");


System.out.println("Cosine similarity A/B:" + Transforms.cosineSim(inferredVectorA, inferredVectorB));
System.out.println("Cosine similarity A/B2:" + Transforms.cosineSim(inferredVectorA, inferredVectorA2));