Machine learning 空间变压器回归输出

Machine learning 空间变压器回归输出,machine-learning,pytorch,spacy,spacy-pytorch-transformers,Machine Learning,Pytorch,Spacy,Spacy Pytorch Transformers,我希望有一个回归输出,而不是分类。例如:我想要一个从0到1的浮点输出值,而不是n个类 下面是来自package github页面的简约示例: 导入空间 从spacy.util导入小批量 随机输入 进口火炬 _正在使用_gpu=spacy.preference_gpu() 如果_正在使用_gpu: torch.set\u default\u tensor\u type(“torch.cuda.FloatTensor”) nlp=空间负荷(“en_trf_bertbaseuncased_lg”) 打

我希望有一个回归输出,而不是分类。例如:我想要一个从0到1的浮点输出值,而不是n个类

下面是来自package github页面的简约示例:

导入空间
从spacy.util导入小批量
随机输入
进口火炬
_正在使用_gpu=spacy.preference_gpu()
如果_正在使用_gpu:
torch.set\u default\u tensor\u type(“torch.cuda.FloatTensor”)
nlp=空间负荷(“en_trf_bertbaseuncased_lg”)
打印(nlp.pipe_名称)#[“判刑者”、“trf_拼字器”、“trf_tok2vec”]
textcat=nlp.create_管道(“trf_textcat”,config={“exclusive_类”:True})
对于“正面”、“负面”中的标签:
textcat.add_标签(标签)
nlp.添加_管道(textcat)
optimizer=nlp.resume_training()
对于范围(10)内的i:
随机。随机(训练数据)
损失={}
对于小批量(系列数据,尺寸=8)中的批次:
文本,CAT=zip(*批次)
nlp.update(文本,猫,sgd=优化器,损失=损失)
打印(一、损失)
nlp.to_盘(“/bert textcat”)

有没有一种简单的方法可以让trf_textcat作为回归器工作?或者这意味着扩大图书馆

我找到了一个解决方法:从nlp管道中提取向量表示,如下所示:

vector_repres = nlp('Test text').vector
对所有文本条目执行此操作后,最终得到文本的固定维度表示。假设您有连续的输出值,可以随意使用任何估计器,包括具有线性输出的神经网络


请注意,向量表示是文本中所有单词的向量嵌入的平均值-对于您的情况,这可能是次优解决方案。

我找到了一个解决方法:从nlp管道中提取向量表示,如下所示:

vector_repres = nlp('Test text').vector
对所有文本条目执行此操作后,最终得到文本的固定维度表示。假设您有连续的输出值,可以随意使用任何估计器,包括具有线性输出的神经网络


请注意,向量表示是文本中所有单词的向量嵌入的平均值-对于您的情况,它可能是次优解决方案。

作为回归者工作您的意思是具有正概率还是负概率而不是类?或者别的什么?@Claudio我指的是一个连续的输出值,而不是分类。作为回归者工作,你的意思是有正的或负的概率而不是类?还是别的什么?@Claudio我指的是连续的输出值,而不是分类。