Python 引号上的空间句子切分失败

Python 引号上的空间句子切分失败,python,nlp,spacy,Python,Nlp,Spacy,我正在用spaCy解析一些新闻数据,注意到在有引语的句子切分方面出现了一致的错误。还有其他人解决了这个问题吗 这是一个可复制的示例-注意下面输出中的第4句。spaCy没有在引用的开头进行拆分,这与我正在处理的其他新闻文章是一致的 非常感谢 例如: 原始数据: 11月4日伦敦11月4日一项学术研究显示,金融危机后,受收入下降和食品价格上涨影响的英国人减少了对水果和蔬菜的消费,转而食用高脂肪、含糖的加工食品。2005年至2012年间,英国食品价格的上涨幅度远远超过了大多数其他发达经济体,虽然工资增长

我正在用spaCy解析一些新闻数据,注意到在有引语的句子切分方面出现了一致的错误。还有其他人解决了这个问题吗

这是一个可复制的示例-注意下面输出中的第4句。spaCy没有在引用的开头进行拆分,这与我正在处理的其他新闻文章是一致的

非常感谢

例如:

原始数据:

11月4日伦敦11月4日一项学术研究显示,金融危机后,受收入下降和食品价格上涨影响的英国人减少了对水果和蔬菜的消费,转而食用高脂肪、含糖的加工食品。2005年至2012年间,英国食品价格的上涨幅度远远超过了大多数其他发达经济体,虽然工资增长一直很低,失业率上升。净影响是英国人在家购买食品的实际支出比经济衰退前减少了8.5%——这一趋势对退休人员和有小孩的家庭更为明显。在英国经济衰退的时候,这项研究可能具有政治敏感性保守党领导的政府受到反对党工党的压力,因为生活水平下降,食品银行向最贫困的英国人免费发放食品的需求急剧上升。人们通过购买更少的食品(以卡路里数量衡量)和食品质量(以食品质量衡量)来节约开支,选择营养较少、饱和脂肪和糖含量较高的产品。“在此期间,各种营养质量指标都有所下降,领养老金的家庭和有幼儿的家庭下降幅度更大。”经济研究机构财政研究所(Institute for Financial Studies)表示,有孩子的肥胖家庭倾向于食用含糖较多的食物,而退休人员则偏爱饱和脂肪含量较高的食物。这两类人的收入通常都较低。虽然经济在经历了自2008-09年经济衰退有记录以来最大的经济增长打击后开始显示出增长迹象,但家庭的可支配收入并不比十年前高。然而,国际单项体育联合会表示,低质量的饮食并不是钱少的必然结果,一些家庭已经能够像以前一样健康地饮食,同时减少开支。研究人员补充说,需要进行更多的研究,以了解为什么其他家庭的情况并非如此。这项研究考察了市场研究公司Kantar Worldpanel在2005年至2012年间收集的15000多个家庭购物习惯的数据。这些数据不包括在家外购买或提供的膳食,例如,在餐馆或学校,英国为贫困学生提供免费午餐。这项研究与国际单项体育联合会的一项长期研究同时发布,该研究显示,英国人现在摄入的卡路里比1980年减少了15-30%,尽管肥胖率较高,可能是因为较少的体力活动。这与美国形成鲜明对比,美国的卡路里消耗量和肥胖率都有所上升。国际单项体育联合会表示,他们正在进一步研究英国人“这一时期的体力活动趋势”

要拆分的代码:

from __future__ import unicode_literals
import spacy
nlp = spacy.load('en')
doc1 = nlp(article_to_json['body'].decode('utf-8'), parse=True)

for number, sent in enumerate(doc1.sents):
    print number, sent, "\n"
输出:

伦敦11月4日英国人因收入下降和食品价格上涨而受伤 金融危机后的价格降低了水果和蔬菜的价格 一项调查显示,他们转而食用高脂肪、含糖的加工食品 周一的学术研究显示

英国的食品价格上涨幅度远远超过其他大多数国家 发达经济体在2005年至2012年之间,而工资增长一直在下降 失业率下降,失业率上升

净效应是英国人的支出减少了8.5% 与经济衰退前相比,在国内购买食品的实际价值- 对于领取养老金的人和有年轻子女的家庭来说,这一趋势更为明显 孩子们

3在以下情况下,该研究可能具有政治敏感性: 英国保守党领导的政府正受到来自政府的压力 反对党工党,因生活水平下降和 向消费者免费发放食品的食品银行的需求急剧上升 最贫穷的英国人

4人们通过购买更少的食物(以卡路里数量衡量)来节省开支,但同时也以食物质量为标准,选择更少的产品 营养丰富,饱和脂肪和糖含量更高。”各种测量 在此期间,营养质量下降,降幅更大 适用于领取养老金的家庭和有年幼子女的家庭 财政研究所,一家经济研究机构。

5个有孩子的肥胖家庭 他们倾向于吃含糖较多的食物,而领取养老金的人则倾向于吃含糖较多的食物 研究表明,富含饱和脂肪的食物

6这两类人的收入通常都较低

7当经济开始出现增长迹象时 自有记录以来,经济增长遭受了最大的打击 在2008-09年的经济衰退期间,家庭可支配收入没有下降 比十年前还高

然而,国际单项体育联合会表示,低质量的饮食并不是不可避免的 钱少的后果,以及一些家庭 能够像以前一样健康饮食,同时减少开支

9需要进行更多的研究,以了解为什么其他国家的情况并非如此 研究人员补充道,家庭

10该研究调查了15000多个家庭的购物数据 市场研究公司Kantar Worldpanel收集的习惯 2005年和2012年。这些数字不包括购买或提供的膳食 离家在外,例如在餐馆或学校,这在 英国为贫困学生提供免费午餐