Xpath 刮屑可能被现场堵塞

我一直在努力从这个网站上删除文字

当我在shell中键入时

>response.xpath('//text()').extract()

我在访问以下html信息时遇到问题

<span id="cur-date">Sunday, November 26, 2017</span>

2017年11月26日，星期日

2017年11月26日，星期日

<div class="reading-type">First Reading</div>

一读

这将是一读

---

尽管如此，我还是在页面上看到了几乎所有的内容——似乎scrapy被阻止了

谢谢Markus帮我找到了正确的方向！我曾经让我在PhantomJS中呈现JavaScript，以便用Scrapy解析它。。。因为Scrapy不运行JavaScript，而这个站点似乎是直接将它注入浏览器中转换成HTML。。。PhantomJS是一款无头浏览器，可以运行Scrapy的JavaScript。

JavaScript。Scrapy不运行JavaScript。尝试使用阻止JS的浏览器打开页面，您将看到问题。谢谢！用scrapy webdriver解决了这个问题