Fatal编程技术网
  • scrapy/
  • Scrapy-Javascript呈现

Scrapy-Javascript呈现

scrapy

Scrapy-Javascript呈现,scrapy,Scrapy,我想从这里得到一些数据： 我在找车主的身份证。此ID位于classcar\u owner\u部分的a属性中。对于上面的页面，它是href属性中的数字，如“/users/1228276”。问题是，这个链接显然是由javascript呈现的，我绝对希望避免“刮擦飞溅”。有人知道如何找到这个ID吗？我想它应该在JSON上的某个地方，但我已经搜索了好几天，什么也没找到 我在scrapy shell上测试了它，响应返回您正在寻找的链接，而不使用splash。您可能需要检查您的设置 USER_AGENT

我想从这里得到一些数据：

我在找车主的身份证。此ID位于class
car\u owner\u部分的
a
属性中。对于上面的页面，它是
href
属性中的数字，如“/users/1228276”。问题是，这个链接显然是由javascript呈现的，我绝对希望避免“刮擦飞溅”。有人知道如何找到这个ID吗？我想它应该在JSON上的某个地方，但我已经搜索了好几天，什么也没找到
 我在scrapy shell上测试了它，响应返回您正在寻找的链接，而不使用splash。您可能需要检查您的设置


USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:39.0) Gecko/20100101 Firefox/39.0'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False