Javascript 在抓取opengraph时遇到问题
我正试图用NodeJS从网页上抓取数据。我正在使用Javascript 在抓取opengraph时遇到问题,javascript,html,node.js,web-scraping,Javascript,Html,Node.js,Web Scraping,我正试图用NodeJS从网页上抓取数据。我正在使用请求模块获取数据,并使用cheerio进行解析。然而,我注意到了一些事情:当我使用chrome访问一些页面(比如,)并检查源代码时,标签meta的属性property为og:title,正好有一个匹配项。如果我从我的节点刮板请求相同的页面并检查标记,我有108个meta标记,其属性property设置为og:title。我尝试过与用户代理打交道,但没有使用avent 差异的原因是什么 在这些网站上这样做是为了阻止刮擦吗 事实证明,我的问题是我的
请求
模块获取数据,并使用cheerio
进行解析。然而,我注意到了一些事情:当我使用chrome访问一些页面(比如,)并检查源代码时,标签meta
的属性property
为og:title
,正好有一个匹配项。如果我从我的节点刮板请求相同的页面并检查标记,我有108个meta
标记,其属性property
设置为og:title
。我尝试过与用户代理打交道,但没有使用avent
- 差异的原因是什么
- 在这些网站上这样做是为了阻止刮擦吗
$(标记).attr(属性,值)
将每个标记的属性设置为值
要查找属性设置为值的所有标记
,请执行以下操作:
$(tag[attribute = 'value']);
事实证明,我的问题是我的抓捕妄想症(我相信每个网站都在抓捕防御层后面锁定他们的信息)和我对cheerio缺乏知识的综合结果。对于任何有类似问题的人:
$(标记).attr(属性,值)
将每个标记的属性设置为值
要查找属性设置为值的所有标记
,请执行以下操作:
$(tag[attribute = 'value']);