基于共享的Twitter用户代理_Twitter

基于共享的Twitter用户代理

twitter

基于共享的Twitter用户代理,twitter,Twitter,当某人在某个时间向某个页面发送推文，而twitter在该页面上爬行以获取诸如检查推特卡之类的数据时，有人知道推特使用的用户代理是什么吗 Twitter在抓取页面以查找Twitter卡标记时使用Twitterbot（具有版本，例如Twitterbot/1.0）的用户代理。如果您需要创建异常，Twitter的爬虫程序在扫描URL时会尊重robots.txt 阅读更多关于

当某人在某个时间向某个页面发送推文，而twitter在该页面上爬行以获取诸如检查推特卡之类的数据时，有人知道推特使用的用户代理是什么吗

Twitter在抓取页面以查找Twitter卡标记时使用Twitterbot（具有版本，例如

Twitterbot/1.0

）的用户代理。如果您需要创建异常，Twitter的爬虫程序在扫描URL时会尊重robots.txt

阅读更多关于