Jquery 在跨域查询中绕过robots.txt

我正在使用它进行跨域查询，我发现该站点有一个robots.txt

看。尝试放置

http://www.nytimes.com/2012/03/05/world/middleeast/in-aipac-speech-obama-warns-against-loose-talk-of-war.html

在框中，它将返回

登录-纽约时报

，这不是页面的标题

---

任何关于这方面的想法都会很好。

这可能与robots.txt文件没有什么关系，因为它实际上不会阻止任何内容，而且是更可选的，或者他们阻止你是因为你没有发送正确的标题，或者他们看到它不是试图访问网站的浏览器，或者他们确实需要登录才能查看该文章

进行了一些检查，问题是必须启用Cookie，并且由于您没有使用浏览器，它会重定向到登录页面，每次都是

---

试试这个，看看你得到的结果。

如果你看AnyOrigin得到的结果，你会注意到它确实得到了一个“请登录”页面，而如果你直接进入《纽约时报》页面，你会得到真正的页面。这与robots.txt无关，因为robots.txt更像是你所说的“指南”，而不是实际的规则。我敢打赌，要么是AnyOrigin发送的用户代理，要么是《纽约时报》不允许AnyOrigin本身。

每个人都可以查看该文章-去吧。但是无论如何，有没有一种方法可以发送一个正确的标题？当然，不使用服务器端代理，因为我不能使用它。我不知道有什么服务可以做到这一点，我认为在PHP中使用cURL是最简单的，不需要代理，但您需要使用web服务器来执行请求。哇，好的，这是个问题。所以我不希望有办法伪造启用的cookies，是吗。哦，好吧。我有点局限于Javascript和JQuery。除非anyOrigin有某种选项，允许您在发送它们的查询字符串中启用cookie，否则我不会这么做。JS并不真正适合这种情况，它只会使用JSON，但是anyOrigin会根据querystring为您执行请求，并以JSON的形式返回站点，因此Cookie必须在其端启用，否则您将不得不使用其他服务或服务器，这是我唯一能想到的选项。有一些关于如何使用雅虎的教程，但是当涉及到cookies时，我不认为这会有多大帮助。哦，我现在明白了。当查看AnyOrigin JSON时，它在url的末尾标记了

&拒绝\u COOKIE\u ERROR=SHOW\u ERROR

。