Fatal编程技术网
  • curl/
  • Curl 爬虫/卷曲边缘站点包括

Curl 爬虫/卷曲边缘站点包括

curl web-crawler

Curl 爬虫/卷曲边缘站点包括,curl,web-crawler,wget,edge-side-includes,Curl,Web Crawler,Wget,Edge Side Includes,我试图通过curl/wget检索一个网站，但我看到的不是浏览器中看到的真实内容，而是ESI标记 网址是 抓紧！发送至结帐的路线。。。。。。 我已经试过通过邮递员，只发送接受和连接cookies，我看到正常的HTML结果。我不太清楚发生了什么事。有人知道wget/curl要发送什么标题或做什么才能正确获取页面吗？有些网站不喜欢curl的用户代理。尝试： curl -v -H 'User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:45.0) Gecko/

我试图通过curl/wget检索一个网站，但我看到的不是浏览器中看到的真实内容，而是ESI标记

网址是


抓紧！发送至结帐的路线。。。。。。
我已经试过通过邮递员，只发送接受和连接cookies，我看到正常的HTML结果。我不太清楚发生了什么事。有人知道wget/curl要发送什么标题或做什么才能正确获取页面吗？

有些网站不喜欢curl的用户代理。尝试：

curl -v -H 'User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:45.0) Gecko/20100101 Firefox/45.0' 'http://www.patagonia.com/home/?setCountryCode=US&setLocaleCode=en_US&setLocaleCodeSelect=en'
一些网站不喜欢Curl的用户代理。尝试：

curl -v -H 'User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:45.0) Gecko/20100101 Firefox/45.0' 'http://www.patagonia.com/home/?setCountryCode=US&setLocaleCode=en_US&setLocaleCodeSelect=en'
如果你被杀了怎么办？然后它会显示ESI标签吗？@ʰᵈˑ有趣的想法，尝试过，也不起作用，它生成了
curl-X GET-H“缓存控制：无缓存”-H“邮递员令牌：3f7093a7-c0f0-4675-edf9-12e0659d17c8”http://www.patagonia.com/home/?setCountryCode=US&setLocaleCode=en_US&setLocaleCodeSelect=en“
？然后它会显示ESI标签吗？@ʰᵈˑ有趣的想法，尝试过，也不起作用，它生成了
curl-X GET-H“缓存控制：无缓存”-H“邮递员令牌：3f7093a7-c0f0-4675-edf9-12e0659d17c8”http://www.patagonia.com/home/?setCountryCode=US&setLocaleCode=en_US&setLocaleCodeSelect=en“
会导致相同的结果，我还玩过不同的用户代理。@dsky真的吗？当我发送默认的curl用户代理时，我会被阻止，但当我发送该用户代理时，我会得到预期的html。
curl-v'的输出是什么http://www.patagonia.com/home/?setCountryCode=US&setLocaleCode=en_US&setLocaleCodeSelect=en“
？返回
curl-v”http://www.patagonia.com/home/?setCountryCode=US&setLocaleC‌​ode=en_US和setLocaleC‌​ODSELECT=en'*DNS缓存中未找到主机名*正在尝试23.38.49.57…*已连接到www.patagonia.com（23.38.49.57）端口80（#0）>GET/home/？setCountryCode=US&setLocaleC‌​ode=en_US和setLocaleC‌​odeSelect=en HTTP/1.1>用户代理：curl/7.38.0>主机：www.patagonia.com>Accept://*>
永不finishes@dsky和我一样。在我的IP中，通过添加参数
-H'User-Agent:Mozilla/5.0（X11；Linux x86；rv:45.0）Gecko/20100101 Firefox/45.0'
@hanshenrik-wird，这一切都得到了修复，对我来说，这不会改变任何事情。我的服务器在美国以外，也许他们有一个位置检查，你们从哪里卷曲？这导致了相同的结果，我也玩了不同的用户代理。@dsky真的吗？当我发送默认的curl用户代理时，我会被阻止，但当我发送该用户代理时，我会得到预期的html。
curl-v'的输出是什么http://www.patagonia.com/home/?setCountryCode=US&setLocaleCode=en_US&setLocaleCodeSelect=en“
？返回
curl-v”http://www.patagonia.com/home/?setCountryCode=US&setLocaleC‌​ode=en_US和setLocaleC‌​ODSELECT=en'*DNS缓存中未找到主机名*正在尝试23.38.49.57…*已连接到www.patagonia.com（23.38.49.57）端口80（#0）>GET/home/？setCountryCode=US&setLocaleC‌​ode=en_US和setLocaleC‌​odeSelect=en HTTP/1.1>用户代理：curl/7.38.0>主机：www.patagonia.com>Accept://*>
永不finishes@dsky和我一样。在我的IP中，通过添加参数
-H'User-Agent:Mozilla/5.0（X11；Linux x86；rv:45.0）Gecko/20100101 Firefox/45.0'
@hanshenrik-wird，这一切都得到了修复，对我来说，这不会改变任何事情。我的服务器在美国境外，也许他们那边有位置检查，你们从哪里来？