Curl 避免在我的服务器上重定向_Curl_Dns_Web Scraping_Python Requests_Digital Ocean

Curl 避免在我的服务器上重定向

curl dns web-scraping

Curl 避免在我的服务器上重定向,curl,dns,web-scraping,python-requests,digital-ocean,Curl,Dns,Web Scraping,Python Requests,Digital Ocean,当我试图在本地机器上获取一些不存在的url时，大部分时间我会得到： curl: (6) Could not resolve host: some-non-existent-url.co 但有时我会得到301： <!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN"> <html><head> <title>301 Moved Permanently</title> </head>

当我试图在本地机器上获取一些不存在的url时，大部分时间我会得到：

curl: (6) Could not resolve host: some-non-existent-url.co

但有时我会得到301：

<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>301 Moved Permanently</title>
</head><body>
<h1>Moved Permanently</h1>
<p>The document has moved <a href="http://registry.co.com/">here</a>.</p>
</body></html>

我知道我可能只是ping主机，但我想知道是否有可能禁用这种行为

curl：（6）无法解析主机：some-non-existence-url.co

浏览器：

此网页不可用 DNS\u探测\u已完成\u NXDOMAIN

这不是某种“假”重定向，这是DNS服务器在任何其他工具（如浏览器）上告诉curl该域不存在。也就是说，域不映射到任何ip地址

有没有办法阻止这一切

阻止什么？请详细说明

curl：（6）无法解析主机：some-non-existence-url.co

浏览器：

此网页不可用 DNS\u探测\u已完成\u NXDOMAIN

这不是某种“假”重定向，这是DNS服务器在任何其他工具（如浏览器）上告诉curl该域不存在。也就是说，域不映射到任何ip地址

有没有办法阻止这一切

阻止什么？请详细说明..

浏览器显示为空，卷曲显示为空。Curl向registry.co.comcurl这样的页面显示301。默认情况下，Curl不遵循重定向（至少301），您需要使用-L开关使用Curl来遵循重定向，然后查看出现了什么。我发布的html是我从Curl获得的。但是，当我尝试从浏览器访问同一url时，我会得到一个“未找到”。然后我只能猜测而不知道url，例如：DNS浏览器缓存？？重定向导致不存在的站点？etcIt几乎发生在任何未分配的url上（比如dsadbasdaidas.co）。无法在我的amazon实例上复制此内容。在digitalocean上的其他实例上，这种情况时有发生。浏览器显示它为空，而curl不显示。Curl向registry.co.comcurl这样的页面显示301。默认情况下，Curl不遵循重定向（至少301），您需要使用-L开关使用Curl来遵循重定向，然后查看出现了什么。我发布的html是我从Curl获得的。但是，当我尝试从浏览器访问同一url时，我会得到一个“未找到”。然后我只能猜测而不知道url，例如：DNS浏览器缓存？？重定向导致不存在的站点？etcIt几乎发生在任何未分配的url上（比如dsadbasdaidas.co）。无法在我的amazon实例上复制此内容。在digitalocean的其他实例上，这种情况时有发生。

This webpage is not available

DNS_PROBE_FINISHED_NXDOMAIN