Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/278.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 检查FanFrience.net上是否存在url_Python_Httplib - Fatal编程技术网

Python 检查FanFrience.net上是否存在url

Python 检查FanFrience.net上是否存在url,python,httplib,Python,Httplib,我想在www.fanfiriby.net上找到一个故事的最后章节号,只是为了好玩。为此,我认为,由于它有一个固定的url模式,我将只增加章节号,直到它给我一个不存在的url 为了确定url是否存在,我在此时尝试了脚本 然而,我发现它并没有给出一个大于400的响应错误,而是给出了一条消息和200个响应。确定页面是否存在的最佳方法是什么 这是一个实际存在的链接,这是一个不存在的链接 我怎样才能做到 编辑1 多亏了格雷斯乔恩,我才解决了这个问题。不过,我希望这是正确的: 我检查了resp.gethea

我想在www.fanfiriby.net上找到一个故事的最后章节号,只是为了好玩。为此,我认为,由于它有一个固定的url模式,我将只增加章节号,直到它给我一个不存在的url

为了确定url是否存在,我在此时尝试了脚本

然而,我发现它并没有给出一个大于400的响应错误,而是给出了一条消息和200个响应。确定页面是否存在的最佳方法是什么

这是一个实际存在的链接,这是一个不存在的链接

我怎样才能做到

编辑1 多亏了格雷斯乔恩,我才解决了这个问题。不过,我希望这是正确的:

我检查了resp.getheaderlast-modified的值,没有,它为活动链接提供了一些日期,而没有活动链接的则没有


非常感谢

也许可以使用cURL,读取100个字节,然后在数据的开头查找Fan虚构.Net消息类型1

该网站没有给出404错误,这使得所有这些脚本都无用。你需要下载整个网页,并检查它是否看起来像404页

我认为跑步:

if (page.find('<style>') == 0):

这是一个技巧,因为页面以标签开始,而普通页面不应该这样做。

如果对提供的URL执行HEAD请求,则在有效页面上设置Last Modified,但在无效页面上不设置。这是一种输入有效页面的简单方法,因为他们的服务器没有使用正确的HTTP代码进行响应。

除了下载整个页面之外,是否可以通过其他任何方法来完成,因为我正在考虑递增页码并查看是否存在……不太可能,因为没有给出404消息not found。相反,给出了200条消息success。你必须下载页面并检查它是否是错误页面…嘿,你能再解释一下吗。。。如何检查标题中最后修改的变量?或者,您可以获取第一章,查找名称为chapter的select标记,并读取其包含的每个选项元素的值以获得章节列表。您可以使用BeautifulSoup来解析HTML。