PythonUrlLib在firefox中的不同结果

我正试图为一家名为derstandard.at的奥地利报纸的留言板编程一个webcrawler。我对互动感兴趣，我想对用户进行网络分析。 我能够检索到我想要的一切，但当我改变留言板页面时，它根本不起作用

使用firefox，我只需更改url中的一个数字即可访问我想要的页面，例如第5页

当我试图从python脚本中访问它时，我总是得到第1页

首先，我认为这是因为我的用户代理，但我把它改成了我的firefox用户代理，仍然得到了所有的第1页。为什么会这样

以下是相关的代码片段：

#!/usr/bin/python
# -*- coding: utf-8 -*-
import urllib
from BeautifulSoup import BeautifulSoup

from urllib import FancyURLopener
class MyOpener(FancyURLopener):
    version = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:14.0) Gecko/20100101 Firefox/14.0.1'

f_open=MyOpener()

page=BeautifulSoup(f_open.open('http://derstandard.at/1345164506806/Umfrage-FPOe-auf-tiefstem-Stand-seit-mehr-als-zwei-Jahren?seite=5#forumstart'))

---

根据OP打印页面。我对他的评论解决了问题

我的评论是：

也许是“#”我听说它有时会导致错误，在 搜索字符串的开头。喜欢 r'http://derstandard.at/1345164506806/Umfrage-FPOe-auf-tiefstem-Stand-seit-mehr‌​-als zwei Jahren？seite=5#forumstart'

---

所以这似乎是一个简单的错误。

因为这里的一切：

www.blahblah.com/blahblah

为您提供了一个html页面，但一旦您将

www.blahblah.com/blahblah？某物

放在该html上运行代码，我不知道在这种情况下是java还是php或其他东西，但是它在浏览器中工作的原因是它支持代码，但是您的代码不知道如何处理它，它只得到它能得到的第一个结果。@如果是javascript，这是正确的，但是对于没有javascript的整个页面，这是一个正常的GET请求。没有浏览器能理解php或其他任何东西。这不是错误的原因。可能是“#”我听说它有时会导致错误，请在搜索字符串的开头加一个

r

。像

r'http://derstandard.at/1345164506806/Umfrage-FPOe-auf-tiefstem-Stand-seit-mehr-als-zwei-Jahren?seite=5#forumstart“

@Inbar Rose谢谢你！事实上，问题出在这个问题上。r没有帮助，但我只是离开了，开始了，它起了作用。谢谢