Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/321.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用Python Mechanize从网站提取数据的问题_Python_Parsing_Session Cookies_Mechanize_User Agent - Fatal编程技术网

使用Python Mechanize从网站提取数据的问题

使用Python Mechanize从网站提取数据的问题,python,parsing,session-cookies,mechanize,user-agent,Python,Parsing,Session Cookies,Mechanize,User Agent,因此,我试图从一个足球统计网站上提取一些数据来创建我自己今年的梦幻足球排名。我成功地使用mechanize填写身份验证表并进入网站。然而,当我在页面中阅读时,网站上显示的数据不在那里,我知道身份验证工作正常。例如,如果我查看页面源代码,所有数据都在那里。。。但是当我通过mechanize登录并读取页面时,包含数据的区域就是空的 更具体地说,我想以玩家为目标,通过迭代位于下面代码中url中的侧栏容器来提取/打开他们特定的统计信息页面 但是,然后mechanize读入数据并返回,因为整个侧栏容器是空

因此,我试图从一个足球统计网站上提取一些数据来创建我自己今年的梦幻足球排名。我成功地使用mechanize填写身份验证表并进入网站。然而,当我在页面中阅读时,网站上显示的数据不在那里,我知道身份验证工作正常。例如,如果我查看页面源代码,所有数据都在那里。。。但是当我通过mechanize登录并读取页面时,包含数据的区域就是空的

更具体地说,我想以玩家为目标,通过迭代位于下面代码中url中的侧栏容器来提取/打开他们特定的统计信息页面

但是,然后mechanize读入数据并返回,因为整个侧栏容器是空的

我的代码发布在下面:

import mechanize

br = mechanize.Browser()
br.set_handle_robots(False)
br.addheaders = [('User-agent', 'Firefox')]
br.set_handle_robots(False)
br.open("https://www.profootballfocus.com/sample/by_player.php?tab=by_player&season=2008&surn=B&playerid=&group=")
br.select_form('login')
br.form['amember_login'] = 'insert your username'
br.form['amember_pass'] = 'insert your password'
response = br.submit()
print response.read()

该网站是www.profootballfocus.com。在本例中,我创建了一个帐户,尝试从2008年的免费示例数据中提取数据。代码中的url具有我试图指向的直接url。感谢您的帮助和指点!谢谢

我尝试了相同的代码。它返回了一个包含无效用户名或密码错误的网页。感谢您尝试thavan,您是否为该网页创建了用户名和密码,并且它向您抛出了错误?可能没有人会为该案例创建特殊帐户。我想侧边栏是在页面后面加载的。在好的情况下,是通过Ajax和javascript加载的。坏的是闪光。只需使用firebug或任何您使用的工具打开站点并检查XHR请求,您可能会在其中找到所需的数据。