如何使用Python在需要Google帐户登录的网站上进行web爬网?

如何使用Python在需要Google帐户登录的网站上进行web爬网?,python,web-crawler,Python,Web Crawler,我是Python新手,我想使用Python来爬网几个需要Google帐户登录的网站。 例如,我想抓取一个网站xxx.appspot.com,我需要登录我的Google帐户才能访问它,因为这个数据库需要验证,我是授权人员 当我做以下事情时: content=urllib.urlopen(target_url).read() 当然,我得到的“内容”只是一个登录页面。如何实现代码,以便爬虫程序可以在我进行实际爬虫之前登录Google帐户。尝试使用和 下面的代码对我登录gmail很有用。用你各自的ur

我是Python新手,我想使用Python来爬网几个需要Google帐户登录的网站。 例如,我想抓取一个网站xxx.appspot.com,我需要登录我的Google帐户才能访问它,因为这个数据库需要验证,我是授权人员

当我做以下事情时:

content=urllib.urlopen(target_url).read()
当然,我得到的“内容”只是一个登录页面。如何实现代码,以便爬虫程序可以在我进行实际爬虫之前登录Google帐户。

尝试使用和

下面的代码对我登录gmail很有用。用你各自的url和其他东西试试这个

import mechanize        

def gmaillogin():
    browser = mechanize.Browser(factory=mechanize.RobustFactory())
    browser.set_handle_robots(False)
    r = browser.open("https://accounts.google.com/ServiceLogin?service=mail&passive=true&rm=false&continue=http://mail.google.com/mail/&scc=1&ltmpl=default&ltmplcache=2&emr=1") 
    browser.select_form(nr=0)               
    browser.form["Email"] = "emailid"
    browser.form["Passwd"] = "password"    
    browser.submit()                        

    html = browser.response().readlines()    

    print browser.response().read()         




if __name__ == "__main__":
    gmaillogin()
尝试使用和

下面的代码对我登录gmail很有用。用你各自的url和其他东西试试这个

import mechanize        

def gmaillogin():
    browser = mechanize.Browser(factory=mechanize.RobustFactory())
    browser.set_handle_robots(False)
    r = browser.open("https://accounts.google.com/ServiceLogin?service=mail&passive=true&rm=false&continue=http://mail.google.com/mail/&scc=1&ltmpl=default&ltmplcache=2&emr=1") 
    browser.select_form(nr=0)               
    browser.form["Email"] = "emailid"
    browser.form["Passwd"] = "password"    
    browser.submit()                        

    html = browser.response().readlines()    

    print browser.response().read()         




if __name__ == "__main__":
    gmaillogin()
这将帮助您从邮件中获取基本数据,您可以使用许多方法从邮件中获取数据,如读邮件、未读邮件、垃圾邮件和许多其他方法。您可以在找到更多的方法,请随时返回


这将帮助您从邮件中获取基本数据,您可以使用许多方法从邮件中获取数据,如读邮件、未读邮件、垃圾邮件和许多其他方法。您可以在找到更多方法,请随时返回。

谢谢。你的代码是一个很好的例子,基于你的代码,我成功地编写了我想要的代码。谢谢。您的代码确实是一个很好的示例,基于您的代码,我成功地编写了所需的代码。