Python 在抓取时以谷歌支持的形式提交价值

我正在尝试使用Mechanize和BS4来创建一个在线食品订购网站。我面临的问题是，该网站有一个表单，它将位置作为谷歌提供的输入。当我尝试使用此方法填充时：

from bs4 import BeautifulSoup as bs
import requests, lxml, mechanize

url = raw_input("Enter URL: ")
browser = mechanize.Browser()
browser.open(url)

# 'placeSelectionForm' is the name of the input-field
browser.select_form(name='placeSelectionForm')
control1 = browser.form.controls[0]
control1._value = 'Koramangala'
browser.submit()
soup = bs(browser.response().read(), "lxml")
print soup.prettify()

该脚本对于我制作的普通django表单非常有效。但这里的问题是，谷歌支持的表单使用的是自动完成api，如下所示：

因此，当我键入某个位置的首字母时，会有自动完成的建议，只要我选择一个选项，表单就会自动提交，我就会被带到一个新的URL

现在，新页面的URL存在的问题是，无论我在表单中选择了什么选项，URL都保持不变，响应中的值也会随着我在上一页上选择的选项而相应变化

---

如何使用Mechanize或BS4等工具填写此表单（由Google maps api提供支持）？

这是一个相当重的Javascript“重”网站，您可能会发现使用

Mechanize

很难实现自动化。以下是您如何进行搜索、选择其中一个建议并等待加载结果的方法：

---

我添加了一些评论以使事情更清楚。如果您想让我扩展代码的任何部分，请告诉我。

该网站似乎使用了大量Javascript，因此您可能会发现使用Mechanize（无法执行Javascript）很困难。您可以使用浏览器的开发人员工具查看发送了哪些GET/POST请求，然后尝试使用这些工具模拟这些请求。这也可能很困难，所以使用类似的东西可能更容易。它工作得非常好。您是如何决定webdriver等待时间的数字10的？@vanguard69我认为这只是一个实用价值。请注意，每500毫秒检查一次预期情况将等待10秒。听起来不错，不知道500毫秒的EC检查。顺便说一句，硒的作用就像一种魅力。

# -*- coding: utf-8 -*-
from selenium.webdriver.common.by import By
from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC


driver = webdriver.Firefox()
driver.maximize_window()
driver.get('http://www.swiggy.com/bangalore')

# wait for input to appear and make a search
wait = WebDriverWait(driver, 10)
wait.until(EC.visibility_of_element_located((By.ID, "pac-input"))).send_keys("Koramangala")

# wait for suggestions to appear
wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, "div.pac-container div.pac-item")))

# choose the first suggestion
suggestions = driver.find_elements_by_css_selector("div.pac-container div.pac-item")
suggestions[0].click()

# wait for results to load
wait.until(EC.visibility_of_element_located((By.ID, "restaurants")))

# TODO: extract results