Python请求花费的时间比预期的要长得多

Python请求花费的时间比预期的要长得多,python,python-requests,Python,Python Requests,我正试图从这个返回JSON文件的URL中获取信息 页面在我的浏览器上加载不到一秒钟,但使用请求大约需要10秒钟。有没有关于为什么需要这么长时间以及如何改变这一点的建议 import requests from bs4 import BeautifulSoup import json import pandas as pd URL = 'https://www.lowes.com/IntegrationServices/resources/storeLocator/json/v2_0/store

我正试图从这个返回JSON文件的URL中获取信息

页面在我的浏览器上加载不到一秒钟,但使用请求大约需要10秒钟。有没有关于为什么需要这么长时间以及如何改变这一点的建议

import requests
from bs4 import BeautifulSoup
import json
import pandas as pd

URL = 'https://www.lowes.com/IntegrationServices/resources/storeLocator/json/v2_0/stores?langId=-1&storeId=10702&catalogId=10051&place=10001&count=25'

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36"}
page = requests.get(URL, headers=headers )
soup = BeautifulSoup(page.content, 'html.parser')
site_json = json.loads(soup.text)


df = pd.DataFrame.from_dict(site_json)

first_row = pd.Series(df.iloc[0]['Location'])

print(first_row)


(我还意识到,在将其转换为数据库时,我可能正在执行额外的步骤,我习惯于从HTML中刮取数据……这仍然有效)

对于我来说,更改用户代理似乎可以解决问题,例如:

标题={
“用户代理”:“Mozilla/5.0(X11;CrOS x86_64 12871.102.0)AppleWebKit/537.36(KHTML,类似Gecko)Chrome/81.0.4044.141 Safari/537.36”
}
问题可能与Lowes的API服务器拒绝或延迟对未识别/不常见用户代理的响应有关。可以找到当前Chrome用户代理值的列表