Python爬虫问题

Python爬虫问题,python,web-crawler,postman,Python,Web Crawler,Postman,我有一个问题,我不能解决自己,因为它似乎,我希望这里的人可能有另一个想法,可以帮助我 我的计划是从comtrade抓取几个国家和时间段的数据,但即使是我的第一个电话也不起作用。我想要发送get请求的URL是,如果我在postman中输入这些数据,我会得到一个包含大量数据集的正确响应,但是如果我尝试从python中获取响应,我会得到响应 “{'Message':'不允许使用空参数或空值。有关详细信息,请访问'}” 相反。API不接受任何身份验证,我也没有设置任何头,也没有对postman做任何其他

我有一个问题,我不能解决自己,因为它似乎,我希望这里的人可能有另一个想法,可以帮助我

我的计划是从comtrade抓取几个国家和时间段的数据,但即使是我的第一个电话也不起作用。我想要发送get请求的URL是,如果我在postman中输入这些数据,我会得到一个包含大量数据集的正确响应,但是如果我尝试从python中获取响应,我会得到响应

“{'Message':'不允许使用空参数或空值。有关详细信息,请访问'}”

相反。API不接受任何身份验证,我也没有设置任何头,也没有对postman做任何其他类型的更改,但它在那里工作

请看一下我的代码,告诉我我做错了什么。我错过什么了吗

您可以使用上面提到的URL每小时尝试100次,也许您可以找到一种方法:)

我的代码:

import json
import requests
url = "http://comtrade.un.org/api/get?&r=32&freq=A&ps=2013&px=H4&cc=AG6&type=C&rg=2&p=0&head=M"
f = requests.get(url, timeout=300)
x = json.loads(f.text)
print(x)

url格式不正确,应将
?&
替换为
,以便正确的url变为:
url格式不正确,应将
?&
替换为
,以便正确的url变成:

希望能有帮助


希望有帮助。

我认为Postman会在发送请求之前自动修复uri,这就是为什么它可能在Postman中起作用的原因。这回答了你的问题吗?非常感谢,是的,是邪恶的“&”角色。它现在可以工作了:)我认为Postman会在发送请求之前自动修复uri,这就是为什么它可能在Postman中工作的原因。这回答了你的问题吗?非常感谢,是的,是邪恶的“&”角色。现在可以了:)
import json
import requests
url = "http://comtrade.un.org/api/get?r=32&freq=A&ps=2013&px=H4&cc=AG6&type=C&rg=2&p=0&head=M"
f = requests.get(url, timeout=300)
x = json.loads(f.text)
print(x)