Python请求不返回整页内容

Python请求不返回整页内容,python,beautifulsoup,python-requests,Python,Beautifulsoup,Python Requests,目前,我正在开发一个Python程序,使用Python脚本从sec.gov提取EDGAR数据。我试图从中提取数据的页面是 在我看来,这个页面上的数据是静态的,这就是我试图使用Beauty Soup和Python请求模块来提取数据的原因。这是我的剧本: import requests from bs4 import BeautifulSoup from faker import Faker fake = Faker() dataLink = "https://www.sec.gov/A

目前,我正在开发一个Python程序,使用Python脚本从sec.gov提取EDGAR数据。我试图从中提取数据的页面是

在我看来,这个页面上的数据是静态的,这就是我试图使用Beauty Soup和Python请求模块来提取数据的原因。这是我的剧本:

import requests
from bs4 import BeautifulSoup
from faker import Faker

fake = Faker()
dataLink = "https://www.sec.gov/Archives/edgar/data/1596783/000159678320000155/0001596783-20-000155.txt"
resp = requests.get(url=dataLink, verify=False, headers={"User-Agent":fake.chrome()})
soup = BeautifulSoup(response.content, 'xml')
print(soup.prettify())

当我运行这段代码时,返回中的数据甚至与我从中提取数据的网页上列出的数据的条目数都不相同。有人知道为什么我的HTTP请求返回的数据会比我检查网页时显示的数据少得多吗?

对于
resp
,您的意思是
response
?如果您太频繁地运行此请求,SEC会限制请求的数量。这可能是您遇到的情况吗?如果它限制了您,那么我建议您将
resp.content
写入本地HTML文件,并从该文件开始工作。我确信在10个请求/秒的准则范围内,因此我不认为我受到限制