Python 网络爬虫错误
我对Python一无所知。我将在一月份开始实习,他们希望我在开始实习之前尽可能多地掌握Python的最新知识。 所以我制作这个网络爬虫只是为了练习,我很确定我的代码是正确的。我有下面的代码,我可以发布它所引起的错误,但它实际上是来自请求包的错误页面。我能修好这个吗?这是我的代码还是有更深层次的东西 (我在此窗口中格式化代码时遇到问题,但在实际编辑器中格式正确,没有语法错误) 代码Python 网络爬虫错误,python,ssl,python-requests,Python,Ssl,Python Requests,我对Python一无所知。我将在一月份开始实习,他们希望我在开始实习之前尽可能多地掌握Python的最新知识。 所以我制作这个网络爬虫只是为了练习,我很确定我的代码是正确的。我有下面的代码,我可以发布它所引起的错误,但它实际上是来自请求包的错误页面。我能修好这个吗?这是我的代码还是有更深层次的东西 (我在此窗口中格式化代码时遇到问题,但在实际编辑器中格式正确,没有语法错误) 代码 import requests from bs4 import BeautifulSoup def trade_
import requests
from bs4 import BeautifulSoup
def trade_spider(max_pages):
page = 1
while page <= max_pages:
url = 'https://www.thenewboston.com/forum/recent_activity.php?page=' + str(page)
source_code = requests.get(url)
plain_text = source_code.text
soup = BeautifulSoup(plain_text)
for link in soup.findAll('a', {'class': 'title'}):
href = link.get('href')
print(href)
page += 1
trade_spider(3)
导入请求
从bs4导入BeautifulSoup
def trade_spider(最大页数):
页码=1
而page则使用source\u code=requests.get(url,verify=False)
来禁用SSL检查。让我直说吧。您完全不熟悉Python,这是您有史以来的第一个程序,并且您假设它的请求(所有Python库中最流行的库之一)已被破坏?您可能正在查找标题文本半黑体
类属性,而不是标题
。每个视频的链接上都有前者。@DanielRoseman他的意思是他的安装可能有错误或其他什么。的副本。接受的答案具有解决方案(对请求使用verify=False.get(…)