Python CNN(美丽的汤)头条新闻
我正在做一个项目,我想从CNN的某些主题上抓取文章标题和发布日期。我以前做过一些抓取工作(从Wiki中提取一些表),但这次未能提取我想要的信息。这是我的密码:Python CNN(美丽的汤)头条新闻,python,beautifulsoup,Python,Beautifulsoup,我正在做一个项目,我想从CNN的某些主题上抓取文章标题和发布日期。我以前做过一些抓取工作(从Wiki中提取一些表),但这次未能提取我想要的信息。这是我的密码: import requests from bs4 import BeautifulSoup link = 'https://www.cnn.com/search?q=tesla&size=10&category=us' cnn = requests.get(link) soup = BeautifulSoup(cnn)
import requests
from bs4 import BeautifulSoup
link = 'https://www.cnn.com/search?q=tesla&size=10&category=us'
cnn = requests.get(link)
soup = BeautifulSoup(cnn)
soup.find_all(class_="cnn-search__result-headline")
我没有从这个密码中得到任何信息。我试图找出这个问题,但没有得到解决,这困扰了我两天。如果有人能帮我解决这个问题,我将不胜感激。是否需要配上漂亮的汤?我发现使用python的Selenium可以提供很好的结果,而且非常简单。您需要解析cnn.content而不是cnnIt。cnn似乎通过javascript加载标题和其他数据。BeautifulSoup不做javascript。我会用硒来代替,明白了。我以前从未学过javascript,所以我不知道这里发生了什么。我会试试硒,谢谢你的帮助!!!这回答了你的问题吗?