Python-在Google中搜索并收集标题和描述
我需要在谷歌搜索几个字从CSV文件,并收集从谷歌搜索-网址,谷歌描述和标题 我设法编写了一个脚本来搜索单词,只收集URL,并将结果存储在CSV文件中。我不知道如何收集标题和谷歌描述。此外,如果我搜索的单词没有找到,我需要返回“缺少结果”Python-在Google中搜索并收集标题和描述,python,pandas,search,web-scraping,beautifulsoup,Python,Pandas,Search,Web Scraping,Beautifulsoup,我需要在谷歌搜索几个字从CSV文件,并收集从谷歌搜索-网址,谷歌描述和标题 我设法编写了一个脚本来搜索单词,只收集URL,并将结果存储在CSV文件中。我不知道如何收集标题和谷歌描述。此外,如果我搜索的单词没有找到,我需要返回“缺少结果” from bs4 import BeautifulSoup from googlesearch import search import pandas as pd keywords = pd.read_csv('keywords.csv', header=0,
from bs4 import BeautifulSoup
from googlesearch import search
import pandas as pd
keywords = pd.read_csv('keywords.csv', header=0, index_col=None)
#print(keywords['keyword'])
df = pd.DataFrame(columns=['keyword', 'url'])
for i in keywords['keyword']:
print('Search results for keyword: ', i)
count = 0
for j in search(i, tld="co.in", num=10, stop=3, pause=2, lang='en'):
count = count + 1
print('URL number ',count, ': ', j)
df = df.append({'keyword': i, 'url': j}, ignore_index=True)
df.to_csv(r'final_dataset.csv', index=False)
你需要提供更多关于搜索的信息(i,tld=“co.in”,num=10,stop=3,pause=2,lang='en')@JackFleeting还有很多,谷歌机械化变得更难了。不管你做什么。它将捕获ip并阻止它。就目前而言,使用serpapi或zenserp是一个很好的解决方案。您需要提供有关
搜索的更多信息(i,tld=“co.in”,num=10,stop=3,pause=2,lang='en')
@JackFleeting还有很多,google mechanize变得更难了。不管你做什么。它将捕获ip并阻止它。就目前而言,使用serpapi或zenserp是一个很好的解决方案。