Python-在Google中搜索并收集标题和描述

Python-在Google中搜索并收集标题和描述,python,pandas,search,web-scraping,beautifulsoup,Python,Pandas,Search,Web Scraping,Beautifulsoup,我需要在谷歌搜索几个字从CSV文件,并收集从谷歌搜索-网址,谷歌描述和标题 我设法编写了一个脚本来搜索单词,只收集URL,并将结果存储在CSV文件中。我不知道如何收集标题和谷歌描述。此外,如果我搜索的单词没有找到,我需要返回“缺少结果” from bs4 import BeautifulSoup from googlesearch import search import pandas as pd keywords = pd.read_csv('keywords.csv', header=0,

我需要在谷歌搜索几个字从CSV文件,并收集从谷歌搜索-网址,谷歌描述和标题

我设法编写了一个脚本来搜索单词,只收集URL,并将结果存储在CSV文件中。我不知道如何收集标题和谷歌描述。此外,如果我搜索的单词没有找到,我需要返回“缺少结果”

from bs4 import BeautifulSoup
from googlesearch import search
import pandas as pd

keywords = pd.read_csv('keywords.csv', header=0, index_col=None)

#print(keywords['keyword'])

df = pd.DataFrame(columns=['keyword', 'url'])

for i in keywords['keyword']:
    print('Search results for keyword: ', i)
    count = 0
    for j in search(i, tld="co.in", num=10, stop=3, pause=2, lang='en'):
        count = count + 1
        print('URL number ',count, ': ', j)
        df = df.append({'keyword': i, 'url': j}, ignore_index=True)

df.to_csv(r'final_dataset.csv', index=False)

你需要提供更多关于搜索的信息(i,tld=“co.in”,num=10,stop=3,pause=2,lang='en')@JackFleeting还有很多,谷歌机械化变得更难了。不管你做什么。它将捕获ip并阻止它。就目前而言,使用serpapi或zenserp是一个很好的解决方案。您需要提供有关
搜索的更多信息(i,tld=“co.in”,num=10,stop=3,pause=2,lang='en')
@JackFleeting还有很多,google mechanize变得更难了。不管你做什么。它将捕获ip并阻止它。就目前而言,使用serpapi或zenserp是一个很好的解决方案。