Python 3.x 如何将此web Scriped数据导出到csv文件中?
我对编码和网页抓取非常陌生,我一直在youtube上观看大量教程,但找不到将这些数据写入csv文件的方法。 有人能帮忙吗Python 3.x 如何将此web Scriped数据导出到csv文件中?,python-3.x,selenium-webdriver,web-scraping,beautifulsoup,export-to-csv,Python 3.x,Selenium Webdriver,Web Scraping,Beautifulsoup,Export To Csv,我对编码和网页抓取非常陌生,我一直在youtube上观看大量教程,但找不到将这些数据写入csv文件的方法。 有人能帮忙吗 将熊猫作为pd导入 从selenium导入webdriver 从selenium.webdriver.chrome.options导入选项 从bs4导入BeautifulSoup 选项=选项() 选项。添加参数(“窗口大小=1400600”) 从fake_useragent导入useragent ua=UserAgent() a=ua.random 用户\代理=ua.rand
将熊猫作为pd导入
从selenium导入webdriver
从selenium.webdriver.chrome.options导入选项
从bs4导入BeautifulSoup
选项=选项()
选项。添加参数(“窗口大小=1400600”)
从fake_useragent导入useragent
ua=UserAgent()
a=ua.random
用户\代理=ua.random
打印(用户/代理)
options.add_参数(f'user-agent={user_-agent}')
driver=webdriver.Chrome('/Users/raduulea/Documents/chromedriver',options=options)
司机,上车https://www.immoweb.be/fr/recherche/immeuble-de-rapport/a-vendre')
导入时间
时间。睡眠(10)
html=driver.page\u源
soup=BeautifulSoup(html,'html.parser')
results=soup.find_all(“div”,“class”:“result xl”})
对于结果中的结果:
打印(result.find(“div”,“class”:“标题栏左侧”}).get_text()
打印(result.find(“span”,{“result address”}).get_text()
打印(result.find(“div”,“class”:“xl price rangePrice”}).get_text())
打印(result.find(“div”,“class”:“xl surface ch”}).get_text())
打印(result.find(“div”,“class”:“xl desc”}).get_text())
使用数据框
在其中添加数据。然后导出到CSV文件,这更容易
import pandas as pd
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
options = Options()
options.add_argument("window-size=1400,600")
from fake_useragent import UserAgent
ua = UserAgent()
a = ua.random
user_agent = ua.random
print(user_agent)
options.add_argument(f'user-agent={user_agent}')
driver = webdriver.Chrome('/Users/raduulea/Documents/chromedriver', options=options)
driver.get('https://www.immoweb.be/fr/recherche/immeuble-de-rapport/a-vendre')
import time
time.sleep(10)
html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')
results = soup.find_all("div", {"class":"result-xl"})
title=[]
address=[]
price=[]
surface=[]
desc=[]
for result in results:
title.append(result.find("div", {"class":"title-bar-left"}).get_text().strip())
address.append(result.find("span", {"result-adress"}).get_text().strip())
price.append(result.find("div", {"class":"xl-price rangePrice"}).get_text().strip())
surface.append(result.find("div", {"class":"xl-surface-ch"}).get_text().strip())
desc.append(result.find("div", {"class":"xl-desc"}).get_text().strip())
df = pd.DataFrame({"Title":title,"Address":address,"Price:":price,"Surface" : surface,"Description":desc})
df.to_csv("output.csv")
输出:
您的csv文件如下所示
非常感谢!你在我的项目上帮了我这么多,我现在要自己努力前进,但是我在这个问题上被阻止了很长一段时间!成功了!谢谢:)