Python 如何将多个链接中的数据循环到单个csv中
我正在使用BeautifulSoup来刮取一些数据并将其插入CSV文件中,我正在使用while循环来完成这项工作 但是,有没有一种方法可以将所有数据放在一个CSV文件中,而不是放在20个不同的CSV文件中Python 如何将多个链接中的数据循环到单个csv中,python,pandas,loops,beautifulsoup,Python,Pandas,Loops,Beautifulsoup,我正在使用BeautifulSoup来刮取一些数据并将其插入CSV文件中,我正在使用while循环来完成这项工作 但是,有没有一种方法可以将所有数据放在一个CSV文件中,而不是放在20个不同的CSV文件中 def make_soup(url): thepage =urllib.request.urlopen(url) soupdata = BeautifulSoup(thepage, 'lxml') return soupdata day = 1 while
def make_soup(url):
thepage =urllib.request.urlopen(url)
soupdata = BeautifulSoup(thepage, 'lxml')
return soupdata
day = 1
while (day<20):
soup = make_soup("http://link"+str(day))
data_list= [record.text for record in soup.find_all("td")]
py=pd.DataFrame(data_list)
date=py.iloc[24:-11]
plist = pd.concat([date.iloc[s:s+3].reset_index(drop=True).T for s in
range(0,len(date), 3)]).reset_index(drop=True)
plist.columns = ['Salary','Name',"Time"]
day = day + 1
results=plist.to_csv("result"+str(day)+".csv")
def make_汤(url):
页面=urllib.request.urlopen(url)
soupdata=BeautifulSoup(页面“lxml”)
返回soupdata
天=1
而(日使用pd.concat
将20个plists连接在一起,然后在末尾导出:
day = 1
plists = []
while day < 20:
...
day += 1
plists.append(plist)
pd.concat(plists, ignore_index=True).to_csv('all_plist.csv')
day=1
plists=[]
白天<20时:
...
天数+=1
plists.append(plist)
pd.concat(plists,ignore_index=True)。to_csv('all_plist.csv'))