Python 如何将txt中的一行url放在我的请求和保存函数中?
我对python真的很陌生,但我真的很想制作一个webscraping应用程序,它将查找一个流行的图片共享网站的图库,并下载人们上传的前15个最新内容。我甚至将URL定向到JPG并将其保存到txt文件中。然后我打开文件,尝试逐行读取,然后下载带有请求的JPG,并使用uuid将它们保存到不同的文件中,以生成它们的随机文件名。我的最终目标是写一些东西,将自动分类的图片上传随机的人,如猫,狗,家具等 我试着研究这个话题,但我真的很困惑。希望得到一些反馈Python 如何将txt中的一行url放在我的请求和保存函数中?,python,python-3.x,file,Python,Python 3.x,File,我对python真的很陌生,但我真的很想制作一个webscraping应用程序,它将查找一个流行的图片共享网站的图库,并下载人们上传的前15个最新内容。我甚至将URL定向到JPG并将其保存到txt文件中。然后我打开文件,尝试逐行读取,然后下载带有请求的JPG,并使用uuid将它们保存到不同的文件中,以生成它们的随机文件名。我的最终目标是写一些东西,将自动分类的图片上传随机的人,如猫,狗,家具等 我试着研究这个话题,但我真的很困惑。希望得到一些反馈 import requests from bs4
import requests
from bs4 import BeautifulSoup
import re
link = 'link'
ip = '176.88.217.170:8080'
proxies = {
'http': ip,
'https': ip,
}
r = requests.get(link, proxies=proxies)
import uuid
unique_filename = str(uuid.uuid4())
print(unique_filename)
#r = requests.get(link)
c = r.content
bs = BeautifulSoup(c, 'html.parser')
images = bs.find_all('img', {'src':re.compile('_tn.jpg')})
with open('data.txt', 'w') as f:
for image in images:
f.write(image['src']+'\n')
print('done')
for mentes in images:
with open('data.txt', 'r+') as read:
cnt = 0
for line in read:
line = line.strip()
line = read.readline()
cnt += 1
print(cnt)
print(line)
with open(unique_filename +'.jpg' , 'wb') as kep:
kep.write(requests.get(line , proxies=proxies).content)
print(line)
kep.close()
print('saved')
我想用一个随机生成的名称将这些抓取的图像保存为jpgs,以备将来使用
我主要是想问一个方向或建议,因为我缺乏逻辑和技能,我应该多查些什么。你需要
data.txt
文件吗?你不能把这15个URL保存在内存中吗?
无论如何,如果我理解正确的话,主要的问题是从url获取一个指向该图像的图像。在这种情况下,可能会对您有所帮助。一种方法是:
import urllib.request
with open('data.txt', 'r+') as data_file:
urls = data_file.read()
for url in urls:
unique_filename = str(uuid.uuid4()) + '.jpg'
with open(unique_filename, 'wb') as jpeg_file:
online_file = urllib.request.urlopen(url)
jpeg_file.write(online_file.read())
谢谢你的回复。是的,你正确地理解了我的问题。。我将文件存储在txt中,因为。。。嗯。。。我想学习如何操作文件。。事实证明,这比预期的要难。你的回答帮了大忙:)我会继续阅读和尝试。再次感谢