Python 无法对网站进行爬网

我想爬网，但我有一些麻烦，我需要打开每一个链接的好，得到它的信息，并保存在.html每一个好的网页 现在我只能打印页面上的所有链接

from bs4 import BeautifulSoup as soup
from urllib.request import urlopen as uReq
import requests
import urllib3
import ssl
from requests import request

urllib3.disable_warnings()

try:
    _create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
        pass
else:
    ssl._create_default_https_context = _create_unverified_https_context

PYTHONHTTPSVERIFY=0
    user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
headers = {'User-Agent': user_agent}
t = request('GET', url=my_url, headers=headers, verify=False).text
uClient = uReq(my_url)
page_html = uClient.read()
uClient.close()
page_soup = soup(page_html, "html.parser")

containers = page_soup.findAll("div", {"class": 'product'})

filename = "web.html"
f= open(filename, "w")

for containers in page_soup.findAll('div', attrs={'class': 'product'}):
    f.write(containers.a['href'] + '\n')
f.close()

---

您似乎试图从第一个URL获取URL列表，然后希望从每个URL获取一些信息。为此，需要对每个URL发出请求，并对每个URL进行单独的BeautifulSoup解析

一旦有了子页面，就可以提取信息，例如产品名称和价格

最后，您可以打印此信息或将其写入文件。最简单的方法是将其写入CSV文件。在这个例子中，我展示了如何将URL、名称和价格写为一行。CSV库自动正确格式化：

from urllib3.exceptions import InsecureRequestWarning
from bs4 import BeautifulSoup
import requests
import csv

requests.packages.urllib3.disable_warnings(category=InsecureRequestWarning)
my_url = 'https://franke-market.com.ua/moyki.html?on_page=100'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'}
req = requests.get(my_url, headers=headers, verify=False)
soup = BeautifulSoup(req.content, "html.parser")

with open("products.csv", "w", newline="") as f_output:
    csv_output = csv.writer(f_output)
    csv_output.writerow(['URL', 'Title', 'Price'])

    # Find the URLs for all the products
    for div in soup.find_all('div', attrs={'class': 'product'})[:5]:
        url = div.a['href']
        print(url)

        # For each URL, get the sub page and get the name and price
        req_sub = requests.get(url, headers=headers, verify=False)
        soup_sub = BeautifulSoup(req_sub.content, "html.parser")        
        title = soup_sub.find('h1', class_='title').text
        price_info = soup_sub.find('div', class_='price_info').span.text

        # Write the url, name and price as a CSV file
        csv_output.writerow([url, title, price_info])

给您和

output.csv

文件启动：

URL、标题、价格
https://franke-market.com.ua/franke_rol_610-38_101_0267_707_.html，Franke ROL 610-38（101.0267.707），91795
https://franke-market.com.ua/franke-pmn-611i-101.0255.790.html，Franke Pamira PMN 611i（101.0255.790），57935
https://franke-market.com.ua/franke_pxl_611-60_101_0330_655_.html，Franke PXL 611-60（101.0330.655），93222
https://franke-market.com.ua/franke-ron-610-41-101.0255.783.html，Franke Ron 610-41（101.0255.783），57939
https://franke-market.com.ua/franke_pxl_611-78_101_0330_657_.html，Franke PXL 611-78（101.0330.657），93223

---

然后可以将此文件打开到电子表格应用程序中

让我们从这个开始：为什么你提出两个相同的要求？只是想看看它是怎么工作的？我没有看到你在提出请求后使用

t

。t是用于ssl验证的，我肯定可以删除其中的一个，那就是nvm，我无法在所有页面中找到所有好的内容，并通过链接删除所有信息。到目前为止，你写了一个所有URL的列表。请回答您的问题，以显示您正试图从每个URL获取哪些信息。