Python/BS4-在函数中使用列表作为输入

我目前正在开发一个网页刮板，现在我有了它，所以它可以抓取一个url列表。我需要它在soup函数中使用它一次生成一个列表中的每个url，以从每个页面获得我想要的html输出

例如：

my_list = ['www.google1213.com', 'www.yahoo123.com', 'www.apples123.com']

def main():

    url = input('URL: ') #List goes here
    currentDT = datetime.datetime.now() 
    scraper = cfscrape.create_scraper() 
    response = scraper.get(url).content
    soup = BeautifulSoup(response,"lxml")
    #etc...#

while True:
main()

---

如果有人能帮我让我的列表发送它的内容，这样我就可以一次一个地抓取每个url，我将非常感谢

您可以使用一个简单的for循环：

def main():
    for url in my_list:
        currentDT = datetime.now()
        scraper = cfscrape.create_scraper()
        response = scraper.get(url).content
        soup = BeautifulSoup(response,"lxml")

for url in my_list:
    print(url)
    # do your scrapping stuff...

---

Ps：也许你也应该限制每秒的请求。否则，一些网站会在几次尝试后阻止您。

您可以使用一个简单的for循环：

for url in my_list:
    print(url)
    # do your scrapping stuff...

---

Ps：也许你也应该限制每秒的请求。否则，一些网站会在几次尝试后阻止您。

谢谢，我为此挣扎了一天。谢谢，我为此挣扎了一天。