Python 如何从IMDB网站获取电影信息?

Python 如何从IMDB网站获取电影信息?,python,loops,web-scraping,imdb,imdbpy,Python,Loops,Web Scraping,Imdb,Imdbpy,我是Python新手,正在尝试使用IMDB。我正在抓取一份250部顶级IMDB电影的列表,并希望在每个独特的网站上获得信息,例如每部电影的长度 我已经有一个独特的网址列表。所以,我想循环这个列表,对于这个列表中的每个URL,我想检索那个电影的“长度”。这可以在一个代码中完成吗 for URL in urlofmovie: htmlsource = requests.get(URL) tree_url = html.fromstring(htmlsource) length

我是Python新手,正在尝试使用IMDB。我正在抓取一份250部顶级IMDB电影的列表,并希望在每个独特的网站上获得信息,例如每部电影的长度

我已经有一个独特的网址列表。所以,我想循环这个列表,对于这个列表中的每个URL,我想检索那个电影的“长度”。这可以在一个代码中完成吗

for URL in urlofmovie:
    htmlsource = requests.get(URL)
    tree_url = html.fromstring(htmlsource)
    lengthofmovie = tree_url.xpath('//*[@class="subtext"]')

我希望
lengthofmovie
将成为所有电影长度的列表。但是,它在第2行已经出错了:
htmlsource

要使它成为一个列表,您应该首先创建一个列表,然后将每个长度附加到该列表中

length_list = []
for URL in urlofmovie:
    htmlsource = requests.get(URL)
    tree_url = html.fromstring(htmlsource)
    length_list.append(tree_url.xpath('//*[@class="subtext"]'))

小提示:既然你是Python新手,我建议你去看看。变量命名可以使您(和其他开发人员)的生活更轻松。(电影的URL->电影的URL)


但是,第2行的htmlsource已经出了问题


请提供您收到的例外情况。

要将其列为列表,您应首先创建一个列表,然后将每个长度附加到该列表中

length_list = []
for URL in urlofmovie:
    htmlsource = requests.get(URL)
    tree_url = html.fromstring(htmlsource)
    length_list.append(tree_url.xpath('//*[@class="subtext"]'))

小提示:既然你是Python新手,我建议你去看看。变量命名可以使您(和其他开发人员)的生活更轻松。(电影的URL->电影的URL)


但是,第2行的htmlsource已经出了问题


请提供您收到的例外情况。

在urlofmovie中有什么?你能发布完整的代码吗。你得到了什么错误?可能重复“我希望‘lengthofmovie’将成为所有长度电影的列表”=>不会-没有语言具有读心能力,因此如果你想要一个列表,你必须使用列表。”但是,第2行:htmlsource已经出了问题。=>这是另一个问题。请每个问题贴一个问题。此外,当代码中出现错误时,应该发布准确的错误消息和完整的回溯-但在这种情况下,错误很可能是由于
请求造成的。get
返回一个
HTTPResponse
对象,而不是字符串。您想要的是响应的
.text
属性(cf
requests
doc)。如果我向您建议一种更好的方法怎么办?在这里试试这个-在urlofmovie里有什么?你能发布完整的代码吗。你得到了什么错误?可能重复“我希望‘lengthofmovie’将成为所有长度电影的列表”=>不会-没有语言具有读心能力,因此如果你想要一个列表,你必须使用列表。”但是,第2行:htmlsource已经出了问题。=>这是另一个问题。请每个问题贴一个问题。此外,当代码中出现错误时,应该发布准确的错误消息和完整的回溯-但在这种情况下,错误很可能是由于
请求造成的。get
返回一个
HTTPResponse
对象,而不是字符串。您想要的是响应的
.text
属性(cf
requests
doc)。如果我向您建议一种更好的方法怎么办?试试这个-