Python 美丽集团</部门>；刮削突然停止工作

我正试图从美国宇航局的网站上搜刮一些

div

s，并将所有内容列在一个列表中此代码早些时候起作用，但突然决定不起作用。除了添加一些print语句外，我没有故意更改任何内容，所有这些语句都不返回任何内容或

[]

没有任何错误

import re
import urllib2 
from BeautifulSoup import BeautifulSoup as soup
import ssl


url = "https://climate.nasa.gov"
context = ssl._create_unverified_context()
gcontext = ssl.SSLContext(ssl.PROTOCOL_TLSv1)
web_soup = soup(urllib2.urlopen(url,  context=context))

l = []

# get main-content div
main_div = web_soup.findAll(name="div", attrs={'class': 'change_number'})
print main_div
for element in main_div:
    print element
    l.append(float(str(element)[27:-7]))

print l

如果您能帮我找出这个突然的错误，我们将不胜感激

更新1：刚在解释器中尝试过，同样失败

main\u div

似乎正在返回

[]

UPDATE2：只需检查网站以确保div

change\u编号

存在。是的

更新3：现在我真的很困惑。我有这个代码，我很确定它与上面的代码基本相同：

import re
import urllib2 
from BeautifulSoup import BeautifulSoup as soup
import ssl


url = "https://climate.nasa.gov"
context = ssl._create_unverified_context()
gcontext = ssl.SSLContext(ssl.PROTOCOL_TLSv1)
web_soup = soup(urllib2.urlopen(url,  context=context))

l = []

# get main-content div
main_div = web_soup.findAll(name="div", attrs={'class': 'change_number'})
for element in main_div:
    print element
    l.append(float(str(element)[27:-7]))

print l

但它在websoup定义行上抛出了一个

unicodeincoder错误：

Traceback (most recent call last):
  File "climate_nasa_change.py", line 10, in <module>
    web_soup = soup(urllib2.urlopen(url,  context=context))
  File "C:\Python27\lib\site-packages\BeautifulSoup.py", line 1522, in __init__
    BeautifulStoneSoup.__init__(self, *args, **kwargs)
  File "C:\Python27\lib\site-packages\BeautifulSoup.py", line 1147, in __init__
    self._feed(isHTML=isHTML)
  File "C:\Python27\lib\site-packages\BeautifulSoup.py", line 1189, in _feed
    SGMLParser.feed(self, markup)
  File "C:\Python27\lib\sgmllib.py", line 104, in feed
    self.goahead(0)
  File "C:\Python27\lib\sgmllib.py", line 143, in goahead
    k = self.parse_endtag(i)
  File "C:\Python27\lib\sgmllib.py", line 320, in parse_endtag
    self.finish_endtag(tag)
  File "C:\Python27\lib\sgmllib.py", line 358, in finish_endtag
    method = getattr(self, 'end_' + tag)
UnicodeEncodeError: 'ascii' codec can't encode characters in position 11-12: ordinal not in range(128)

回溯（最近一次呼叫最后一次）：
文件“climate_nasa_change.py”，第10行，在
web_soup=soup（urllib2.urlopen（url，context=context））
文件“C:\Python27\lib\site packages\BeautifulSoup.py”，第1522行，在\uuu init中__
美化ToneSoop.uuu初始_uuuu（self，*args，**kwargs）
文件“C:\Python27\lib\site packages\BeautifulSoup.py”，第1147行，在\uuu init中__
自馈（isHTML=isHTML）
文件“C:\Python27\lib\site packages\BeautifulSoup.py”，第1189行，在\u提要中
SGMLParser.feed（self，markup）
文件“C:\Python27\lib\sgmllib.py”，第104行，在提要中
自我激励（0）
goahead中第143行的文件“C:\Python27\lib\sgmllib.py”
k=self.parse_endtag（i）
parse_endtag中第320行的文件“C:\Python27\lib\sgmllib.py”
self.finish_endtag（标记）
文件“C:\Python27\lib\sgmllib.py”，第358行，在finish_endtag中
方法=getattr（自“结束”+标记）
UnicodeEncodeError:“ascii”编解码器无法对位置11-12中的字符进行编码：序号不在范围内（128）

更新4：aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa。我真的不知道现在到底发生了什么

更新5：现在它坏了。我发誓我不会改变。认真考虑清除我的电脑。请帮忙

更新6：刚刚尝试ping climate.nasa.gov。尽管页面一直在我的浏览器中加载，但它并不总是通过。这可能会导致BeautifulSoup失败吗？
问题是站点有时返回gzip编码的响应，有时返回纯文本。

如果使用
请求
，您可以轻松解决此问题，因为它会自动解码内容：

web_soup = soup(requests.get(url, verify=False).text)  

请注意，
请求
不是标准库，您必须安装它。

如果您坚持使用
urlib2
，您可以使用
zlib
对响应进行解码，如果响应已编码：

decode = lambda response : zlib.decompress(response, 16 + zlib.MAX_WBITS) 
response = urllib2.urlopen(url,  context=context)
headers = response.info()
html = decode(response.read()) if headers.get('content-encoding') == 'gzip' else response
web_soup = soup(html)

我收到未定义的错误
请求
。请求是单独的模块还是在BeautifulSoup中？