Python BeautifulSoup在版权符号上美化失败

我收到一个Unicode错误：

UnicodeEncodeError:“charmap”编解码器无法对822位置的字符u'\xa9'进行编码：字符映射到

这似乎是一个标准的版权符号，在HTML中为©。我一直没能找到一个办法克服这一点。我甚至尝试了一个自定义函数来用空格替换copy，但同样的错误也失败了

import sys
import pprint
import mechanize
import cookielib
from bs4 import BeautifulSoup
import html2text
import lxml

def MakePretty():

def ChangeCopy(S):
    return S.replace(chr(169)," ")
br = mechanize.Browser()

# Cookie Jar
cj = cookielib.LWPCookieJar()
br.set_cookiejar(cj)

# Browser options
br.set_handle_equiv(True)
#br.set_handle_gzip(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)

# Follows refresh 0 but not hangs on refresh > 0
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)

# User-Agent (this is cheating, ok?)
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]

# The site we will navigate into, handling its session
# Open the site
br.open('http://www.thesitewizard.com/faqs/copyright-symbol.shtml')
html = br.response().read()
soup = BeautifulSoup(html)
print soup.prettify()

if __name__ == '__main__':
    MakePretty()

我如何通过版权符号来美化？我在网上搜索了一个没有结果的解决方案（或者我可能不理解，因为我对Python和scraping相当陌生）

感谢您的帮助。

发送页面时未指定字符编码。页面本身在

meta

标记中将编码指定为ISO-8859-1，但仅在出现“©字符之后。因此，客户必须做出猜测，而猜测可能是错误的。如果客户机猜测UTF-8，那么它将看到位A9，这是UTF-8数据中的数据错误

---

因此，在读取数据时，似乎需要将编码设置为（ISO-8859-1，或者更安全地设置为windows-1252）。这当然只是一个临时解决方案；一般来说，修复编码是没有意义的。

您使用的是

chr（）

，这在这里是错误的，因为它需要ASCII，并且只能达到127/0x7F（尽管有流行的民间传说，ASCII仅为7位）。0xA9/©是Unicode，因此您应该使用

unichr（169）

。

仅在格式化程序函数中更改为unichr不起作用。最终使用decode（formatter=blah）返回未格式化的html，但没有版权符号。保存html并将其输入到prettify中，这就成功了。

我也遇到了同样的问题。这可能适用于您：

---

打印soup.prettify（）.encode（'UTF-8'）

页面使用什么编码？可能是由于控制台/环境设置不正确造成的。请参阅：@sliders\u alpha：我相信这是因为（在OP的情况下），BeautifuSoup错误地猜测了页面的编码。See在韩文页面上也有同样的问题。我想知道为什么美丽的汤在默认情况下不使用utf8。。。页面的字符集也被定义为utf8…5年后，这个解决方案也让我崩溃了。：）没有“编码（'UTF-8'）”对我来说确实有效。。砰的一声，亲爱的，我们在谈论“）；我在回答中已经解决了这个问题。