在python中将任何编码转换为utf8?

在python中将任何编码转换为utf8?,python,unicode,encoding,utf-8,character-encoding,Python,Unicode,Encoding,Utf 8,Character Encoding,我从不同的网站抓取网页,他们有不同的编码。我得到的一个编码示例是- 大5 TIS-620 utf-16le 班次 EUC-JP 麦克西里尔式 koi8-r 除了更常见的编码之外。通过使用上面的编码进行解码,我可以获得网页的unicode源代码 我的问题是:我想将所有文件存储为utf8。如果我使用utf8编码unicode源代码,它是否适用于所有网页?utf8是否支持所有unicode代码点?简短而甜美。。。。。。。。对! 是的,UTF-8不过是一种以字节为单位存储整数的方案,这样较小的整数占

我从不同的网站抓取网页,他们有不同的编码。我得到的一个编码示例是-

  • 大5
  • TIS-620
  • utf-16le
  • 班次
  • EUC-JP
  • 麦克西里尔式
  • koi8-r
除了更常见的编码之外。通过使用上面的编码进行解码,我可以获得网页的unicode源代码


我的问题是:我想将所有文件存储为utf8。如果我使用utf8编码unicode源代码,它是否适用于所有网页?utf8是否支持所有unicode代码点?

简短而甜美。。。。。。。。对!

是的,UTF-8不过是一种以字节为单位存储整数的方案,这样较小的整数占用的字节就更少。结果是小于128的值存储在一个字节中,因此ASCII仍然是ASCII。UTF-8可以表示所有Unicode代码点。

名称的“UTF”部分代表Unicode转换格式:任何“UTF-…”编码都可以存储所有Unicode字符。