同福

Python编程中的字符串编码转换问题【20201012】

介绍

介绍

福哥今天给大家讲讲关于Python编程中的字符串编码转换的问题,这个问题在初学者编程时候会经常遇到,如果要弄清楚这里面的道道,还是需要好好学习一下的

什么是编码

所谓编码就是计算机标记一个汉字(或者是其他国家的文字)对应的数字,在不同编码里同样的一个汉字会对应不同的数字,比如:“福哥”在gbk编码里对应的是“205 172 184 163”,在gbk编码里一个汉字对应两个数字,而“福哥”在utf-8编码里对应的是“229 144 140 231 166 143”,在utf-8编码里一个汉字对应三个数字。

73ef94b3703063d7.jpg

常用编码

  • GBK,英文全称Chinese Internal Code Specification,中文全称《汉字内码扩展规范》,所谓的“国标”编码方式

  • UTF-8,英文全称Universal Character Set/Unicode Transformation Format,是比较通用的一种编码方式,支持几乎全部国家的语言文字

  • BIG5,大五码,是用于繁体汉字的编码方式

  • ISO8859-1,单字节编码,是早期用于英文的网页的编码方式

  • Unicode,统一码,就是所有国家的语言文字编码都会有一个方法转换成Unicode编码,然后Unicode编码又可以转换所有国家的语言文字编码。所以,python在进行编码转换时候都是先用decode转为unicode,再用encode转为目标编码

IDLE编码

在编辑器里定义的字符串常量也是有编码设置的,这个编码可以通过脚本“页头”进行声明

声明方法

在脚本页头使用coding指定脚本默认编码

662e8110d0a5375c.jpg声明编码之后,后面代码里出现的常量字符串都会是这个编码了

系统编码

在程序运行的时候也会有一个编码设置,这个编码就是系统编码,默认的系统编码是ascii编码,我们也可以通过sys这个软件库来设置它。

在我们使用print命令输出信息到控制台的时候,就会尝试使用系统编码进行显示了。而默认是ascii编码在很多情况下会出现无法解码的情况

查看系统编码

导入sys,查看系统编码

import sys

print sys.getdefaultencoding()

设置系统编码

导入sys,使用reload刷新sys,设置新的系统编码

import sys

reload(sys)
sys.setdefaultencoding("gbk")

编码转换

既然编码方式有那么多,我们从不同的媒介上提取到的数据就有可能是不同的编码方式的,如果要将这些数据统一成我们的代码使用的默认编码,就需要学会编码之间的转换方法。

直接编码转换

在python下可以通过字符串的decode和encode方法进行字符串的编码转换操作

通用的技巧就是先通过decode方法将字符串转成unicode编码,再通过encode方法将字符串转为指定的编码

示例

脚本默认是gbk编码,先转为utf-8编码,再转回gbk编码

orgStr = "我是福哥"

# print gbk
gbkStr = orgStr
print gbkStr

# gbk to utf-8
utf8Str = gbkStr.decode("gbk").encode("utf-8")
print utf8Str

# utf-8 to gbk
gbkStr = utf8Str.decode("utf-8").encode("gbk")
print gbkStr

数据库数据的编码

从数据库里提取到的数据也是有编码的,我们一定知道数据库里的数据的编码方式,之后就可以通过直接编码转换的方式进行转换了

示例

从数据库里查询出一个字段的数据,通过直接转换方法进行编码转换

import pymysql

# connect
cn = pymysql.connect("192.168.1.168","test","abcdef")
cs = cn.cursor()
cn.select_db("test")

# query and fetch
cs.execute("select * from test")
result = cs.fetchone()

# utf8 to gbk
utf8Str = result[1]
gbkStr = utf8Str.decode("utf-8").encode("gbk")
print gbkStr

网页数据的编码

使用selenium模拟浏览器获取网页上的内容数据也是有编码的,这种情况下怎么解决呢?

示例

使用selenium爬取到网页的内容,通过find命令获取到的元素上的文字,这个可以直接通过encode进行转换,因为selenium已经帮助我们把文字转换成unicode了

from selenium import webdriver

chromeOpts = webdriver.ChromeOptions()
chromeOpts.add_argument("--headless")
chromeOpts.add_argument("--disable-gpu")
chromeOpts.add_argument("--no-sandbox")
chrome = webdriver.Chrome(options=chromeOpts)

chrome.get("https://tongfu.net/")

unicodeStr = chrome.find_element_by_css_selector(".topic-title").text
gbkStr = unicodeStr.encode("gbk")
print (gbkStr)

IDLE编码、系统编码、数据编码

上面我们提到了几个概念,即:IDLE编码、系统编码、数据编码,它们之间是什么关系呢?

IDLE编码

这个又称之为编辑器编码,这个编码是告诉IDLE编辑器我们当前脚本里声明的字符串常量的编码是什么,如果没有特别指定的话,默认会是ascii编码,那样是无法使用中文的。

系统编码

有一些软件包为了使程序员开发方便,会自动进行一些数据的编码转换,在进行自动转换编码的时候所依据的就是系统编码了。

数据编码

数据编码是以变量为单位的,也就是说每一个变量都会有自己的编码方式,我们在编程的时候需要根据情况对它们进行统一,否则会出现意想不到的问题

字符串输出

如果要使字符串可以正常通过print命令输出到控制台上,需要保证IDLE编码和变量编码一致,或者变量编码为Unicode编码

程序编码的选择

在编写python程序的时候选择不同的编码是有区别的,我们可以选择GBK编码作为程序代码的编码,也可以选择UTF-8编码作为程序代码的编码。

福哥自己选择的是UTF-8编码作为程序代码的编码,在需要GBK的地方进行转码方式实现。

GBK优先

所谓GBK优先就是py程序使用GBK编码,在需要UTF-8编码的地方进行手动转码。优点是在cmd里print不会乱码,缺点是和大部分媒介交互都需要进行转换(如读写数据库,爬虫采集网页)

UTF-8优先

所谓UTF-8优先就是py程序使用UTF-8编码,在需要GBK编码的地方进行手动转码。优点是在对接各种媒介时候不需要单独做转码处理,缺点是在使用cmd打印的时候或者是异常出错的时候总是显示乱码

常见错误

1、未指定IDLE编码

如果没有指定IDLE编码,在输出字符串的时候就会报错

SyntaxError: Non-ASCII character '\xb8' in file Encoding.py on line 3, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

2、IDLE和数据编码不一致

如果指定的IDLE编码和变量编码不一样会出现乱码

131774042e25ba7c.jpg

总结

今天福哥带着大家学习了字符串编码的相关知识,后面再处理字符串的时候就会比较清晰怎么做了!否则,我们会稀里糊涂地得到关于编码的报错信息,诸如:

UnicodeEncodeError: 'ascii' codec can't encode character u'\u3010' in position 0: ordinal not in range(128)

或者

UnicodeEncodeError: 'gbk' codec can't encode character u'\xa9' in position 105046: illegal multibyte sequence

等等这样的错误信息了