介绍
介绍
福哥今天给大家讲讲关于Python编程中的字符串编码转换的问题,这个问题在初学者编程时候会经常遇到,如果要弄清楚这里面的道道,还是需要好好学习一下的
什么是编码
所谓编码就是计算机标记一个汉字(或者是其他国家的文字)对应的数字,在不同编码里同样的一个汉字会对应不同的数字,比如:“福哥”在gbk编码里对应的是“205 172 184 163”,在gbk编码里一个汉字对应两个数字,而“福哥”在utf-8编码里对应的是“229 144 140 231 166 143”,在utf-8编码里一个汉字对应三个数字。
常用编码
GBK,英文全称Chinese Internal Code Specification,中文全称《汉字内码扩展规范》,所谓的“国标”编码方式
UTF-8,英文全称Universal Character Set/Unicode Transformation Format,是比较通用的一种编码方式,支持几乎全部国家的语言文字
BIG5,大五码,是用于繁体汉字的编码方式
ISO8859-1,单字节编码,是早期用于英文的网页的编码方式
Unicode,统一码,就是所有国家的语言文字编码都会有一个方法转换成Unicode编码,然后Unicode编码又可以转换所有国家的语言文字编码。所以,python在进行编码转换时候都是先用decode转为unicode,再用encode转为目标编码
IDLE编码
在编辑器里定义的字符串常量也是有编码设置的,这个编码可以通过脚本“页头”进行声明
声明方法
在脚本页头使用coding指定脚本默认编码
声明编码之后,后面代码里出现的常量字符串都会是这个编码了
系统编码
在程序运行的时候也会有一个编码设置,这个编码就是系统编码,默认的系统编码是ascii编码,我们也可以通过sys这个软件库来设置它。
在我们使用print命令输出信息到控制台的时候,就会尝试使用系统编码进行显示了。而默认是ascii编码在很多情况下会出现无法解码的情况
查看系统编码
导入sys,查看系统编码
import sys print sys.getdefaultencoding()
设置系统编码
导入sys,使用reload刷新sys,设置新的系统编码
import sys reload(sys) sys.setdefaultencoding("gbk")
编码转换
既然编码方式有那么多,我们从不同的媒介上提取到的数据就有可能是不同的编码方式的,如果要将这些数据统一成我们的代码使用的默认编码,就需要学会编码之间的转换方法。
直接编码转换
在python下可以通过字符串的decode和encode方法进行字符串的编码转换操作
通用的技巧就是先通过decode方法将字符串转成unicode编码,再通过encode方法将字符串转为指定的编码
示例
脚本默认是gbk编码,先转为utf-8编码,再转回gbk编码
orgStr = "我是福哥" # print gbk gbkStr = orgStr print gbkStr # gbk to utf-8 utf8Str = gbkStr.decode("gbk").encode("utf-8") print utf8Str # utf-8 to gbk gbkStr = utf8Str.decode("utf-8").encode("gbk") print gbkStr
数据库数据的编码
从数据库里提取到的数据也是有编码的,我们一定知道数据库里的数据的编码方式,之后就可以通过直接编码转换的方式进行转换了
示例
从数据库里查询出一个字段的数据,通过直接转换方法进行编码转换
import pymysql # connect cn = pymysql.connect("192.168.1.168","test","abcdef") cs = cn.cursor() cn.select_db("test") # query and fetch cs.execute("select * from test") result = cs.fetchone() # utf8 to gbk utf8Str = result[1] gbkStr = utf8Str.decode("utf-8").encode("gbk") print gbkStr
网页数据的编码
使用selenium模拟浏览器获取网页上的内容数据也是有编码的,这种情况下怎么解决呢?
示例
使用selenium爬取到网页的内容,通过find命令获取到的元素上的文字,这个可以直接通过encode进行转换,因为selenium已经帮助我们把文字转换成unicode了
from selenium import webdriver chromeOpts = webdriver.ChromeOptions() chromeOpts.add_argument("--headless") chromeOpts.add_argument("--disable-gpu") chromeOpts.add_argument("--no-sandbox") chrome = webdriver.Chrome(options=chromeOpts) chrome.get("https://tongfu.net/") unicodeStr = chrome.find_element_by_css_selector(".topic-title").text gbkStr = unicodeStr.encode("gbk") print (gbkStr)
IDLE编码、系统编码、数据编码
上面我们提到了几个概念,即:IDLE编码、系统编码、数据编码,它们之间是什么关系呢?
IDLE编码
这个又称之为编辑器编码,这个编码是告诉IDLE编辑器我们当前脚本里声明的字符串常量的编码是什么,如果没有特别指定的话,默认会是ascii编码,那样是无法使用中文的。
系统编码
有一些软件包为了使程序员开发方便,会自动进行一些数据的编码转换,在进行自动转换编码的时候所依据的就是系统编码了。
数据编码
数据编码是以变量为单位的,也就是说每一个变量都会有自己的编码方式,我们在编程的时候需要根据情况对它们进行统一,否则会出现意想不到的问题
字符串输出
如果要使字符串可以正常通过print命令输出到控制台上,需要保证IDLE编码和变量编码一致,或者变量编码为Unicode编码
程序编码的选择
在编写python程序的时候选择不同的编码是有区别的,我们可以选择GBK编码作为程序代码的编码,也可以选择UTF-8编码作为程序代码的编码。
福哥自己选择的是UTF-8编码作为程序代码的编码,在需要GBK的地方进行转码方式实现。
GBK优先
所谓GBK优先就是py程序使用GBK编码,在需要UTF-8编码的地方进行手动转码。优点是在cmd里print不会乱码,缺点是和大部分媒介交互都需要进行转换(如读写数据库,爬虫采集网页)
UTF-8优先
所谓UTF-8优先就是py程序使用UTF-8编码,在需要GBK编码的地方进行手动转码。优点是在对接各种媒介时候不需要单独做转码处理,缺点是在使用cmd打印的时候或者是异常出错的时候总是显示乱码
常见错误
1、未指定IDLE编码
如果没有指定IDLE编码,在输出字符串的时候就会报错
SyntaxError: Non-ASCII character '\xb8' in file Encoding.py on line 3, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details
2、IDLE和数据编码不一致
如果指定的IDLE编码和变量编码不一样会出现乱码
总结
今天福哥带着大家学习了字符串编码的相关知识,后面再处理字符串的时候就会比较清晰怎么做了!否则,我们会稀里糊涂地得到关于编码的报错信息,诸如:
UnicodeEncodeError: 'ascii' codec can't encode character u'\u3010' in position 0: ordinal not in range(128)
或者
UnicodeEncodeError: 'gbk' codec can't encode character u'\xa9' in position 105046: illegal multibyte sequence
等等这样的错误信息了