内容字号:默认大号超大号

段落设置:段首缩进取消段首缩进

字体设置:切换到微软雅黑切换到宋体

给妹子讲pythonS01E08理清python字符编码的使用方法

2018-07-11 18:17 出处:清屏网 人气: 评论(0

【要点抢先看】

1.python中编、解码的本质是文本字符串和字节字符串的相互转换

2.python中编、解码方法举例及过程解析

3.unicode、latin-1、ASCII编码方式的兼容性问题

4.读取二进制文件

上一集讲清楚字符编码的基础概念后,我相信这一集再来介绍python中的字符编码就会容易的多。

通过上一集我们知道,ASCII码(包括其最常见的超集Latin-1)依赖这样的一个假设,即每一个字符与一个字节相匹配,由于存在太多的字符,因此不可避免的会出现问题,Unicode字符集通过使用4个字节来表示1个字符,则解决了该问题。

首先来介绍一下Python中的两种字符串:

Python中有两种字符串:文本字符串和字节字符串。其中文本字符串类型被命名为str,内部采用Unicode字符集(兼容ASCII码),而字节字符串则直接用来表示原始的字节序列(用print函数来打印字节字符串时,若字节在ascii码范围内,则显示为ascii码对应的字符,其余的则直接显示为16进制数),该类型被命名为bytes。

看一个简单的例子:

s = 'apple'
b = b'apple'
print(b)
print(type(b))
print(s)
print(type(s))

b'apple'
<class 'bytes'>
apple
<class 'str'>
复制代码

再近距离的看看bytes类型字节字符串,本质上它就是一串单字节16进制数

b = b'apple'
print(b[0])
print(b[1:])
print(list(b))

97
b'pple'
[97, 112, 112, 108, 101]
复制代码

【妹子说】那这和编码、解码有何关联呢?

从本质上来说,编码和解码就是str和bytes这两种字符串类型之间的互相转换。

str包含一个encode方法,使用特定编码将该字符串其转换为一个bytes,这称之为编码。bytes类包含了一个decode方法,也接受一个编码作为单个必要参数,并返回一个str,这称之为解码。这种转换操作是显式的操作,且必须根据数据被编码时采用的编码类型进行解码。

首先说说编码,即将unicode的str文本字符串转换为bytes的字节字符串,可以显式的传入指定编码(一般来说采用utf-8编码),或使用平台的默认编码。

s = 'π排球の'
b1 = s.encode('utf-8')
b2 = s.encode()
print(b1)
print(b2)

b'\xcf\x80\xe6\x8e\x92\xe7\x90\x83\xe3\x81\xae'
b'\xcf\x80\xe6\x8e\x92\xe7\x90\x83\xe3\x81\xae'
复制代码

那么我们看看,在不写编码的时候,平台默认的编码方式到底是什么

import sys

print(sys.platform)
print(sys.getdefaultencoding())

win32
utf-8
复制代码

可以看出我这个平台默认选择的是utf-8编码方式。

接下来我们来比较一下unicode、latin-1、ASCII编码方式的兼容性问题:

首先,非ASCII字符无法使用ASCII编码转换成字节字符串

s = 'π排球の'
b = s.encode('ascii')

Traceback (most recent call last):
 File "E:/12homework/12homework.py", line 2, in <module>
   b = s.encode('ascii')
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-3:
 ordinal not in range(128)
复制代码

其次,Latin-1和unicode编码方式不兼容。

例如,重音字符会在latin-1字符集和unicode字符集中同时存在,但是通过latin-1和unicode编码方式编出来的字节流是不一样的,注意,虽然unicode字符集是包含了latin-1字符集,但是不代表utf-8编码方式兼容latin-1编码方式。因为unicode字符集中除了ascii字符集外,都是采用多字节的编码方式,而latin-1一律采用单字节的方式

s = 'Äè'
print(s.encode('utf-8'))
print(s.encode('latin-1'))

b'\xc3\x84\xc3\xa8'
b'\xc4\xe8'
复制代码

只有ascii字符集中的字符,三种编码方式得到的结果才完全一致。对unicode进行编码的时候,针对常规的7位ASCII文本,由于utf-8以及latin-1编码方式都是兼容ASCII的,所以结果都是一样的。

s = 'abc'
print(s.encode('utf-8'))
print(s.encode('latin-1'))
print(s.encode('ascii'))

b'abc'
b'abc'
b'abc'
复制代码

【妹子说】那对应的,再来谈谈decode解码方法吧。

将bytes类型字符串转换成str类型的unicode文本字符串也是一样,要么指定编码参数,要么使用平台的默认参数。这个例子中,我们要操作的字节字符串b是通过utf-8编码方式对文本字符串'π排球の'编码而形成的。

b = b'\xe6\x8e\x92\xe7\x90\x83'
s1 = b.decode(encoding='utf-8')
s2 = b.decode()
s3 = b.decode(encoding='latin-1')

print(s1)
print(s2)
print(s3)

排球
排球
æ’ç
复制代码

值得注意的是, 最后一行代码想通过latin-1解码字节字符串,由于字节字符串是通过utf-8编码形成,因此这样解码形成得到的只能是乱码。

Utf-8编码是用两个字节来表示非ASCII的高128字符,而latin-1则是用一个字节来一一对应

【妹子说】计算机用二进制来存储信息,而却能在各种应用中显示我们需要的文字,这应该是字符编、解码的应用吧。

很对,下面我们来说说文本文件读取时的编、解码问题

当一个文件以文本模式打开的时候,被读取的二进制存储数据(也就是存储的字节字符串)会自动被解码(依据显式提供的编码名称或平台默认的编码名称),并且将其返回为一个str。写入文件时,会接受一个str,并且将其传输到文件之前自动编码成字节字符串以供磁盘存储。

当一个文件以二进制模式打开时,需要在open方法的模式字符串参数里添加一个b,此时读取的数据不会以任何方式解码,而是直接返回其原始内容,即一个bytes对象;写入文件时,接受一个bytes对象,并且将其传送到文件中且不进行修改。

在读取文本文件的时候,如果open函数没有声明他们如何编码,python3会因其所运行的系统而选取默认的编码方式,默认情况下,python3 期望文件使用 utf-8进行编码。但由于文件并不总是在同一个系统中被保存和打开,因此会带来乱码的风险,所以我们需要显式的指定编码。

补充的说明一下,可以很简单的进行一个分类:处理图像文件、设备数据流等,可以使用bytes和二进制模式文件处理;而如果要处理的内容实质是文本的内容,例如程序输出、HTML、国际化文本或CSV或XML文件,则可能要使用str和文本模式文件

例如,我们先把AÄBèC用UTF-8编码后存入utf-8data文件,再来读取他,具体看看这里是如何实现的。

s = 'AÄBèC'

with open('utf-8data','w',encoding='utf-8') as f:
   f.write(s)

with open('utf-8data','r',encoding='utf-8') as f:
   u_str = f.read()
print(u_str)


AÄBèC
复制代码

这里用到的文件读写的方法后面的章节会详细介绍,现在知道他是什么就好了。

以二进制的形式读取文件。

还有一种我们之前介绍过的用法,文本字符串在存储到磁盘的时候会编码成字节字符,因此我们也可以先以字节字符串的形式从文件中将其读取,然后再进行解码。

这样做的原因有二,一种是所接收的可能是非文本数据,如一个图像文件;另一个潜在原因是无法确定所读取文本文件的编码,可能需要依据其他信息再确定:

with open('utf-8data', 'rb') as f:
   byte_str = f.read()

print(byte_str)
print(byte_str.decode(encoding='utf-8'))

b'A\xc3\x84B\xc3\xa8C'
AÄBèC
复制代码

字符串编、解码在python中很重要,特别是在网络爬虫等网络应用程序中,在后面的实际应用中会感受到他的作用会越来越明显。

这一集的内容很多,细致剖析了python中的两种字符串类型和编、解码的处理方法。再结合之前的三集,就能从基本使用、字符编、解码的维度闭环出一个完整的知识网络了,收获很大。


分享给小伙伴们:
本文标签: python

相关文章

发表评论愿您的每句评论,都能给大家的生活添色彩,带来共鸣,带来思索,带来快乐。

CopyRight © 2015-2016 QingPingShan.com , All Rights Reserved.

清屏网 版权所有 豫ICP备15026204号