|
|
51CTO旗下网站
|
|
移动端

什么是“锟斤拷”?我竟答不上来......

周末女朋友出去逛街了,我自己一个人在家看综艺节目,突然,女朋友给我打来电话。

作者:漫话编程来源:漫话编程|2019-09-06 09:37

周末女朋友出去逛街了,我自己一个人在家看综艺节目,突然,女朋友给我打来电话。


图片来自 Pexels

过了一会,女朋友回来了,她拿出手机,给我看了她在超市拍的照片:

要想知道什么是乱码,需要先从计算机编码说起。

字符编码和 ASCII

我们经常看一些谍战剧,谍战剧里敌特、地下党员以及八路军各部间发送情报的时候,一般都是通过电报发送的。

电报在传递的过程中,需要发报员用电键发出长短不一的电码,收报员就会听到电报机发出的滴滴滴答答答的声音。

其实电报发出的声音都是"滴"和"答"的组合,"答"的声音是"滴"的三倍长。

发报员要先通过一种方式,将想要发送的情报转成电报的滴答声,收报员在听到滴答声之后,再将它们翻译成正常的文字。这个过程就是字符编码和字符解码。

谍战剧中将情报转成电报的"滴"和"答"声主要通过摩尔斯电码,这是一种通过不同的排列顺序来表达不同的英文字母、数字和标点符号的字符编码方式。

莫尔斯电码由短的和长的电脉冲(称为点和划)所组成。点和划的时间长度都有规定,以一点为一个基本单位,一划等于三个点的长度。正好对应上电报的"滴"和"答"。

就像电报只能发出"滴"和"答"声一样,计算机只认识 0 和 1 两种字符,但是,人类的文字是多种多样的,如何把人类的文字转换成计算机认识的 01 字符呢,这个过程同样需要通过字符编码。

字符编码(Character encoding)是一套法则,使用该法则能够对自然语言的字符的一个集合(如字母表或音节表),与其他东西的一个集合(如号码或电脉冲)进行配对。

和摩尔斯电码功能类似,上个世纪 60 年代,美国制定了一套字符编码,对英语字符与二进制位之间的关系,做了统一规定,这被称为 ASCII 码,一直沿用至今。

ASCII(American Standard Code for Information Interchange,美国信息交换标准代码)是基于拉丁字母的一套计算机编码系统。

它主要用于显示现代英语,其中共有 128 个字符,包含了所有的大写和小写字母,数字 0 到 9、标点符号, 以及在美式英语中使用的特殊控制字符等。

由于 ASCII 只有 128 个字符,虽然对于英文字符都可以表示了,但是世界上还有很多其他的文字他是没办法表示的,所以需要一种更加全面的字符编码。

在介绍其他的字符编码之前,我们先来说一下一个计算机领域通用的字符集。

Unicode

Unicode(中文:万国码、国际码、统一码、单一码)是计算机科学领域里的一项业界标准。

它对世界上大部分的文字系统进行了整理、编码,使得计算机可以用更为简单的方式来呈现和处理文字。

Unicode 至今仍在不断增修,每个新版本都加入更多新的字符。目前最新的版本为 2019 年 5 月公布的 12.1,这一版本只新增了 1 个字符,即日本新年号令和的合字。

Unicode 备受认可,并广泛地应用于计算机软件的国际化与本地化过程。有很多新科技,如可扩展置标语言(Extensible Markup Language,简称:XML)、Java 编程语言以及现代的操作系统,都采用 Unicode 编码。

Unicode 是一套通用的字符集,包含世界上的大部分文字,也就是说,Unicode 是可以表示中文的。

UTF-8,UTF-16,UTF-32

Unicode 虽然统一了全世界字符的编码,但没有规定如何存储。这么做是有考虑的:如果 Unicode 统一规定,每个符号就要用 3 个或 4 个字节表示,因为字符太多,只能用这么多字节才能表示完全。

一旦这么规定,那么每个英文字母前都必然有 2 到 3 个字节是 0,因为所有英文字母在 ASCII 中都有,都可以用 1 个字节表示,剩余字节位置就要补充 0。

如果这样,文本文件的大小会因此大出二三倍,这对于存储来说是极大的浪费。

为了解决这个问题,就出现了一些中间格式的字符集,他们被称为通用转换格式,即 UTF(Unicode Transformation Format)。

常见的 UTF 格式有:

  • UTF-7
  • UTF-7.5
  • UTF-8
  • UTF-16
  • UTF-32

UTF-8:使用 1 至 4 个字节为每个字符编码,UTF-16:使用 2 或 4 个字节为每个字符编码,UTF-32:使用 4 个字节为每个字符编码。

所以我们可以说,UTF-8、UTF-16 等都是 Unicode 的一种实现方式。

举个例子,Unicode 规定了 1 个中文字符 "我"对应的 Unicode 是 "\u6211",但是,在 UTF-8 和 UTF-16 等不同的实现方式下,这个二进制 Code 的存储方式是不一样的。

UTF-8 使用可变长度字节来储存 Unicode 字符,例如 ASCII 字母继续使用 1 字节储存,重音文字、希腊字母或西里尔字母等使用 2 字节来储存,而常用的汉字就要使用 3 字节。辅助平面字符则使用 4 字节。

GBK,GB2312,GB18030

因为 UTF-8 是 Unicode 的一种实现,所以他包含了世界上的所有文字的编码,他采用的是 1-4 字节进行编码。

对于那些排在前面优先纳入的文字,可能就优先使用 1 字节、2 字节存储了,对于后纳入的文字,就要使用 3 字节或者 4 字节存储了。

正是因为他太全了,所以那些晚一些纳入的字符,在 UTF-8 中的存储所占的字节数可能就会多一些,那他的存储空间要求就会很大。

对于常用的汉字,在 UTF-8 中采用 3 字节进行编码,但是如果有一种只包含中文和 ASCII 的编码的话,就不需要使用 3 个字节,可能 2 个字节就够了。

对于大部分网站来说,基本都是只服务一个国家或者地区的,比如一个中国的网站,一般会出现简体字和繁体字以及一些英文字符,很少会出现日语或者韩文的。

也是出于这样的考虑,中国国家标准总局于 1981 年制定并实施了 GB 2312-80 编码,即中华人民共和国国家标准简体中文字符集。

后来厂商微软利用 GB 2312-80 未使用的编码空间,收录 GB 13000.1-93 全部字符制定了 GBK 编码。

有了标准中文字符集,如果是一个纯中文网站,就可以采用这种编码方式,这样可以大大节省一些存储空间的。

常用的中文编码有 GBK,GB2312,GB18030 等,最常用的是 GBK。

GB2312(1980 年),16 位字符集,收录有 6763 个简体汉字,682 个符号,共 7445 个字符:

  • 优点:适用于简体中文环境,属于中国国家标准,通行于大陆,新加坡等地。
  • 缺点:不兼容繁体中文,其汉字集合过少。

GBK(1995 年),16 位字符集,收录有 21003 个汉字,883 个符号,共 21886 个字符:

  • 优点:适用于简繁中文共存的环境,为简体 Windows 所使用,向下完全兼容 GB2312,向上支持 ISO-10646 国际标准 ;所有字符都可以一对一映射到 Unicode 2.0 上。
  • 缺点:不属于官方标准和 big5 之间需要转换;很多搜索引擎都不能很好地支持 GBK 汉字。

GB18030(2000 年),32 位字符集;收录了 27484 个汉字,同时收录了藏文、蒙文、维吾尔文等主要的少数民族文字:

优点:可以收录所有你能想到的文字和符号,属于中国最新的国家标准。

缺点:目前支持它的软件较少。

乱码

我们还拿前面介绍过的发电报的例子来说,假设有以下场景:发报员使用“美式摩尔斯电码”将情报转换成电报,收报员接收到电报之后,通过“现代国际摩尔斯电码”进行破译。那么得到的情报内容就可能完全看不懂,这就是乱码了。

就像在计算机领域,我们把一串中文字符通过 UTF-8 进行编码传输给别人,别人拿到这串文字之后,通过 GBK 进行解码,得到的内容就会是“锟届瀿锟斤拷雮傡锟斤拷直锟斤拷锟”,这就是乱码。

如以下代码:

  1. public static void main(String[] args) throws UnsupportedEncodingException { 
  2.     String s = "漫话编程!"
  3.  
  4.     byte[] bytes = s.getBytes(Charset.forName("GBK")); 
  5.  
  6.     System.out.println("GBK编码,GBK解码:" + new String(bytes, "GBK")); 
  7.  
  8.     System.out.println("GBK编码,GB18030解码:" + new String(bytes, "GB18030")); 
  9.  
  10.     System.out.println("GBK编码,UTF-8解码:" + new String(bytes, "UTF-8")); 

输出结果:

  1. GBK编码,GBK解码:漫话编程! 
  2. GBK编码,GB18030解码:漫话编程! 
  3. GBK编码,UTF-8解码:???????? 

可以看到,将中文字符,通过 GBK 编码,再使用 UTF-8 解码,得到的字符就是一串问号,这就是乱码了。

锟斤拷的前世今生

因为 Unicode 是一直在更新的,在这个过程中,肯定有一些比较新的字符他是无法表示的。

或者即使 Unicode 发布了新版纳入了某个文字,但是很多软件系统并未升级也会有这样的问题。

就像生活中一些手机厂商新出的那些 emoji 表情,在自己的手机上可以正常显示,发到其他品牌的手机上可能就无法显示。这其实也是字符集不支持导致的。

发生以上情况时,无法显示的时候也需要有一个字符来表示的,在 Unicode 中,这个字符就是 � ,他也是 Unicode 中定义的一个特殊字符。

也就是"0xFFFD REPLACEMENT CHARACTER",所有无法表示的字符都会通过这个字符来表示。

Unicode 官方有关于这个符号的介绍,从上表中可以看到,他的 10 进制表示是 65533,在 UTF-8 下,他的 16 进制形式是'0xEF 0xBF 0xBD'(三个字节)。

如果有两个连续的字符都无法显示,如"� �" ,那么在 UTF-8 编码下,16 进制表示为:

  1. 0xEF 0xBF 0xBD  
  2. 0xEF 0xBF 0xBD 

以上这段编码,如果放到 GBK 中进行解码的话,因为 GBK 中一个汉字两个字节,那么结果就是:

  1. 0xEF 0xBF, 0xBD 0xEF, 0xBF 0xBD 

即:

  1. 0xEFBF 
  2. 0xBDEF 
  3. 0xBFBD 

那么,如果展示出来,就是:锟(0xEFBF),斤(0xBDEF),拷(0xBFBD)。

所以,以后再见到锟斤拷,第一时间想到 UTF-8 和 GBK 的转换问题准没错。

除了锟斤拷以外,还有两组比较经典的乱码,分别是"烫烫烫"和"屯屯屯",这两个乱码产生自 VC,这是 Debug 模式下 VC 对内存的初始化操作。

VC 会把栈中新分配的内存初始化为 0xcc,而把堆中新分配的内存初始化为 0xcd。把 0xcc 和 0xcd 按照字符打印出来,就是烫和屯了。

【编辑推荐】

  1. JavaScript如何正确处理Unicode编码问题
  2. 想伪装成资深程序员?知道这三个数据结构就够了
  3. 5种人工智能编程语言!Java依然屹立不倒!
【责任编辑:武晓燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

这就是5G

这就是5G

5G那些事儿
共15章 | armmay

117人订阅学习

16招轻松掌握PPT技巧

16招轻松掌握PPT技巧

GET职场加薪技能
共16章 | 晒书包

371人订阅学习

20个局域网建设改造案例

20个局域网建设改造案例

网络搭建技巧
共20章 | 捷哥CCIE

761人订阅学习

读 书 +更多

Visual C++编程从基础到实践

Visual C++ 6.0是Microsoft公司的Visual Studio开发组件中最强大的编程工具,利用它可以开发出高性能的应用程序。本书由浅入深,从基础到实...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微