识得庐山真面目—转码方法总结

在推文再谈乱码问题中，我们给大家介绍了什么是乱码？为什么产生乱码？以及什么是转码等问题。并且在推文朝花夕拾 | 识得庐山真面目—unicode命令中详细的介绍了如何使用unicode命令进行转码。今天小编再给大家介绍两种常用转码的方法。

我们以新浪财经高管任职数据的源代码为例，用copy命令抓取其网页源代码：

copy"http://vip.stock.finance.sina.com.cn/corp/go.php/vCI_CorpManager/stockid/600900.phtml" temp.txt, replace

接着我们用 Sublime Text 打开 temp.txt 这个文本文档。

charset 属性规定在外部脚本文件中使用的字符编码，由上图可知该文本文件的编码为 gb2312 ，现在如果直接将其读入Stata15，将会发生乱码。

那么要解决这个乱码问题，就需要对文件进行转码，即由gb2312编码转为utf-8编码。

程序如下：

clear

unicode encoding set gb18030

unicode translate temp.txt, transutf8

unicode erasebackups, badidea

infix strL v 1-100000 using temp.txt, clear

关于unicode命令转码的方法在推文 朝花夕拾 | 识得庐山真面目—unicode命令 中已经进行了详细的介绍，这里不再赘述。

import delimited 命令在推文 用infix读入不完整？ 用import delimited试试吧中已经详细介绍了它的用法，这里着重强调一下 encoding("encoding") 这个选项，其可以指定要导入的文本文件的编码。比如说我们知道上述temp.txt文件的编码为gb2312。我们用import delimited读入的时候就可以用encoding("gb2312")指定文件的编码，这样就可以避免乱码的产生。这里需要注意的是，gb2312是汉字的一种编码，常见的汉字编码还有GBK、gb18030。那么它们有什么区别呢？

GB 2312 是中国国家标准简体中文字符集，是对 ASCII 的中文扩展。。GB 2312 标准共收录 6763 个汉字，其中一级汉字 3755 个，二级汉字 3008 个；同时收录了包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母在内的 682 个字符。对于人名、古汉语等方面出现的罕用字，GB 2312 不能处理，这导致了后来 GBK 及 GB 18030 汉字字符集的出现。

GBK 即汉字内码扩展规范，K 为汉语拼音 Kuo Zhan（扩展）中“扩”字的声母。GBK 共收入 21886 个汉字和图形符号，GBK 向下与 GB 2312 完全兼容，向上支持 ISO 10646 国际标准，在前者向后者过渡过程中起到的承上启下的作用。

GB18030 ，全称：国家标准 GB 18030-2005《信息技术中文编码字符集》，是中华人民共和国现时最新的内码字集，GB 18030 与 GB 2312-1980 和 GBK 兼容，共收录汉字70244个。

它们的关系可以用下图表示：

所以在设置文件的编码时，汉字的编码最好设置为gb18030，当设置为gb2312时，有些字符会转码时会出现错误。

copy"http://vip.stock.finance.sina.com.cn/corp/go.php/vCI_CorpManager/stockid/600900.phtml" temp.txt, replace

import delimited using temp.txt, clear delimiters("faufqnw25fe1w1gw,eo;g,1j3o", asstring) encoding("gb18030")

copy"http://vip.stock.finance.sina.com.cn/corp/go.php/vCI_CorpManager/stockid/600900.phtml" temp.txt, replace

infix strL v 1-100000 using temp.txt, clear

ustrfrom() 函数可以将其他编码类型的字符串转为UTF-8编码的字符串。其基本语法为：

ustrfrom(s,enc,mode)

其中，“ enc ”即表示需要转化为utf-8编码的编码类型；” mode ”用来设定字符串s中无效字节序列的处理方式，其取值可为1、2、3和4，通常我们设置 mode 取值为1。

replace v = ustrfrom(v, "gb18030", 1)

这样就通过 ustrfrom() 函数实现了gb18030编码到utf-8编码的转换，解决了乱码的问题。

今天的内容就到这里，总结一下，常见转码的方法有三种：第一，用 unicode 命令；第二，用 import delimited 读入文件时，指定要导入的文本文件的编码；第三，用 ustrfrom() 函数将字符串由其他编码类型转换为utf-8编码。这三种方法都可以实现转码，解决乱码问题。

注：此推文中的图片及封面（除操作部分的）均来源于网络！如有雷同，纯属巧合！

以上就是今天给大家分享的内容了，说得好就赏个铜板呗！有钱的捧个钱场，有 人的捧个人场~。 另外，我们开通了苹果手机打赏通道，只要扫描下方的二维码，就可以打赏啦！

应广大粉丝要求，爬虫俱乐部的推文公众号打赏功能可以开发票啦，累计打赏超过1000元我们即可给您开具发票，发票类别为“咨询费”。用心做事，只为做您更贴心的小爬虫。第一批发票已经寄到各位小主的手中，大家快来给小爬虫打赏呀~