Unicode汉字与摩尔斯电码

暑期Stata培训班招生啦！！！ 接力线上的网课培训，我们在今夏又开始新一轮的线下培训啦！ 8月4日至12日 ，爬虫俱乐部期待与您的相遇！培训具体内容详见推文 《暑期Stata编程技术定制培训班》 。

在推文 《正则表达式之匹配汉字》 中，我们介绍了Unicode转义字符是以“\uXXXX”格式表示的字符，其中X为16进制数字，而 基本汉字 的unicode转义字符的范围为 \u4e00-\u9fa5 ，其基本上可以满足我们日常的需求。前不久，有粉丝朋友咨询怎么匹配除了基础汉字的 生僻字 ？接下来小编就给大家答疑解惑。

Unicode目前普遍采用的是 UCS-2 ，它用两个字节来编码字符，两个字节就是16位二进制，2的16次方等于65536，所以UCS-2最多能编码 65536个字符 ，其取值范围为 U+0000~U+FFFF 。经查阅，汉字unicode的编码范围如下图所示：

查阅汉字unicode编码表，我们可以发现，基本汉字字符集包含20902个汉字，对应Unicode编码范围为[4e00-9fa5]。我们知道Unicode转义字符可以直接用于正则表达式中，使用集合“ [\u4e00-\u9fa5] ”可以匹配 任意单个基础汉字 。同样的道理，按照上表给出的汉字的unicode编码范围，使用集合 [\u9fa6-\u9fef] 可以匹配 任意单个基本汉字补充 ；使用集合 [\u3400-\u4db5] 可以匹配 任意单个扩展A， 以此类推。下图为扩展A：

接着，我们对字符串“爬 虫 㐀 㐁 龦 龧”（为了使下边替换结果更加明显，在每一个汉字之间加一个空格）分别使用集合[\u4e00-\u9fa5]、[\u9fa6-\u9fef]、[\u3400-\u4db5]进行匹配：

·dis ustrregexra("爬 虫 㐀 㐁 龦 龧","[\u4e00-\u9fa5]","❤")

·dis ustrregexra("爬 虫 㐀 㐁 龦 龧","[\u9FA6-\u9FEF]","❤")

·dis ustrregexra("爬 虫 㐀 㐁 龦 龧","[\u3400-\u4DB5]","❤")

字符串“爬 虫 㐀 㐁 龦 龧”中，“爬虫”属于基本汉字、“㐀㐁”属于扩展A、“龦龧”属于基本汉字补充。以第三行程序为例，用集合[\u3400-\u4db5]进行匹配字符串“爬 虫 㐀 㐁 龦 龧”时，由于其可以匹配到任意单个扩展A，所以匹配结果为“㐀㐁”，并使用ustrregexra()函数将正则表达式匹配到的子字符串全部替换为字符“❤”。（Stata结果窗口无法正常显示扩展A、基本汉字补充等生僻汉字，但并不影响匹配结果）

现在有一个汉字字符串—“亶亷龭龮龯海㖃坵坶㦹㦺㦻銿鋀鋁㒡霩㥀鰌㯺㯻䚎䚏䚐龹鮫鮬䤟”。我们把属于基本汉字字符集的替换成“.”，属于基本汉字补充字符集的替换成空格，把属于扩展A字符集的替换成“-”。

clear
set obs 1gen text = "亶亷龭龮龯海㖃坵坶㦹㦺㦻銿鋀鋁㒡霩㥀鰌㯺㯻䚎䚏䚐龹鮫鮬䤟"
replace text= ustrregexra(text,"[\u4e00-\u9fa5]"




    
,".")
replace text= ustrregexra(text,"[\u9FA6-\u9FEF]"," ")
replace text= ustrregexra(text,"[\u3400-\u4DB5]","-")
dis text

这样我们就生成了一个摩尔斯电码，感兴趣的读者，可运行上述程序得到这串电码，再去问度娘呀！（摩尔斯电码转换器：http://www.zhongguosou.com/zonghe/moErSiCodeConverter.aspx）当然，视力好的朋友，也可参见下表，自行解码：