专栏名称: 编程派
Python程序员都在看的公众号，跟着编程派一起学习Python，看最新国外教程和资源！
目录
相关文章推荐
Python爱好者社区  ·  炸了！《大模型基础》开源 ·  2 天前  
Python爱好者社区  ·  某副教授相亲 100 ... ·  2 天前  
Python开发者  ·  我用免费大模型DIY了个作业批改助手，手机端可用！ ·  5 天前  
Python开发者  ·  突发！GitLab不再为中国大陆、香港、澳门 ... ·  3 天前  
Python开发者  ·  Ilya向全世界宣布：预训练结束了！全球AI ... ·  3 天前  
51好读  ›  专栏  ›  编程派

如何用 Python 理解你说的话？

编程派  · 公众号  · Python  · 2017-11-30 11:30

正文

作者：j_hao104

来源：http://www.spiderpy.cn/blog/detail/30

本文简要介绍Python自然语言处理(NLP)，使用Python的NLTK库。NLTK是Python的自然语言处理工具包，在NLP领域中，最常使用的一个Python库。

什么是NLP？

简单来说，自然语言处理(NLP)就是开发能够理解人类语言的应用程序或服务。

这里讨论一些自然语言处理(NLP)的实际应用例子，如语音识别、语音翻译、理解完整的句子、理解匹配词的同义词，以及生成语法正确完整句子和段落。

这并不是NLP能做的所有事情。

NLP实现

搜索引擎: 比如谷歌，Yahoo等。谷歌搜索引擎知道你是一个技术人员，所以它显示与技术相关的结果；

社交网站推送:比如Facebook News Feed。如果News Feed算法知道你的兴趣是自然语言处理，就会显示相关的广告和帖子。

语音引擎:比如Apple的Siri。

垃圾邮件过滤:如谷歌垃圾邮件过滤器。和普通垃圾邮件过滤不同，它通过了解邮件内容里面的的深层意义，来判断是不是垃圾邮件。

NLP库

下面是一些开源的自然语言处理库(NLP)：

  • Natural language toolkit (NLTK);

  • Apache OpenNLP;

  • Stanford NLP suite;

  • Gate NLP library

其中自然语言工具包(NLTK)是最受欢迎的自然语言处理库(NLP)，它是用Python编写的，而且背后有非常强大的社区支持。

NLTK也很容易上手，实际上，它是最简单的自然语言处理(NLP)库。

在这个NLP教程中，我们将使用Python NLTK库。

安装 NLTK

如果您使用的是Windows/Linux/Mac，您可以使用pip安装NLTK:

  1. pip install nltk

打开python终端导入NLTK检查NLTK是否正确安装：

  1. import nltk

如果一切顺利，这意味着您已经成功地安装了NLTK库。首次安装了NLTK，需要通过运行以下代码来安装NLTK扩展包:

  1. import nltk
  3. nltk.download()

这将弹出NLTK 下载窗口来选择需要安装哪些包: 

您可以安装所有的包，因为它们的大小都很小，所以没有什么问题。

使用Python Tokenize文本

首先，我们将抓取一个web页面内容，然后分析文本了解页面的内容。

我们将使用urllib模块来抓取web页面:

  1. import urllib.request
  3. response = urllib.request.urlopen('http://php.net/')
  4. html = response.read()
  5. print (html)

从打印结果中可以看到，结果包含许多需要清理的HTML标签。 然后BeautifulSoup模块来清洗这样的文字:

  1. from bs4 import BeautifulSoup
  3. import urllib.request
  4. response = urllib.request.urlopen('http://php.net/')
  5. html = response.read()
  6. soup = BeautifulSoup(html,"html5lib")
  7. # 这需要安装html5lib模块
  8. text = soup.get_text(strip=True)




    

  9. print (text)

现在我们从抓取的网页中得到了一个干净的文本。 下一步，将文本转换为tokens,像这样:

  1. from bs4 import BeautifulSoup
  2. import urllib.request
  4. response = urllib.request.urlopen('http://php.net/')
  5. html = response.read()
  6. soup = BeautifulSoup(html,"html5lib")
  7. text = soup.get_text(strip=True)
  8. tokens = text.split()
  9. print (tokens)

统计词频

text已经处理完毕了，现在使用Python NLTK统计token的频率分布。

可以通过调用NLTK中的 FreqDist()方法实现:

  1. from bs4 import BeautifulSoup
  2. import urllib.request
  3. import nltk
  5. response = urllib.request.urlopen('http://php.net/')
  6. html = response.read()
  7. soup = BeautifulSoup(html,"html5lib")
  8. text = soup.get_text(strip=True)
  9. tokens = text.split()
  10. freq = nltk.FreqDist(tokens)
  11. for key,val in freq.items():




    

  12.     print (str(key) + ':' + str(val))

如果搜索输出结果，可以发现最常见的token是PHP。 您可以调用 plot函数做出频率分布图:

  1. freq.plot(20, cumulative=False)
  2. # 需要安装matplotlib库

这上面这些单词。比如 of, a, an等等，这些词都属于停用词。

一般来说，停用词应该删除，防止它们影响分析结果。

处理停用词

NLTK自带了许多种语言的停用词列表，如果你获取英文停用词:

  1. from nltk.corpus import stopwords
  3. stopwords.words('english')

现在，修改下代码,在绘图之前清除一些无效的token:

  1. clean_tokens = list()
  2. sr = stopwords.words('english')
  3. for token in tokens:
  4.     if token not in sr:
  5.         clean_tokens.append(token)

最终的代码应该是这样的:

  1. from bs4 import BeautifulSoup
  2. import urllib.request
  3. import nltk
  4. from nltk.corpus import stopwords
  6. response = urllib.request.urlopen('http://php.net/')




    

  7. html = response.read()
  8. soup = BeautifulSoup(html,"html5lib")
  9. text = soup.get_text(strip=True)
  10. tokens = text.split()
  11. clean_tokens = list()
  12. sr = stopwords.words('english')
  13. for token in tokens:
  14.     if not token in sr:
  15.         clean_tokens.append(token)
  16. freq = nltk.FreqDist(clean_tokens)
  17. for key,val in freq.items():
  18.     print (str(key) + ':' + str(val))

现在再做一次词频统计图，效果会比之前好些，因为剔除了停用词:

  1. freq.plot(20,cumulative=False)

使用NLTK Tokenize文本

在之前我们用 split方法将文本分割成tokens，现在我们使用NLTK来Tokenize文本。

文本没有Tokenize之前是无法处理的，所以对文本进行Tokenize非常重要的。token化过程意味着将大的部件分割为小部件。

你可以将段落tokenize成句子，将句子tokenize成单个词，NLTK分别提供了句子tokenizer和单词tokenizer。

假如有这样这段文本:

  1. Hello Adam, how are you? I hope everything is going well. Today is a good day, see you dude.

使用句子tokenizer将文本tokenize成句子:

  1. from nltk.tokenize import sent_tokenize




    

  3. mytext = "Hello Adam, how are you? I hope everything is going well. Today is a good day, see you dude."
  4. print(sent_tokenize(mytext))

输出如下:

  1. ['Hello Adam, how are you?', 'I hope everything is going well.', 'Today is a good day, see you dude.']

这是你可能会想，这也太简单了，不需要使用NLTK的tokenizer都可以，直接使用正则表达式来拆分句子就行，因为每个句子都有标点和空格。

那么再来看下面的文本:

  1. Hello Mr. Adam, how are you? I hope everything is going well. Today is a good day, see you dude.

这样如果使用标点符号拆分, Hello Mr将会被认为是一个句子，如果使用NLTK:

  1. from nltk.tokenize import sent_tokenize
  3. mytext = "Hello Mr. Adam, how are you? I hope everything is going well. Today is a good day, see you dude."
  4. print(sent_tokenize(mytext))

输出如下:

  1. ['Hello Mr. Adam, how are you?', 'I hope everything is going well.', 'Today is a good day, see you dude.']

这才是正确的拆分。

接下来试试单词tokenizer:

  1. from nltk.tokenize import word_tokenize
  3. mytext = "Hello Mr. Adam, how are you? I hope everything is going well. Today is a good day, see you dude."
  4. print(word_tokenize(mytext))

输出如下:

  1. ['Hello', 'Mr.', 'Adam', ',', 'how', 'are', 'you', '?', 'I', 'hope', 'everything', 'is', 'going', 'well', '.', 'Today', 'is', 'a', 'good', 'day', ',', 'see', 'you', 'dude', '.']

Mr.这个词也没有被分开。NLTK使用的是punkt模块的PunktSentenceTokenizer，它是NLTK.tokenize的一部分。而且这个tokenizer经过训练，可以适用于多种语言。

非英文Tokenize

Tokenize时可以指定语言:

  1. from nltk.tokenize import sent_tokenize
  3. mytext = "Bonjour M. Adam, comment allez-vous? J'espère que tout va bien. Aujourd'hui est un bon jour."
  4. print(sent_tokenize(mytext,"french"))

输出结果如下:

  1. ['Bonjour M. Adam, comment allez-vous?', "J'espère que tout va bien.", "Aujourd'hui est un bon jour."]

同义词处理

使用 nltk.download()安装界面，其中一个包是WordNet。

WordNet是一个为自然语言处理而建立的数据库。它包括一些同义词组和一些简短的定义。

您可以这样获取某个给定单词的定义和示例:

  1. from nltk.corpus import wordnet
  3. syn = wordnet.synsets("pain")
  4. print(syn[0].definition())
  5. print(syn[0].examples())

输出结果是:

  1. a symptom of some physical hurt or disorder
  2. ['the patient developed severe pain and distension']

WordNet包含了很多定义：

  1. from nltk.corpus import wordnet
  3. syn = wordnet.synsets("NLP")




    

  4. print(syn[0].definition())
  5. syn = wordnet.synsets("Python")
  6. print(syn[0].definition())

结果如下:

  1. the branch of information science that deals with natural language information
  2. large Old World boas

可以像这样使用WordNet来获取同义词:

  1. from nltk.corpus import wordnet
  3. synonyms = []
  4. for syn in wordnet.synsets('Computer'):
  5.     for lemma in syn.lemmas():
  6.         synonyms.append(lemma.name())
  7. print(synonyms)

输出:

  1. ['computer', 'computing_machine', 'computing_device', 'data_processor', 'electronic_computer', 'information_processing_system', 'calculator', 'reckoner', 'figurer', 'estimator', 'computer']

反义词处理

也可以用同样的方法得到反义词：

  1. from nltk.corpus import wordnet
  3. antonyms = []
  4. for syn in wordnet.synsets("small"):
  5.     for l in syn.lemmas():




    

  6.         if l.antonyms():
  7.             antonyms.append(l.antonyms()[0].name())
  8. print(antonyms)

输出:

  1. ['large', 'big', 'big']

词干提取

语言形态学和信息检索里，词干提取是去除词缀得到词根的过程，例如working的词干为work。

搜索引擎在索引页面时就会使用这种技术，所以很多人为相同的单词写出不同的版本。

有很多种算法可以避免这种情况，最常见的是波特词干算法。NLTK有一个名为PorterStemmer的类，就是这个算法的实现:

  1. from nltk.stem import PorterStemmer
  3. stemmer = PorterStemmer()
  4. print(stemmer.stem('working'))
  5. print(stemmer.stem('worked'))

输出结果是:

  1. work
  2. work

还有其他的一些词干提取算法，比如 Lancaster词干算法。

非英文词干提取

除了英文之外，SnowballStemmer还支持13种语言。

支持的语言:

  1. from nltk.stem import SnowballStemmer
  3. print(SnowballStemmer.languages)
  7. 'danish', 'dutch', 'english', 'finnish', 'french', 'german', 'hungarian', 'italian', 'norwegian', 'porter', 'portuguese', 'romanian', 'russian', 'spanish', 'swedish'

你可以使用 SnowballStemmer类的 stem函数来提取像这样的非英文单词： 

  1. from nltk.stem import SnowballStemmer
  3. french_stemmer = SnowballStemmer('french')
  5. print(french_stemmer.stem("French word"))

单词变体还原

单词变体还原类似于词干，但不同的是，变体还原的结果是一个真实的单词。不同于词干，当你试图提取某些词时，它会产生类似的词:

  1. from nltk.stem import PorterStemmer
  3. stemmer = PorterStemmer()
  5. print(stemmer.stem('increases'))

结果:

  1. increas

现在，如果用NLTK的WordNet来对同一个单词进行变体还原，才是正确的结果:

  1. from nltk.stem import WordNetLemmatizer
  3. lemmatizer = WordNetLemmatizer()
  5. print(lemmatizer.lemmatize('increases'))

结果:

  1. increase

结果可能会是一个同义词或同一个意思的不同单词。

有时候将一个单词做变体还原时，总是得到相同的词。

这是因为语言的默认部分是名词。要得到动词，可以这样指定：

  1. from nltk.stem import WordNetLemmatizer
  3. lemmatizer = WordNetLemmatizer()
  5. print(lemmatizer.lemmatize('playing', pos="v"))

结果:

  1. play

实际上，这也是一种很好的文本压缩方式，最终得到文本只有原先的50%到60%。

结果还可以是动词(v)、名词(n)、形容词(a)或副词(r)：

  1. from nltk.stem import WordNetLemmatizer
  3. lemmatizer = WordNetLemmatizer()
  4. print(lemmatizer.lemmatize('playing', pos="v"))
  5. print(lemmatizer.lemmatize('playing', pos="n"))
  6. print(lemmatizer.lemmatize('playing', pos="a"))
  7. print(lemmatizer.lemmatize('playing', pos="r"))

输出:

  1. play
  2. playing
  3. playing
  4. playing

词干和变体的区别

通过下面例子来观察:

  1. from nltk.stem import WordNetLemmatizer
  2. from nltk.stem import PorterStemmer
  4. stemmer = PorterStemmer()
  5. lemmatizer = WordNetLemmatizer()
  6. print(stemmer.stem('stones'))
  7. print(stemmer.stem('speaking'))
  8. print(stemmer.stem('bedroom'))
  9. print(stemmer.stem('jokes'))
  10. print(stemmer.stem('lisa'))
  11. print(stemmer.stem('purple'))
  12. print('----------------------')
  13. print(lemmatizer.lemmatize('stones'))
  14. print(lemmatizer.lemmatize('speaking'))
  15. print(lemmatizer.lemmatize('bedroom'))
  16. print(lemmatizer.lemmatize('jokes'))
  17. print(lemmatizer.lemmatize('lisa'))
  18. print(lemmatizer.lemmatize('purple'))

输出:

  1. stone
  2. speak
  3. bedroom
  4. joke
  5. lisa
  6. purpl
  7. ---------------------
  8. stone
  9. speaking
  10. bedroom
  11. joke
  12. lisa
  13. purple

词干提取不会考虑语境，这也是为什么词干提取比变体还原快且准确度低的原因。

个人认为，变体还原比词干提取更好。单词变体还原返回一个真实的单词，即使它不是同一个单词，也是同义词，但至少它是一个真实存在的单词。

如果你只关心速度，不在意准确度，这时你可以选用词干提取。

在此NLP教程中讨论的所有步骤都只是文本预处理。在以后的文章中，将会使用Python NLTK来实现文本分析。

我已经尽量使文章通俗易懂。希望能对你有所帮助。

题图：pexels，CC0 授权。

点击阅读原文，查看更多 Python 教程和资源。

推荐文章
Python爱好者社区  ·  炸了！《大模型基础》开源
2 天前
Python爱好者社区  ·  某副教授相亲 100 多场总结出来的经验，网友：建议开源，发表论文...
2 天前
Python开发者  ·  我用免费大模型DIY了个作业批改助手，手机端可用！
5 天前
Python开发者  ·  突发！GitLab不再为中国大陆、香港、澳门提供账号服务，60天不迁移或被删除账号
3 天前
Python开发者  ·  Ilya向全世界宣布：预训练结束了！全球AI数据耗尽，超级智能才是未来
3 天前
19楼  ·  丑了整整28年，她只花了1小时就变可爱小萝莉
8 年前
互联网的一些事  ·  猝不及防！支付宝突然放出大招：共享单车全部免押金了！
7 年前
社科学术圈  ·  你可能一直在错误的阅读文献！
7 年前
天同诉讼圈  ·  互联网企业如何在用户信息纠纷中从容抗辩、举证 | 法务圈
7 年前
72变  ·  牛B的果粉都在这里耍！
7 年前
Sov5搜索   ·   小百科   ·   移动版
51好读 - 好文章就要读起来!