专栏名称: 爱数据原统计网
中国统计网(www.itongji.cn),国内最大的数据分析门户网站。提供数据分析行业资讯,统计百科知识、数据分析、商业智能(BI)、数据挖掘技术,Excel、SPSS、SAS、R等数据分析软件等在线学习平台。
目录
相关文章推荐
51好读  ›  专栏  ›  爱数据原统计网

Python入门(三):解析

爱数据原统计网  · 公众号  · BI  · 2017-02-19 17:33

正文


本章主要教一下大家如何使用审查元素找到我们需要的数据。这只是一个初步的对于HTML解析的方法,更多奇怪的问题,我们会通过实例一个一个深入探讨。


今天我们的示例网页是:巨潮资讯网,我们的目标是获取所有的股票代码和对应的公司名称。



1
HTML简介


HTML是一种标记语言。作为“标记语言”,需要有标记符号去标记。我们简单介绍一下一些标记。


为了和爬虫更好地结合一下,我们教一下大家使用审查元素。我们打开示例网页,然后点击右键,选择“审查元素”或者“检查元素”,然后把标签都收起来,收到这样:



首先我们看到最基本的几个标签:



"html"定义了这个文件是个HTML,"head"定义了标题,就是这个:



"body"里面的就是网页里面的正文。后面一个斜杠加一个同样名字的标签代表这部分结束。


好的,我们继续往下。对着某一个我们需要的数据,比如



点击“审查元素”,我们会看到:



开发者工具很好地显示了HTML的层层逻辑。我们在这里列举一下我们经常见到的一些标签。(关于标签详细含义的介绍,请戳本节结束的参考资料。)



我们再观察一下我们需要的数据的那段HTML:



我们看到,在标签的里面还有一些XX="XX"的东西,这个是标签的属性。(具体的含义我们也不多介绍,如果想深入了解,请戳本节结束的参考资料。)


一些基本的概念就讲到这里。也许你会以为这还不够。这当然不够,但是对于bs4的一些基本用法已经足够了。


参考资料:W3School是一套非常好的Web开发教程。关于HTML,请戳:HTML 简介


2
bs4解析HTML


这次我们使用IDLE来编写程序。


在使用之前,你需要下载一下这个第三方库。


我们打开一个新文件:



然后按照第二讲的请求方法,先把HTML请求下来:



接着,我们在审查元素里面去找我们需要的数据(见本篇第一部分)。我们接下来要做的事情是,用bs4这个强大的工具,通过前面提到的标签和标签的属性定位到某个标签。


首先我们要导入模块并创建一个BeautifulSoup对象:



后面的这个参数是解析器。关于解析器的选择,请参考官方文档:Beautiful Soup 4.2.0 文档。我们这里使用Python自带的解析器,这样可以避免Windows下坑爹的lxml安装问题。



事实上,找合适的标签这个技能有很多简便的实现方式和技巧。但是对于新手来说,最简单的方法反而是一个一个标签定位下去。这小段代码就示例了这个过程。从代码我们可以看到,直接索引和用find方法都是可以的。find方法里面也可以加上attrs参数,然后用字典传入我们想找的标签属性。


一个小Tip:HTML的标签习惯用“-”连接,比如“list-ct”,而不是“_”


继续往下解析:



如果我们想取出某一类标签下所有的HTML,那就用find_all方法就可以。如果我们想要某个标签属性里面的值,那么就用字典的语法索引就可以。如果我们想要标签里面的文字,就使用get_text方法。


这里我们仍然只是把结果print出来,在下一讲再说储存:



我们把上面的函数拼到一起:








请到「今天看啥」查看全文