点击关注▲艾奇SEM
知识 | 经验 | 资讯 | 资料 四大版块
从SEM到互联网整合营销
作者：王文涛（QQ：2774150789）
原创投稿，未经允许，禁止转载
投稿邮箱：[email protected]
本人纯屌丝竞价猿一枚,上班就查排名啊！查排名啊！查排名啊！蛋甚是疼，就想着有没有办法实时自动抓取百度（当然搜狗、360、神马啥的都可以）竞价排名，那就不用自己手动来查排名了!还别说，真的有！
大家可以先看视频感受一下这种自动抓取排名的酷炫感（视频开始后请静候10秒，小程序运行需要一点时间……）
这边放一张最后抓取到EXCEL报表的示例图：
这个东西都能用来做些什么工作呢？比如：
1、采集创意，研究对手创意（代码只能获取标题，没有添加获取两个描述的代码）
2、排查排名情况（可以修改代码，只监视我们关注的对手的排名情况）
3、根据excel中的查询记录能查到对手下线上线时间
4、调整查询的关键词可以了解对手推广重点（需要添加多关键词查询功能，很简单）
5、不用点击进去就能获取真实着陆页链接
6、通过观察对方着陆页链接的后缀可以大致摸清其账户结构（需要查询足够多，足够广泛的的关键词及知道其陆页链接后缀意思的情况下才可以）
7、研究对手匹配方式设置情况（通过查询多次，对比搜索词与账户触发词，此代码没有添加此功能，有兴趣的童鞋可以自己添加上去，很简单）
8、研究对手分地域推广情况（需要设置代理，我没有添加此功能，有点麻烦）
9、除查询竞价排名情况外，稍微修改一下还可以查询自然排名情况，用处大家自己想哈
10、……
下面教程开始：
1、 环境搭建
人生苦短。我用python
备注：装轮子的时候推荐使用pip或者easy_install，以下环境搭建非本文重点，请各位童鞋找度娘帮忙，实在实在搞不定的话也可以联系我，不要看要安装那么多东西太麻烦，其实这只是冰山的一个小角，要学的还有很多呢！
1）python2.7（我是用的python，当然需要安装python环境了，为什么不选py3呢?因为py2的轮子比较丰富，可能有的在py3上面不支持，而且py3的部分语法跟py2有点区别，特别是print函数）
下载地址：https://www.python.org/downloads/（复制链接到浏览器打开即可）
2）使用python现成的轮子：
A、requests库（python爬虫经典库，当然也有很多别的，比如urllib、Scrapy框架等，但是我感觉requests用的比较顺手）
安装教程：http://www.python-requests.org/en/master/user/install/#install
B、xlwings库（操作excel的库，把获取到的排名情况写到Excel，其他的比如xlrd、xlwt，一个只能读，一个只能写，还不能覆盖了写，好像有点操蛋哈。其实也可以把结果直接打印在控制台或是存在文档里面，都可以的）
安装教程：http://docs.xlwings.org/en/stable/installation.html
C、 lxml库（这个库用来使用XPath获取爬到的页面内容，比如竞价位的标题和url，我已经抛弃了Beautiful Soup了，因为感觉它有点笨拙，个人见解，不喜勿喷）
安装教程：http://lxml.de/installation.html#installation
3）Excel2016（我是用的这个版本，其他版本也可以兼容xlwings）
4）Sublime Text3（用来编写和运行python代码的，为什么用这个，个人喜好）
安装及配置python环境教程：https://www.zhihu.com/question/22904994
2、 连接python和excel
现在基本的环境都配置好了，下面要开始连接python和Excel了，在Excel里面跑python代码，从此告别VBA，是不是很酷啊！
最简单的方法就是打开cmd（开始-运行-输入cmd回车或者win键+R打开运行输入cmd并回车），打开cmd后默目录如图是C:\Users\Administrator（不同电脑这个目录可能不同）；
我现在要把当前目录切换到C盘根目录，输入下面命令并回车：
然后输入下面命令并回车：
出现如图所示，则表明运行成功。
然后在C盘会生成一个以wwt命名的文件夹,里面有两个文件：一个是wwt.xlsm文件，这是打开宏的excel格式，爬取到的数据就写入到该文件;另外一个是wwt.py文件,python命令就写在这个文件。
备注：链接excel和python有多种方法，具体见xlwings官网使用文档。
打开wwt.xlsm，然后打开vba代码编辑窗口(Alt+F11)，如图所示：
双击Module1模块，复制下面代码进去，
1
2 3 | Sub GetSEM()
RunPython ("import wwt; wwt.main()")
End Sub
|
备注：以上代码是在VBA中自定义一个以GetSEM()命名的宏，该宏会出现在Excel中的开发工具—宏模块中。RunPython ("import wwt; wwt.main()")是xlwings提供的代码，意思是运行python代码，“import wwt”是导入wwt.py文件，“wwt.main()”是运行wwt.py文件中的main()函数，这个宏是连接python和Excel的桥梁。
至此，连接python与Excel2016完成，可以在Excel中跑python代码了！保存退出，OK！
3、 复制代码到wwt.py
由于微信编辑功能限制（其实是艾奇菌不知道怎么把代码完完整整放进来……），我们为大家打包了源代码和EXCEL文档，大家点击“阅读原文”即可下载源代码，将代码复制之前生成的wwt.py中即可。
这里的代码只是实现了一个最简单的查排名的功能，可以根据自己需要修改。
注意：python是一门有强迫症的语言，上下前后左右缩进一定要对其，否则会报错！
4、 运行wwt.xlsm
万事俱备，只欠东风，我们什么都不欠了，就欠你打开wwt.xlsm，然后点几下了！
按照如图箭头所示顺序，执行以下，排名情况就会展现在你面前！最后贴上运行结果供大家参考！什嘛？竟然有的着陆页没添加跟踪后缀，太不专业啦！！
代码纯手敲，文字纯手打，累了！DONE！
以上程序代码只做了简单的异常处理，运行时可能会无故中断，并且只获取PC端的排名情况，代码也比较丑，请大家不要笑话俺，此文仅为各位童鞋提供一个大体思路，具体细节请各位自行斟酌。
声明：本文为王文涛本人原创，投稿在艾奇SEM，转发转载请标明作者及出处，否则发现一律追究！本人QQ2774150789，想一起探讨的可以加我。
SEM小白2年后成长 | 恶意点击都是纸老虎 | 四种SEM数据分析方法 | 百度竞价包年骗局 | SEM跳槽 | SEM、DSP与信息流广告的“一哥之争” | 做SEM没前途？ | 2亿推广费换来的SEM经验 | 90后SEM高管访谈 | 恶意点击 | 竞价自学教程 | 竞价团队 | 数据报表模版 | 15张SEM思维导图 | 婚纱摄影方案 | SEM成本直降90% | 中小企业竞价误区 | 行业总监专访 | 竞争对手 | 新接手SEM项目 | SEM求职 | SEMer段位修炼 | 小企业吐槽 | 超10000关键词管理 | SEM书单 | 预算有限 | SEM绩效考核 | SEM知识系统化| 投放效果预估 | SEM实用技巧 | 竞价流量黑洞 | 网民搜索行为解读 | SEMer发展前景 | SEM账户架构 | 关键词拓展工具 | 百度知道推广 | 今日头条后台操作说明 | 粉丝通优化实战案例 | 成为DSP优化师
