专栏名称: 唧唧堂

唧唧堂学术管理分享平台，更好的学术阅读与写作！

腾讯课堂 | Python网络爬虫与文本数据分析

唧唧堂 · 公众号 · · 2020-02-07 16:16

正文

在过去的两年间，Python一路高歌猛进，成功窜上“最火编程语言”的宝座。惊奇的是使用Python最多的人群其实不是程序员，而是数据科学家，尤其是社会科学家，涵盖的学科有 经济学、管理学、会计学、社会学、传播学、新闻学 等等。

大数据时代到来，网络数据正成为潜在宝藏，大量商业信息、社会信息以文本等非结构化、异构型数据格式存储于网页中。非计算机专业背景的人也可借助机器学习、人工智能等方法进行研究。使用网络世界数据进行研究，面临两大难点：

数据的获取
文本（非结构化）数据的处理与分析

数据获取需要借助Python编程语言设计网络爬虫，而获得的数据中有相当比例数据是非结构化数据，这就需要文本数据分析技术。 本次课程参照已发表的社科类的文章，希望帮助大家解决文本分析这最难的两大难点。 课程设计的初衷是用最少的时间让大家学到最有用的知识点，降低学习难度。希望学习完本课程后能让各位结合研究需要对自己学科内的文本分析有一个全面深刻的了解，方便各位开展后续研究。

课程目录

第一节简介

课程介绍

课程知识点分布

第二节环境配置

Mac环境配置

Windows环境配置

pip安装问题解决办法

jupyter notebook使用方法

第三节 python基本语法

python跟英文一样也是一门语言，这很文科

字符串

列表

元组

字典

集合

if条件语句

for循环语句

try-except异常处理语句

第四节 python高级语法

切片-对想要的数据字段进行切片

列表推导式

函数

csv文件存储库

os文件路径操作库

re正则表达式(文本分析利器)

python初学者常见错误

第五节网络爬虫原理

理解访问与请求

寻求网址规律

开发者工具的使用

requests访问库

pyquery网页解析定位库

第六节网络爬虫实战

静态网站-天涯论坛

静态网站-大众点评

静态网站-boss直聘

动态网站-百度企业信用

动态网站-京东评论

动态网站-B站弹幕

动态网站-B站评论

如何用pandas采集网页中的表格数据

第七节初识文本分析

如何从不同格式的文件中读取数据

jieba分词、词频统计与可视化

海量公司年报的情感分析(中文)

英文数据的情感分析

如何对excel、csv文件做数据分析(pandas数据分析库）

第八节文本分析与机器学习

机器学习概论

用机器学习做文本分析的步骤

机器学习库scikit-learn

文本特征工程(描述数据的方式)

在线评论情感分类

了解聚类Kmeans算法

文本相似度计算

LDA话题模型

计算消费者异质性(特征向量)

文本分析在经管研究中的应用案例

请到「今天看啥」查看全文

推荐文章

小小牛财经 · 特斯拉估值大回撤deepseek运营现状

7 小时前

偶俚张家港 · 特斯拉突发

昨天

偶俚张家港 · 特斯拉突发

昨天

汽车商业评论 · 《哪吒2》火出天际，电影营销车企只能靠押宝？

昨天

湾区财经传媒 · “小米智驾再进一步”，雷军这么说

2 天前

湾区财经传媒 · “小米智驾再进一步”，雷军这么说

2 天前

驾仕派 · 工信部392批新车拾遗：新问界M9智驾升级，新博越L改了前脸，纳米06挑战元UP

2 天前

驾仕派 · 工信部392批新车拾遗：新问界M9智驾升级，新博越L改了前脸，纳米06挑战元UP

2 天前

立德融金集团 · “玻璃大王”曹德旺又讲大实话：中国除了人便宜，啥都比美国贵！

8 年前

慈怀读书会 · 致每个陪睡的妈妈，全世界欠你一个拥抱

7 年前

无极太极 · 缘起无极太极：让更多人学到真功夫！

7 年前

禅茶一味 · 婚姻是泡一壶茶，穿一双鞋

7 年前

深圳全攻略 · 全深圳最好吃的鱼都在这里了！吃货绝对不可以错过！

7 年前