专栏名称: 唧唧堂

唧唧堂学术管理分享平台，更好的学术阅读与写作！

视频课 | Python网络爬虫与文本数据分析

唧唧堂 · 公众号 · · 2020-01-28 16:04

正文

大数据时代到来，网络数据正成为潜在宝藏，大量商业信息、社会信息以文本等非结构化、异构型数据格式存储于网页中。非计算机专业背景的人也可借助机器学习、人工智能等方法进行研究。使用网络世界数据进行研究，面临两大难点：

数据的获取
文本（非结构化）数据的处理与分析

数据获取需要借助Python编程语言设计网络爬虫，而获得的数据中有相当比例数据是非结构化数据，这就需要文本数据分析技术。 本次课程参照已发表的社科类的文章，希望帮助大家解决文本分析这最难的两大难点。 课程设计的初衷是用最少的时间让大家学到最有用的知识点，降低学习难度。希望学习完本课程后能让各位结合研究需要对自己学科内的文本分析有一个全面深刻的了解，方便各位开展后续研究。

课程内容

第一部分 Python基础(2小时)

python跟英语一样也是一种语言

环境配置

jupyter notebook使用方法

数据类型-list、str、dict、tuple、set

for循环、if逻辑

try-except

常用函数

常用库

pip安装问题解决办法

常见错误

第二部分网络爬虫(2小时)

网络爬虫原理

开发者工具使用

数据抓包

requests库

pyquery库

元素（数据）定位

数据存储（txt，csv）

案例1：天涯论坛

案例2：大众点评‍

案例3：BOSS直聘

案例4：百度企业信用

案例5：京东评论

案例6：网页上的表格数据

案例7：B站弹幕数据、评论数据

案例8: 从浪潮咨询批量下载上市公司公告pdf文件

第三部分文本分析入门(2小时)

文本分析应用场景

txt、pdf、word等类型文件的数据读取

中文分词-jieba库

可视化-pyecharts库

英文通用情感词库-Harvard-IV4

英文金融会计领域情感词库Loughran&MCdonald

常见的中文情感词典

中文情感词典的构建及使用

数据分析-pandas库

案例1-词频统计

案例2-制作词云图

案例3-海量公司年报文本分析

案例4-使用情感词典进行情感计算

第四部分文本分析进阶(2小时)

什么是机器学习

监督学习与非监督学习

使用机器学习进行文本分析的步骤

表达文本数据信息的方式（独热编码、词袋法、TF-IDF）

文本可读性计算

公司年报信息含量(标准信息与特有信息)计算思路

理解特征矩阵、语料、文档、特征

机器学习库-sklearn语法学习

了解协同过滤-推荐系统

案例1-在线评论情感分析

案例2-文本分类

案例3-LDA话题模型

案例4-计算消费者异质性信息

请到「今天看啥」查看全文

推荐文章

小小牛财经 · 特斯拉估值大回撤deepseek运营现状

7 小时前

偶俚张家港 · 特斯拉突发

昨天

偶俚张家港 · 特斯拉突发

昨天

汽车商业评论 · 《哪吒2》火出天际，电影营销车企只能靠押宝？

昨天

湾区财经传媒 · “小米智驾再进一步”，雷军这么说

2 天前

湾区财经传媒 · “小米智驾再进一步”，雷军这么说

2 天前

驾仕派 · 工信部392批新车拾遗：新问界M9智驾升级，新博越L改了前脸，纳米06挑战元UP

2 天前

驾仕派 · 工信部392批新车拾遗：新问界M9智驾升级，新博越L改了前脸，纳米06挑战元UP

2 天前

爆笑gif图 · 别人家的化学课，手真的不会废掉吗。。。

8 年前

格上财富 · 【投资理财】港股配置价值正不断显现

7 年前

砍柴网 · 雷军哈佛演讲：马云睡觉都可以躺着赚钱；用户骑共享单车20分钟计费41万，吓得连夜去报警 | 砍柴晚讯

7 年前

行业研究报告 · 安邦、中植、复星——解密中国最凶猛的9大并购派系！

7 年前

钱眼 · 博客｜下周开始构建政策底

7 年前