专栏名称: About云
about云-为热爱云开发技术人员提供最全面的信息传播和服务平台
目录
相关文章推荐
药渡  ·  大年初八,开工大吉! ·  3 天前  
医药经济报  ·  首版丙类目录2025年发布,各地探索商保医保 ... ·  4 天前  
甘肃药品监管  ·  甲钴胺片吃一个月得停?其实真相是…… ·  昨天  
现代快报  ·  默沙东宣布:暂停供应 ·  3 天前  
现代快报  ·  默沙东宣布:暂停供应 ·  3 天前  
Insight数据库  ·  针对小细胞肺癌脑转移,国产 1 ... ·  6 天前  
51好读  ›  专栏  ›  About云

about云课程:大数据日志实时分析【课程更新】

About云  · 公众号  ·  · 2018-04-18 16:08

正文

课程简介


课程分为四部分:

第一部分集群安装:里面详细介绍了集群安装知识及大数据组件如何实现整合的。大数据组件包括:hadoop、flume、kafka、spark。


第二部分Scala知识:Scala是大数据很重要的一门语言。这里补充了零基础入门知识,为以后学习、使用spark打下基础。


第三部分spark编程知识:这里接上面内容,补充Scala知识,让我们有了spark编程的基础,spark有自己的api,懂得了spark编程基础,如果自己具备传统项目经验,去实现大数据项目,会容易很多。


第四部分about云日志项目实战:这里面教给大家如何整体认识日志搜集,从网站的搭建产生日志,到处理flume,kakfa传递,然后spark streaming实时处理统计。



详细内容如下

整体目录



第一部分:



第二部分:




第三部分:




第四部分:


更新
01. 统计结果中增加时间间隔&过滤异常ip
02.以standalone模式运行统计程序

相关版本:
hadoop2.7.4+spark2+flume1.7+kafka2.11

收获:
1.零基础搭建、整合集群,可以懂得Linux知识、集群搭建、配置、版本整合等知识。
2.学会Scala编程知识,会使用Scala编程
3.懂得spark相关api的使用,特别是SparkSession、spark streaming、spark sql等spark编程相关实战知识
4.日志分析,从零开始,从网站访问到产生日志,然后过滤、清洗数据,通过flume,kakfa传递,通过spark streaming编程实现清洗日志,并通过mysql和web前台展示统计结果。



更新试看:
链接: https://pan.baidu.com/s/1YG1ZYZonuy-_2bkMgtEgTg 密码: vist

试看视频

第一部分:
链接: https://pan.baidu.com/s/1By1rO_SMQ6QJcGXvOsMZlA 密码: s772


第二部分:
链接: https://pan.baidu.com/s/1Rf0vbSlXnIQhADwcj0PGwg 密码: 6ti9

第三部分:
链接: https://pan.baidu.com/s/1_LGMorQe9vlfyCl-SpuzTg 密码: xf85

第四部分
链接: https://pan.baidu.com/s/10rkk6-WeL7DIUIJHZe0EUQ 密码: f7ei


购买

推荐支付宝:





淘宝下单: 购买
https://item.taobao.com/item.htm?spm=a1z10.1-c.w4004-4627152322.3.b5d96130ws87ij&id=567277877190


咨询qq:







请到「今天看啥」查看全文