fshell 基于机器学习的分布式webshell检测系统
1. 项目简介
该项目从web服务器日志、统计学分析、文件属性分析、静态特征检测以及文件fuzz hash的检测这5个维度对webshell进行了基于支持向量机（SVM）和决策树（DT）的监督学习的机器学习算法，从而分类出支持文件和恶意webshell。 通过在业务web server上安装agent，将采集到的数据定时/实时传输到Server端,经过对采集的元数据加工处理，形成机器学习算法可以处理的特征向量化数据。在机器学习模块将采用SVM和决策树进行机器学习，形成针对webshell的二分类，达到检测效果。
2. 项目整体架构
fshell系统逻辑架构
fshell 模块功能说明
fs_agent模块：fshell的agent模块，主要实现：（1）对web_log, statistics, file_attribute, danger_func, fuzz_hash元数据的采集，并发送到fs_server；（2）对server下发到agent配置信息进行更新；（3）读取server的文件读取指令，并将文件内容回传给server。
fs_server模块：fshell在Server端的数据通信模块，该模块采用TCP socket 长连接和短连接的方式，监听3个端口。与agent模块实现：元数据data_srv接收入库，配置更新下发，agent上文件读取回传三个功能。
fs_stand_srv模块：fshell的标准化srv模块，主要实现对已经入库的元数据进行特征向量化处理，使机器学习算法能够直接使用。
fs_kernel模块：fshell的机器学习算法的核心模块。该模块采用支持向量机（SVM）和决策树（DT）等算法对特征向量进行监督学习，从而实现webshell与正常文件的分类。
fs_manager模块：fshell的主控制模块。该模块实现：对agent配置管理；用户UI的管理；样本特征库的管理；机器学习检测模块相关配置以及结果的管理；以及其他预警通知、文件传输等的管理。
End
为了让大家能有更多的好文章可以阅读，36大数据联合华章图书共同推出「祈文奖励计划」，该计划将奖励每个月对大数据行业贡献（翻译or投稿）最多的用户中选出最前面的10名小伙伴，统一送出华章图书邮递最新计算机图书一本。投稿邮箱:[email protected]
点击查看：你投稿，我送书，「祈文奖励计划」活动详情>>>
如果有人质疑大数据？不妨把这两个视频转给他
视频：大数据到底是什么 都说干大数据挣钱 1分钟告诉你都在干什么
人人都需要知道 关于大数据最常见的10个问题
从底层到应用，那些数据人的必备技能
如何高效地学好 R?
一个程序员怎样才算精通Python？
排名前50的开源Web爬虫用于数据挖掘
33款可用来抓数据的开源爬虫软件工具
在中国我们如何收集数据？全球数据收集大教程
PPT：数据可视化，到底该用什么软件来展示数据？
干货｜电信运营商数据价值跨行业运营的现状与思考
大数据分析的集中化之路 建设银行大数据应用实践PPT
【实战PPT】看工商银行如何利用大数据洞察客户心声？
六步，让你用Excel做出强大漂亮的数据地图
数据商业的崛起 解密中国大数据第一股——国双
双11剁手幕后的阿里“黑科技” OceanBase/金融云架构/ODPS/dataV
金融行业大数据用户画像实践
“讲述大数据在金融、电信、工业、商业、电子商务、网络游戏、移动互联网等多个领域的应用，以中立、客观、专业、可信赖的态度，多层次、多维度地影响着最广泛的大数据人群
搜索「36大数据」或输入36dsj.com查看更多内容。
投稿/商务/合作:[email protected]
