专栏名称: FreeBuf
国内关注度最高的全球互联网安全新媒体
目录
相关文章推荐
浦东企业政策在线  ·  企业政策大讲堂 | 总第292期 ... ·  昨天  
浦东企业政策在线  ·  企业政策大讲堂 | 总第292期 ... ·  昨天  
飞鲸投研  ·  4000亿科技巨头,走投无路! ·  4 天前  
飞鲸投研  ·  4000亿科技巨头,走投无路! ·  4 天前  
FreeBuf  ·  安全什么时候才能被看见? ·  5 天前  
YNTV2都市条形码  ·  “我和他天生一对!”昆明六旬嬢嬢为爱奔现,跨 ... ·  5 天前  
YNTV2都市条形码  ·  “我和他天生一对!”昆明六旬嬢嬢为爱奔现,跨 ... ·  5 天前  
51好读  ›  专栏  ›  FreeBuf

Arkime:一款大规模数据包捕获和索引数据库系统

FreeBuf  · 公众号  · 互联网安全  · 2024-09-15 09:30

正文


关于Arkime

Arkime 是一个开源、大规模、完整的数据包捕获、索引和数据库系统,能够增强当前的安全基础设施,并以标准PCAP格式存储和索引网络流量,提供快速的索引访问。



该工具提供直观而简单的 Web 界面,用于 PCAP 浏览、搜索和导出。Arkime 公开了 API,允许直接下载和使用 PCAP 数据和 JSON 格式的会话数据。Arkime 以标准 PCAP 格式存储和导出所有数据包,允许在分析工作流程中使用您最喜欢的 PCAP 提取工具,例如 Wireshark。


通过使用带有摘要密码的 HTTPS 或使用提供身份验证的 Web 服务器代理,可以保护对 Arkime 的访问。所有 PCAP 都存储在传感器上,只能使用 Arkime 接口或 API 进行访问。Arkime 并非旨在取代 IDS,而是与 IDS 一起工作,以标准 PCAP 格式存储和索引所有网络流量,从而提供快速访问。


Arkime 旨在部署在许多系统中,并且可以扩展以处理数十千兆位/秒的流量。PCAP 保留基于可用的传感器磁盘空间。元数据保留基于 Elasticsearch 集群规模。两者都可以随时增加,并且完全由您控制。


多集群架构部署



工具组成


Arkime 系统由 3 个主要组件组成:

1、capture - 一个线程 C 应用程序,用于监视网络流量、将 PCAP 格式的文件写入磁盘、解析捕获的数据包以及将元数据(SPI 数据)发送到 elasticsearch。

2、viewer -每个捕获机器上运行的node.js应用程序。它处理 Web 界面和 PCAP 文件的传输。

3、OpenSearch / Elasticsearch - 为 Arkime 提供支持的搜索数据库技术。


我们还提供几个可选的应用程序:

1、cont3xt - 一种提供结构化方法来收集上下文情报以支持技术调查的应用程序。

2、esProxy - 在捕获和 OpenSearch/Elasticsearch 之间提供额外安全性的代理。

议会- 一个监控多个 Arkime 集群的应用程序,也是其前门。

3、wiseService——将威胁情报集成到会话元数据中的应用程序。


工具要求


Node.js


工具安装


由于该工具基于Node.js开发,因此我们首先需要在本地设备上安装并配置好最新版本的Node.js(20.x)环境。


接下来,广大研究人员可以直接使用下列命令将该项目源码克隆至本地:

git clone https://github.com/arkime/arkime


然后切换到项目目录中,安装并配置好相关依赖组件和Arkime:

cd arkime
./easybutton-build.sh --install
make config

除此之外,我们还可以直接访问该项目的Releases页面下载该项目提供的预构建二进制文件。

工具使用


安装后,用户可以使用简单的 Web 界面查看 Arkime 捕获的数据。Arkime 提供多种数据视图。主要视图是包含会话列表的“会话”页面。可以打开每个会话来查看元数据和 PCAP 数据:



查看数据的另一种方式是 SPI 视图页面,它允许用户查看 Arkime 理解的每个字段的所有唯一值:



许可证协议


本项目的开发与发布遵循Apache-2.0开源许可协议。


项目地址


Arkime

https://github.com/arkime/arkime


FreeBuf粉丝交流群招新啦!
在这里,拓宽网安边界
甲方安全建设干货;
乙方最新技术理念;
全球最新的网络安全资讯;
群内不定期开启各种抽奖活动;
FreeBuf盲盒、大象公仔......
扫码添加小蜜蜂微信回复「加群」,申请加入群聊

https://arkime.com/
http://nodejs.org/
https://opensearch.org/downloads.html
https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started.html