专栏名称: 信息时代的犯罪侦查

一切行为皆有犯罪的可能性，而在信息时代，这一过程变得更加复杂或者隐晦了。本号致力于传播打击和预防犯罪的手段、方法、理念，并希望能够推动侦查犯罪的机制变革，而这需要了解方方面面的信息。

自己动手搭建大数据查询平台的入门级做法

信息时代的犯罪侦查 · 公众号 · · 2024-05-29 11:10

正文

知识

案例

随笔

声音

其他

编者按

做数据分析这些年，有一条颠簸不破的规律，即所谓智能算法不过是过眼云烟，最根本的还是数据查询检索……。作者利用课余时间，自己动手搭建大数据查询平台，总结了一套入门级的做法，大家都可以试一试。

一、技术路线

1、D ocker —— 为什么要用Docker实现？最根本的原因，紧急时能够快速解构，消除一切证据，毕竟做数据工作，风险还是很大。

2、Solr ——为什么要用Solr，原因就不必细说了，跟数据量和查询效率有直接关系。

3、DataleakMonitor ——这是小编自己编写的代理程序，主要功能是：从公网接受数据检索需求并发送到局域网内，在局域网内进行查询，把包含查询结果的数据（已通过星号进行了混淆）传输到公网，显示给用户，等待时间：约15秒。

4、MySQL+PHP ——网站，接受查询需求并访问结构化数据库，此处的结构化数据库主要保存查询需求、已经响应的情况等。

5、数据保存在局域网 ——防止被拖库。

二、数据平台情况

1、硬件情况

内存：8GB；CPU：INTEL Atom C2538，2.4GHZ，4核；硬盘：600GB/21TB。

2、数据情况

用来进行测试的数据主要包括：姓名、用户名、

推荐文章

证券时报 · 外籍游客大增！亚冬会热度加持，“尔滨”华丽变身“国际滨”

19 小时前

证券时报 · 《哪吒2》破81亿！冲入全球动画电影前10，洛杉矶首映结束全场鼓掌

2 天前

上海证券报 · DeepSeek爆火，“六小龙”出圈，为什么是杭州？

2 天前

中国证券报 · 中国资产，全线上涨！

2 天前

中国证券报 · 关于DeepSeek，券商新动作

3 天前

广东台今日关注 · 广州：村民毁林搞违建附近住户“心惊惊”

7 年前

程序员的那些事 · 趣图：第一次代码实战

7 年前

微路况 · 扎心了！这些恶性循环，招招中啊！

7 年前

扫雷小组 · what？利率上浮30%，发行规模却下降50%，地方债这是咋了？

7 年前

天下说法 · 一把手涉嫌不正当交易被抓，手下人的各路动作真是令人汗颜！

7 年前