专栏名称: DBAplus社群
围绕数据库、大数据、PaaS云,顶级大咖、技术干货,运营几个月受众过十万!成为运维圈最专注围绕“数据”的学习交流和专业社群!欢迎投稿,加入探讨。
目录
相关文章推荐
AustinDatabases  ·  OceanBase ... ·  昨天  
数据分析与开发  ·  代码界的“瘟疫”?卡帕西“Vibe ... ·  3 天前  
数据分析与开发  ·  北京大学出的第四份 DeepSeek ... ·  3 天前  
数据中心运维管理  ·  AI数据中心 VS 普通数据中心,有什么不同? ·  3 天前  
瑞典马工  ·  HTAP数据库,一场无人鼓掌的演出 ·  3 天前  
瑞典马工  ·  HTAP数据库,一场无人鼓掌的演出 ·  3 天前  
51好读  ›  专栏  ›  DBAplus社群

dba+开源工具:可视化分析MongoDB慢查询日志

DBAplus社群  · 公众号  · 数据库  · 2020-06-28 20:45

正文



工具研发者介绍

贺春旸, 凡普金科爱钱进DBA团队负责人,《MySQL管理之道:性能调优、高可用与监控》第一、二版作者,曾任职于中国移动飞信、安卓机锋网。致力于MariaDB、MongoDB等开源技术的研究,主要负责数据库性能调优、监控和架构设计。

工具下载:

https://github.com/hcymysql/mongo_slowquery


简介


MongoDB的慢SQL日志是记录到业务库的system.profile表里的,当线上DB运行缓慢时,开发通常联系DBA去排查问题,那么可以将这种机械化的工作,做成一个平台化、可视化的工具出来,让开发在网页里点点鼠标即可查看数据库运行状况,这将大大提高工作效率,降低对DBA的依赖。


笔者参考了Percona pt-mongodb-query-digest工具抓取分析的展示思路,并用PHP重构,将分析结果插入 MySQL表里 ,用前端页面展现出来,方便开发定位问题。每次抓取最近1000条超过1秒的慢SQL记录入库。


执行:


php check_mongo_slowsql.php



相当于执行:


db.getSiblingDB("samples").system.profile.find({millis:{$gte:2000}},

{millis:1,ns:1,query:1,ts:1,client:1,user:1}).sort({ts:-1}).limit(1000)



采用远程连接方式获取慢SQL,所以无需要在数据库服务器端部署相关agent或计划任务。



首页汇总了生产业务库31天内的慢SQL集合。



点击“选择数据库标签”可以查看具体的业务库慢SQL趋势走向。



点击抽象语句栏目的✚号,会弹出一个新连接,展示慢SQL的来源用户名、IP、集合的大小、集合的索引信息,以及SQL的Explain执行计划。


环境搭建


1、php-mysql驱动安装:


shell> yum install -y php-pear php-devel php gcc openssl openssl-devel cyrus-sasl cyrus-sasl-devel httpd mysql php-mysql


2、php-mongo驱动安装:


shell> pecl install mongo


把extension=mongo.so加入到/etc/php.ini最后一行。


重启httpd服务,service httpd restart


(注:如果通过pecl安装报错,请参考以下链接,进行源码安装。PHP 5.4版本对应的驱动版本是mongodb-1.3.4.tgz: https://www.runoob.com/mongodb/mongodb-install-php-driver.html )


3、创建MongoDB管理员用户权限(监控采集数据时使用)


首先我们在被监控的数据库端创建授权帐号,允许采集器服务器能连接到MongoDB数据库。由于需要执行命令db.runCommand(),所以需要授予管理员角色,授权方式如下所示:


> use yourdb

> db.createUser({user:"monitor_slowsql",pwd:"123456",roles:[{role:"dbOwner",db:"yourdb"}]})



MongoDB Slowquery部署


把https://github.com/hcymysql/mongo_slowquery/archive/master.zip安装包解压缩到/var/www/html/目录下。


1、导入MongoDB Slowquery慢查询监控工具表结构(mongo_slowsql库)


cd /var/www/html/mongo_monitor/


mysql -uroot -p123456 < mongo_slowsql_schema.sql



2、录入被监控主机的信息







请到「今天看啥」查看全文