专栏名称: Linux中国
十万级技术订阅号,依托于『Linux中国』(https://linux.cn/)社区,专注于 Linux 学习、技术研究、开源思想传播。
目录
相关文章推荐
51好读  ›  专栏  ›  Linux中国

通过 Slack 监视慢 SQL 查询

Linux中国  · 公众号  · linux  · 2017-11-03 09:56

正文

一个获得关于慢查询、意外错误和其它重要日志通知的简单 Go 秘诀。
-- Azer Koçulu


本文导航
编译自 | http://azer.bike/journal/monitoring-slow-sql-queries-via-slack/
作者 | Azer Koçulu
译者 | qhwdw

一个获得关于慢查询、意外错误和其它重要日志通知的简单 Go 秘诀。

我的 Slack 机器人提示我一个运行了很长时间 SQL 查询。我应该尽快解决它。

我们不能管理我们无法去测量的东西。 每个后台应用程序都需要我们去监视它在数据库上的性能。如果一个特定的查询随着数据量增长变慢,你必须在它变得太慢之前去优化它。

由于 Slack 已经成为我们工作的中心,它也在改变我们监视系统的方式。 虽然我们已经有非常不错的监视工具,如果在系统中任何东西有正在恶化的趋势,让 Slack 机器人告诉我们,也是非常棒的主意。比如,一个太长时间才完成的 SQL 查询,或者,在一个特定的 Go 包中发生一个致命的错误。

在这篇博客文章中,我们将告诉你,通过使用已经支持这些特性的 一个简单的日志系统 [1] 一个已存在的数据库库(database library) [2] 怎么去设置来达到这个目的。

使用记录器

logger [3] 是一个为 Go 库和应用程序使用设计的小型库。在这个例子中我们使用了它的三个重要的特性:

◈ 它为测量性能提供了一个简单的定时器。
◈ 支持复杂的输出过滤器,因此,你可以从指定的包中选择日志。例如,你可以告诉记录器仅从数据库包中输出,并且仅输出超过 500 ms 的定时器日志。
◈ 它有一个 Slack 钩子,因此,你可以过滤并将日志输入到 Slack。

让我们看一下在这个例子中,怎么去使用定时器,稍后我们也将去使用过滤器:

  1. package main

  2. import (

  3.    "github.com/azer/logger"

  4.    "time"

  5. )

  6. var (

  7.  users = logger.New("users")

  8.  database = logger.New("database")

  9. )

  10. func main () {

  11.  users.Info("Hi!")

  12.  timer := database.Timer()

  13.  time.Sleep(time.Millisecond * 250) // sleep 250ms

  14.  timer.End("Connected to database")

  15.  users.Error("Failed to create a new user.", logger.Attrs{

  16.     "e-mail": "[email protected]",

  17.  })

  18.  database.Info("Just a random log.")

  19.  fmt.Println("Bye.")

  20. }

运行这个程序没有输出:

  1. $ go run example -01.go

  2. Bye

记录器是 缺省静默的 [4] ,因此,它可以在库的内部使用。我们简单地通过一个环境变量去查看日志:

例如:

  1. $ LOG=database@timer go run example-01.go

  2. 01:08:54.997 database(250.095587ms): Connected to database.

  3. Bye

上面的示例我们使用了 database@timer 过滤器去查看 database 包中输出的定时器日志。你也可以试一下其它的过滤器,比如:

LOG=* : 所有日志
LOG=users@error,database : 所有来自 users 的错误日志,所有来自 database 的所有日志
LOG=*@timer,database@info : 来自所有包的定时器日志和错误日志,以及来自 database 的所有日志
LOG=*,users@mute : 除了 users 之外的所有日志

发送日志到 Slack

控制台日志是用于开发环境的,但是我们需要产品提供一个友好的界面。感谢 slack-hook [5] , 我们可以很容易地在上面的示例中,使用 Slack 去整合它:

  1. import (

  2.  "github.com/azer/logger"

  3.  "github.com/azer/logger-slack-hook"

  4. )

  5. func init () {

  6.  logger.Hook(&slackhook.Writer{

  7.    WebHookURL: "https://hooks.slack.com/services/...",

  8.    Channel: "slow-queries",

  9.    Username: "Query Person",

  10.     Filter: func (log *logger.Log) bool {

  11.      return log.Package == "database" && log.Level == "TIMER" && log.Elapsed >= 200

  12.    }

  13.  })

  14. }

我们来解释一下,在上面的示例中我们做了什么:

◈ 行 #5: 设置入站 webhook url。这个 URL 链接在这里 [6]
◈ 行 #6: 选择流日志的入口通道。
◈ 行 #7: 显示的发送者的用户名。
◈ 行 #11: 使用流过滤器,仅输出时间超过 200 ms 的定时器日志。

希望这个示例能给你提供一个大概的思路。如果你有更多的问题,去看这个 记录器 [3] 的文档。

一个真实的示例: CRUD

crud [7] 是一个用于 Go 的数据库的 ORM 式的类库,它有一个隐藏特性是内部日志系统使用 logger [3] 。这可以让我们很容易地去监视正在运行的 SQL 查询。

查询

这有一个通过给定的 e-mail 去返回用户名的简单查询:

  1. func GetUserNameByEmail (email string) (string, error) {

  2.  var name string

  3.  if err := DB.Read(&name, "SELECT name FROM user WHERE email=?"







请到「今天看啥」查看全文