专栏名称: 编程派
Python程序员都在看的公众号，跟着编程派一起学习Python，看最新国外教程和资源！
目录
相关文章推荐
51好读  ›  专栏  ›  编程派

实战 | Python脚本收集腾讯云CDN日志，并入ELK日志分析

编程派  · 公众号  · Python  · 2017-03-08 11:39

正文

请到「今天看啥」查看全文


原文： http://www.cnblogs.com/xiaoming279/p/6475832.html

作者：xiaoming279

全文约 10689 字，读完可能需要 16 分钟。

（我）负责搭建公司日志分析，一直想把CDN日志也放入到日志分析，前些日志终于达成所愿，现在贴出具体做法：

1、收集日志

腾讯云CDN日志一般一小时刷新一次，也就是说当前只能下载一小时之前的日志数据，但据本人观察，有时前一小时的并下载不到，所以为了保险起见，可以下载两小时之前的日志数据。下载日志可以通过腾讯云的API获取日志列表，然后下载。

腾讯云日志下载 API 链接：

日志采集脚本：get_cdn_log.py 

  1. [root@BJVM-2-181 bin]# cat get_cdn_log.py
  2. #!/usr/bin/env python
  3. # coding=utf-8
  5. import hashlib
  6. import requests
  7. import hmac
  8. import random
  9. import time
  10. import base64
  11. import json
  12. import gzip
  13. import os
  14. import sys
  15. from datetime import datetime, timedelta
  17. class Sign(object):
  19.     




    
def __init__(self, secretId, secretKey):
  20.         self.secretId = secretId
  21.         self.secretKey = secretKey
  23.     # 生成签名串
  24.     def make(self, requestHost, requestUri, params, method='GET'):
  25.         srcStr = method.upper() + requestHost + requestUri + '?' + "&".join(k.replace("_",".") + "=" + str(params[k]) for k in sorted(params.keys()))
  26.         hashed = hmac.new(self.secretKey




    
, srcStr, hashlib.sha1)
  27.         return base64.b64encode(hashed.digest())
  29. class CdnHelper(object):
  30.     SecretId='AKIDLsldjflsdjflsdjflsdjfpGSO5XoGiY9'
  31.     SecretKey='SeaHjSDFLJSLDFJQIuFJ7rMiz0lGV'
  32.     requestHost='cdn.api.qcloud.com'
  33.     requestUri='/v2/index.php'
  35.     




    
def __init__(self, host, startDate, endDate):
  36.         self.host = host
  37.         self.startDate = startDate
  38.         self.endDate = endDate
  39.         self.params = {
  40.             'Timestamp': int(time.time()),
  41.             'Action'




    
: 'GetCdnLogList',
  42.             'SecretId': CdnHelper.SecretId,
  43.             'Nonce': random.randint(10000000,99999999),
  44.             'host': self.host,
  45.             'startDate': self.startDate,
  46.             'endDate': self.endDate
  47.         }
  48.         self




    
.params['Signature'] =  Sign(CdnHelper.SecretId, CdnHelper.SecretKey).make(CdnHelper.requestHost, CdnHelper.requestUri, self.params)
  49.         self.url = 'https://%s%s' % (CdnHelper.requestHost, CdnHelper.requestUri)
  52.     def GetCdnLogList(self):
  53.         ret 




    
= requests.get(self.url, params=self.params)
  54.         return ret.json()
  57. class GZipTool(object):
  58.     """
  59.     压缩与解压gzip




    

  60.     """
  61.     def __init__(self, bufSize = 1024*8):
  62.         self.bufSize = bufSize
  63.         self




    
.fin = None
  64.         self.fout = None
  65.     def compress(self, src, dst):
  66.         self.fin = open(src, 'rb')
  67.         self.fout = gzip.open(dst, 'wb')
  68.         self




    
.__in2out()
  69.     def decompress(self, gzFile, dst):
  70.         self.fin = gzip.open(gzFile, 'rb')
  71.         self.fout = open(dst, 'wb')
  72.         self




    
.__in2out()
  73.     def __in2out(self,):
  74.         while True:
  75.             buf = self.fin.read(self.bufSize)
  76.             if len(buf) < 1:




    

  77.                 break
  78.             self.fout.write(buf)
  79.         self.fin.close()
  80.         self.fout.close()
  81. 




    

  82. def download(link, name):
  83.     try:
  84.         r = requests.get(link)
  85.         with open(name, 'wb') as f:
  86.             f




    
.write(r.content)
  87.         return True
  88.     except:
  89.         return False
  90. 




    

  92. def writelog(src, dst):
  93.     # 保存为以天命名日志
  94.     dst 




    
= dst.split('-')[0][:-2] + '-' + dst.split('-')[1]
  95.     with open(src, 'r') as f1:
  96.        with open(dst, 'a+') as f2:
  97.         




    
for line in f1:
  98.             f2.write(line)
  100. if __name__ == '__main__':
  101.     




    
#startDate = "2017-02-23 12:00:00"
  102.     #endDate = "2017-02-23 12:00:00"
  104.     # 前一小时
  105.     




    
# startDate = endDate = time.strftime('%Y-%m-%d ', time.localtime()) + str(time.localtime().tm_hour-1) + ":00:00"
  106.     tm = datetime.now() + timedelta(hours=-2)
  107.     startDate = endDate = tm.strftime("%Y-%m-%d %H:00:00")
  108. 




    

  110.     #hosts = ['userface.51img1.com']
  111.     hosts = [




    

  112.         'pfcdn.xxx.com',
  113.         'pecdn.xxx.com',
  114.         'pdcdn.xxx.com',
  115.         




    
'pccdn.xxx.com',
  116.         'pbcdn.xxx.com',
  117.         'pacdn.xxx.com',
  118.         




    
'p9cdn.xxx.com',
  119.         'p8cdn.xxx.com',
  120.         'p7cdn.xxx.com',
  121.         




    
]
  123.     for host in hosts:
  124.         




    
try:
  125.             obj = CdnHelper(host, startDate,endDate)
  126.             ret = obj.GetCdnLogList()
  127. 




    

  128.             link = ret['data']['list'][0]['link']
  129.             name = ret['data']['list'][0]['name']




    

  131.             # 下载链接保存的文件名
  132.             gzip_name 




    
= '/data/logs/cdn/cdn_log_temp/' + name + '.gz'
  133.             # 解压后的文件名
  134.             local_name = '/data/logs/cdn/cdn_log_temp/' + name + '.log'
  135.             




    
# 追加的文件名
  136.             real_path = '/data/logs/cdn/' + name + '.log'
  137.             print local_name




    
, real_path
  139.             status = download(link, gzip_name)
  140.             




    
if status:
  141.                 try:
  142.                     GZipTool().decompress(gzip_name, local_name)
  143.                     writelog




    
(local_name, real_path)
  144.     #                os.remove(gzip_name)
  145.                     os




    
.remove(local_name)
  146.                 except:
  147.                     continue
  148.         




    
except Exception ,e:
  149.             print e
  150.             




    
continue

放到定时任务，每小时执行一次。 

  1. # cdn日志
  2. 30




    
 */1 * * * /usr/bin/python /root/bin/get_cdn_log.py &> /dev/null

此图解压后的日志，每个域名保存为一个文件，按天分割。

2、filebeat配置（具体含义查看官方文档） 

  1. [root@BJ-2-11 bin]#




    
 cat /usr/local/app/filebeat-1.2.3-x86_64/nginx-php.yml
  2. filebeat:
  3.   prospectors:
  4.     




    
-
  5.       paths:
  6.         -




    
 /data/logs/cdn/*.log
  7.       document_type: cdn-log
  8.       input_type: log
  9.       




    
#tail_files: true
  10.       multiline:
  11.         negate: true
  12.         match




    
: after
  13. output:
  14.   logstash




    
:
  15.     hosts: ["10.80.2.181:5048", "10.80.2.182:5048"]
  16. shipper:
  17. logging




    
:
  18.   files:

3、logstash配置

日志格式： 

  1. 20170227152116 61.135.234.125 cdn.xxx.com /game/2017/201701/20170121/57037f7fc1a0dde9091d4fe6502a6c53.jpg 17769 22 26 200 http:




    
//www.xxx.com/ 5 "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; NetworkBench/7.0.0.282-5004888-124025)" "(null)" GET HTTP/1.1 hit

日志内容依次包括：请求时间、访问域名的客户端IP、被访问域名、文件请求路径、本次访问字节数大小、省份、运营商、http返回码、referer信息、request- time(毫秒)、User-Agent、range、HTTP Method、HTTP协议标识、缓存Hit/Miss。

配置文件 

  1. # /usr/local/app/logstash-2.3.4/conf.d/logstash.conf




    

  2. input {
  3.     beats {
  4.         port 




    
=> 5048
  5.         host => "0.0.0.0"
  6.     




    
}
  7. }
  9. 




    

  10. filter {
  11. 




    

  12.     .....(省略)
  14.     




    
else if [type] == "cdn-log" {
  15.         grok {
  16.             patterns_dir 




    
=> ["./patterns"]
  17.             match => { "message" => "%{DATESTAMP_EVENTLOG:timestamp} %{IPORHOST:client_ip} %{IPORHOST:server_name} %{NOTSPACE:request} %{NUMBER:bytes} %{NUMBER:province} %{NUMBER:operator} %{NUMBER:status} (?:%{URI:referrer}|%{WORD:referrer}) %{NUMBER:request_time} %{QS:agent} \"\(%{WORD:range}\)\" %{WORD:method} HTTP/%{NUMBER:protocol} %{WORD:cache}" }
  18.         




    
}
  19.         date {
  20.             match 




    
=> [ "timestamp", "yyyyMMddHHmmss"]
  21.             target => "@timestamp"
  22.         




    
}
  23.         alter {
  24.             condrewrite 




    
=> [
  25.                 "province", "22", "北京",
  26.                 




    
"province", "86", "内蒙古",
  27.                 "province", "146", "山西",
  28.                 "province", "1069", "河北",




    

  29.                 "province", "1077", "天津",
  30.                 "province", "119", "宁夏",
  31.                 




    
"province", "152", "陕西",
  32.                 "province", "1208", "甘肃",
  33.                 




    
"province", "1467", "青海",
  34.                 "province", "1468", "新疆",
  35.                 




    
"province", "145", "黑龙江",
  36.                 "province", "1445", "吉林",
  37.                 




    
"province", "1464", "辽宁",
  38.                 "province", "2", "福建",
  39.                 




    
"province", "120", "江苏",
  40.                 "province", "121", "安徽",
  41.                 




    
"province", "122", "山东",
  42.                 "province", "1050", "上海",
  43.                 




    
"province", "1442", "浙江",
  44.                 "province", "182", "河南",
  45.                 




    
"province", "1135", "湖北",
  46.                 "province", "1465", "江西",
  47.                 




    
"province", "1466", "湖南",
  48.                 "province", "118", "贵州",
  49.                 




    
"province", "153", "云南",
  50.                 "province", "1051", "重庆",
  51.                 




    
"province", "1068", "四川",
  52.                 "province", "1155", "西藏",
  53.                 "province", "4"




    
, "广东",
  54.                 "province", "173", "广西",
  55.                 "province", "1441", "海南",
  56.                 




    
"province", "0", "其他",
  57.                 "province", "1", "港澳台",
  58.                 




    
"province", "1", "海外",
  59.                 "operator", "2", "中国电信",
  60.                 




    
"operator", "26", "中国联通",
  61.                 "operator", "38", "教育网",
  62.                 




    
"operator", "43", "长城宽带",
  63.                 "operator", "1046", "中国移动",
  64.                 




    
"operator", "3947", "中国铁通",
  65.                 "operator", "-1", "海外运营商",
  66.                 




    
"operator", "0", "其他运营商"
  67.             ]
  68.         




    
}
  69.     }
  70. 




    

  71. } # filter
  73. 




    

  74. output {
  75. 




    

  76.     if "_grokparsefailure" in [tags] {




    

  77.         file { path => "/var/log/logstash/grokparsefailure-%{[type]}-%{+YYYY.MM.dd}.log" }
  78.     




    
}
  79.     ......(省略)
  80. 




    

  81.     else if [type] == "cdn-log"{
  82.         elasticsearch 




    
{
  83.             hosts => ["10.80.2.13:9200","10.80.2.14:9200","10.80.2.15:9200","10.80.2.16:9200"]
  84.             sniffing 




    
=> true
  85.             manage_template => true
  86.             template_overwrite 




    
=> true
  87.             template_name => "cdn"
  88.             template 




    
=> "/usr/local/app/logstash-2.3.4/templates/cdn.json"
  89.             index =>




    
 "%{[type]}-%{+YYYY.MM.dd}"
  90.             document_type => "%{[type]}"
  91.         




    
}
  92.     }
  93.     




    
......(省略)
  95. }




    
 # output

4 效果图（一小时数据）

cdn使用量效果图

cdn访问情况统计

状态码统计

题图：pexels，CC0 授权。

点击 阅读原文 ，查看更多 Python 教程和资源。







请到「今天看啥」查看全文


推荐文章
哔哩哔哩  ·  轻改动画《时钟机关之星》PV1公布，4月开播！
8 年前
立德融金集团  ·  刘士余妙语再怼"妖精、大鳄"， 证监会发布会直面IPO速度等核心问题（干货整理）
8 年前
百思不得姐  ·  男屌丝艳遇美女护士，前女友甩富二代跪求他回头
7 年前
GIJN  ·  清单 | 贴士、网课与阅读清单：新闻人提高统计素养的资源汇总（三）
7 年前
91产品  ·  前线实战总结：如何从0到1对外运营一条产品线？
7 年前
Sov5搜索   ·   小百科   ·   今天看啥   ·   移动版
51好读 - 好文章就要读起来!