ELK + Beats 日志分析

ES

技术框架

ES + Logstash + Kibana + Beats

日志分析对象

• ceph
• celery
• supervisor
• ctdb
• uqdm_base
• hostagent

收集、存储和检索

• 从集群的所有节点上收集日志，统一化处理
• 持久化存储分散的日志文件
• 快速检索存储的日志文件

日志处理

• 过滤重复
• 过滤无用
• 筛选格式

日志分析

Ceph

Monitor

• error & warning
• event, such as election, keyring etc
• read & write, such as rate, latency etc

** File Read Latency Histogram By Level [default] **
** Compaction Stats [default] **
Level    Files   Size     Score Read(GB)  Rn(GB) Rnp1(GB) Write(GB) Wnew(GB) Moved(GB) W-Amp Rd(MB/s) Wr(MB/s) Comp(sec) Comp(cnt) Avg(sec) KeyIn KeyDrop
----------------------------------------------------------------------------------------------------------------------------------------------------------
  L0      1/1    4.70 MB   0.0      0.0     0.0      0.0      40.4     40.4       0.0   1.0      0.0     32.6      1270     16379    0.078       0      0
  L1      1/1   18.91 MB   0.0    308.6    40.4    268.2     268.2      0.0       0.0   6.6     33.1     28.7      9560     15258    0.627     44M  8138K
 Sum      2/2   23.61 MB   0.0    308.6    40.4    268.2     308.6     40.4       0.0   7.6     29.2     29.2     10830     31637    0.342     44M  8138K
 Int      0/0    0.00 KB   0.0      0.0     0.0      0.0       0.0      0.0       0.0   0.0      0.0      0.0         0         0    0.000       0      0
Uptime(secs): 1073620.7 total, 1073620.7 interval
Flush(GB): cumulative 40.376, interval 0.000
AddFile(GB): cumulative 0.000, interval 0.000
AddFile(Total Files): cumulative 0, interval 0
AddFile(L0 Files): cumulative 0, interval 0
AddFile(Keys): cumulative 0, interval 0
Cumulative compaction: 308.61 GB write, 0.29 MB/s write, 308.59 GB read, 0.29 MB/s read, 10829.5 seconds
Interval compaction: 0.00 GB write, 0.00 MB/s write, 0.00 GB read, 0.00 MB/s read, 0.0 seconds
Stalls(count): 0 level0_slowdown, 0 level0_slowdown_with_compaction, 0 level0_numfiles, 0 level0_numfiles_with_compaction, 0 stop for pending_compaction_bytes, 0 slowdown for pending_compaction_bytes, 0 memtable_compaction, 0 memtable_slowdown, interval 0 total count

Mds

• error & warning
• event
  
  • 查询一段时间内创建文件、修改文件、删除文件、重命名等操作

Osd

• PG state machine
• Osd state
• error & warning

error log

2018-04-18 18:27:00.373632 7f479032fe00 -1 Errors while parsing config file!
2018-04-18 18:27:00.373633 7f479032fe00 -1 parse_file: cannot open /etc/ucsm/ucsm.conf: (2) No such file or directory
2018-04-18 18:27:00.373634 7f479032fe00 -1 parse_file: cannot open ~/.ucsm/ucsm.conf: (2) No such file or directory
2018-04-18 18:27:00.373634 7f479032fe00 -1 parse_file: cannot open ucsm.conf: (2) No such file or directory
2018-04-18 18:27:00.373647 7f479032fe00  0 ceph version 12.2.0-76-gef7b0ff (ef7b0ffc1396aea6e88f8cd4df975403279c6cce) luminous (rc), process (unknown), pid 1545887
2018-04-18 18:27:00.373924 7f479032fe00 -1 ^[[0;31m ** ERROR: unable to open OSD superblock on /var/lib/ceph/osd/ucsm-1: (2) No such file or directory

Metric

• Cluster
  
  • Health
    
    • 分析集群健康的稳定性，分析什么时候稳定，什么时候不稳定，是否需要对某个不稳定时段做特殊处理
    • 通过定位集群不健康的原因，对故障发生处进行分析，提前针对软件或硬件采取优化方案
  • Cpu, memory, disk etc
    
    • 分析资源分配是否合理，是否做到了负载均衡，是否有优化的地方
    • 磁盘空间分析，查看是否临界quota值，提前做监控和自动扩容等工作
  • IO
    
    • 分析IO模型，根据不同的IO切换不同的存储方案，调整缓存机制，raid类型等
    • 分析iops，评测读写性能，调整最优性能，比如采取冷热分离等手段
  • Bandwidth
    
    • 分析流量大小，判断是否要采取限流，降级等操作避免系统阻塞
    • 分析流量，分析客户场景数据的繁忙和空闲时段，动态调整参数，保持最佳性能
  • Recovery
    
    • 分析recover速度，判断恢复需要的时间
    • 分析revoer速度，判断需要恢复的数据量
  • Pool
    
    • 分析配额，设置监控，及时扩容
    • 分析pool容量，调整pg number等策略
• Node
  
  • Cpu, memory, disk etc
    
    • 分析物理硬件的状态是否正常

C15000 project logs

• service state event and data
• error and warning log，设置消息告警机制
• 分析用户行为，结合数据优化系统使用体验
• 分析请求latency，研究堆栈，优化架构或相关代码
• 分析系统整体运行状态，优化阻塞，僵死，繁忙，冗余等问题