MySQL基准测试

【实战课】MySql性能管理及架构设计

基准测试是针对系统设置的一种压力测试，用于评估服务器的处理能力。

MySQL基准测试的目的

• 建立MySql服务器的性能基准线，确定当前系统的运行情况
• 模拟比当前系统更高的负载，以找出系统的扩展瓶颈。通常是增加数据库并发，观察QPS、TPS变化，确定并发量与性能最优的关系
• 测试不同的硬件、软件和操作系统配置
• 证明新的硬件设备是否配置正确

如何单独对MySql进行基准测试

• MySql基准测试的常见指标
  
  • 单位时间内所处理的事务数（TPS）[吞吐量]
  • 单位时间内所处理的查询数（QPS）[吞吐量]
  • 响应时间
  • 并发量：同时处理查询请求的数量（并发量不等于连接数）。

使用mysqlslap工具进行基准测试

mysqlslap工具是mysql自带的基准测试工具不需要安装。

常用参数说明

• concurrency # 表示并发量，也就是模拟多少个客户端同时执行select。可指定多个值，以逗号分割。
• iterations # 测试执行的迭代次数，代表要在不同并发环境下，各自运行测试多少次。
• number-int-cols # 自动生成的测试表中包含多少个数字类型的列
• number-char-cols # 自动生成的测试表中包含多少个字符类型的列
• auto-generate-sql # 自动生成测试表和数据
• auto-generate-sql-add-autoincrement # 代表对生成的表自动添加auto_increment列
• engine # 代表要测试的引擎，可以有多个，用分隔符隔开。
• number-of-queries # 总的测试查询次数(并发客户数×每客户查询次数)
• create-schema # 代表自定义的测试库名称

测试命令

mysqlslap --concurrency=1,50,100,200  --iterations=3  --number-int-cols=5  --number-char-cols=5  --auto-generate-sql  --auto-generate-sql-add-autoincrement  --engine=myisam,innodb  --number-of-queries=10  --create-schema=sbtest -uroot -p

使用sysbench工具进行基准测试

sysbench一款常用其非常全面的测试工具，使用灵活。

安装说明

• 安装步骤

  # 下载地址
  https://github.com/akopytov/sysbench/archive/0.5.zip
  # 解压包
  unzip sysbench-0.5.zip
  # 在sysbench-0.5中运行 ./autogen.sh
  cd sysbench-0.5
  ./autogen.sh
  # 配置参数信息
  ./configure --with-mysql-includes=/usr/local/mysql/include  --with-mysql-libs=/usr/local/mysql/lib
  # 编译安装
  make && make install

• 错误解决

  • sysbench 0.5中使用sysbench --help报错

    [root@mvxl0781 bin]# sysbench --help
    sysbench: error while loading shared libraries: libmysqlclient.so.18: cannot open shared object file: No such file or directory

    • 解决方法：
      

      # 环境变量配置文件
      vi /etc/profile  
      # 添加mysql的环境变量配置信息
      export LD_LIBRARY_PATH=/usr/local/mysql/lib
      # 设置立即生效
      source /etc/profile

常用参数说明

• test 用于指定所要执行的测试类型，支持以下参数：Fileio(文件系统I/O性能测试)、cpu(cpu性能测试)、memory(内存性能测试)。
• mysql-db 用于指定执行基准测试的数据库名
• mysql-table-engine 用于指定所使用的存储引擎
• oltp-tables-count 执行测试的表的数量
• oltp-table-size 指定每个表中的数据行数
• num-threads 指定测试的并发线程数量
• max-time 指定最大的测试时间（单位：秒）
• report-interval 指定间隔多长时间输出一次统计信息（单位：秒）
• mysql-user 指定MySQL的用户
• mysql-password 指定MySQL的密码
• prepare 用于准备测试数据
• run 用于实际运行测试
• cleanup 用于清理测试数据

sysbench基准测试演示

• CPU性能测试(单核CPU性能)

  sysbench --test=cpu --cpu-max-prime=10000 run
  # --test 表示测试类型
  # --cpu-max-prime 表示在CPU中计算的最大整数值

• 文件I/O性能测试

  sysbench可以测试不同I/O负载下的性能。

  • 准备数据文件（注意：生成的文件内容一定要比系统内存大）

  # 查看系统内存
  free -m
  # 查看磁盘空间
  df -lh
  # 生成测试数据
  sysbench --test=fileio  --file-total-size-2G prepare

  • 执行测试

  sysbench --test=fileio  --num-threads=8 --init-rng-on  --file-total-size=2G  --file-test-mode=rndrw  --report-interval=2 run

• 数据库性能测试

  • 准备测试数据

  sysbench --test=/usr/local/sysbench-0.5/sysbench/tests/db/oltp.lua  --mysql-table-engine=innodb --oltp-table-size=10000  --mysql-db=imooc --mysql-user=root  --mysql-password=ystdLinux!  --oltp-tables-count=10  --mysql-socket=/usr/local/mysql/data/mysql.sock prepare

  • 执行测试

  sysbench --test=/usr/local/sysbench-0.5/sysbench/tests/db/oltp.lua  --mysql-table-engine=innodb --oltp-table-size=10000  --mysql-db=imooc --mysql-user=root  --mysql-password=ystdLinux!  --oltp-tables-count=10  --mysql-socket=/usr/local/mysql/data/mysql.sock run

  • 获取测试结构的脚本

    • Get_Test_info.sh

      #!/bin/bash
      INTERVAL=5
      PREFIX=/home/imooc/benchmarks/$INTERVAL-sec-status
          RUNFILE=/home/imooc/benchmarks/running
          echo "1" > $RUNFILE
      MYSQL=/usr/local/mysql/bin/mysql
      $MYSQL -e "show global variables" >> mysql-variables
          while test -e $RUNFILE; do
          file=$(date +%F_%I)
          	sleep=$(date +%s.%N | awk '{print 5 - ($1 % 5)}')
          	sleep $sleep
          ts="$(date +"TS %s.%N %F %T")"
          	loadavg="$(uptime)"
          echo "$ts $loadavg" >> $PREFIX-${file}-status
          $MYSQL -e "show global status" >> $PREFIX-${file}-status &
          	echo "$ts $loadavg" >> $PREFIX-${file}-innodbstatus
          	$MYSQL -e "show engine innodb status" >> $PREFIX-${file}-innodbstatus &
          echo "$ts $loadavg" >> $PREFIX-${file}-processlist
          $MYSQL -e "show full processlist\G" >> $PREFIX-${file}-processlist &
          	echo $ts
      done
      echo Exiting because $RUNFILE does not exists

    • analyze.sh

      #!/bin/bash
      awk '
         BEGIN {
           printf "#ts date time load QPS";
           fmt=" %.2f";
         }
         /^TS/ {
         ts = substr($2,1,index($2,".")-1);
         load = NF -2;
         diff = ts - prev_ts;
         printf "\n%s %s %s %s",ts,$3,$4,substr($load,1,length($load)-1);
         prev_ts=ts;
         }
         /Queries/{
         printf fmt,($2-Queries)/diff;
             Queries=$2
         }
         ' "$@"

参考资料：sysbench 0.5 基准测试