tiup实操部署tidb5.1.0 最新版本

tidb系列

一：tidb简介与架构

1.1 tidb 简介

TiDB 是 PingCAP 公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP) 的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性。目标是为用户提供一站式 OLTP (Online Transactional Processing)、OLAP (Online Analytical Processing)、HTAP 解决方案。TiDB 适合高可用、强一致要求较高、数据规模较大等各种应用场景。
更多详细参考官网：
      https://docs.pingcap.com/zh/tidb/stable

1.2 tidb架构

TiDB 整体架构
    与传统的单机数据库相比，TiDB 具有以下优势：
纯分布式架构，拥有良好的扩展性，支持弹性的扩缩容
支持 SQL，对外暴露 MySQL 的网络协议，并兼容大多数 MySQL 的语法，在大多数场景下可以直接替换 MySQL
默认支持高可用，在少数副本失效的情况下，数据库本身能够自动进行数据修复和故障转移，对业务透明
支持 ACID 事务，对于一些有强一致需求的场景友好，例如：银行转账
具有丰富的工具链生态，覆盖数据迁移、同步、备份等多种场景
在内核设计上，TiDB 分布式数据库将整体架构拆分成了多个模块，各模块之间互相通信，组成完整的 TiDB 系统。对应的架构图如下：

TiDB Server：SQL 层，对外暴露 MySQL 协议的连接 endpoint，负责接受客户端的连接，执行 SQL 解析和优化，最终生成分布式执行计划。TiDB 层本身是无状态的，实践中可以启动多个 TiDB 实例，通过负载均衡组件（如 LVS、HAProxy 或 F5）对外提供统一的接入地址，客户端的连接可以均匀地分摊在多个 TiDB 实例上以达到负载均衡的效果。TiDB Server 本身并不存储数据，只是解析 SQL，将实际的数据读取请求转发给底层的存储节点 TiKV（或 TiFlash）。
PD (Placement Driver) Server：整个 TiDB 集群的元信息管理模块，负责存储每个 TiKV 节点实时的数据分布情况和集群的整体拓扑结构，提供 TiDB Dashboard 管控界面，并为分布式事务分配事务 ID。PD 不仅存储元信息，同时还会根据 TiKV 节点实时上报的数据分布状态，下发数据调度命令给具体的 TiKV 节点，可以说是整个集群的“大脑”。此外，PD 本身也是由至少 3 个节点构成，拥有高可用的能力。建议部署奇数个 PD 节点。
存储节点
TiKV Server：负责存储数据，从外部看 TiKV 是一个分布式的提供事务的 Key-Value 存储引擎。存储数据的基本单位是 Region，每个 Region 负责存储一个 Key Range（从 StartKey 到 EndKey 的左闭右开区间）的数据，每个 TiKV 节点会负责多个 Region。TiKV 的 API 在 KV 键值对层面提供对分布式事务的原生支持，默认提供了 SI (Snapshot Isolation) 的隔离级别，这也是 TiDB 在 SQL 层面支持分布式事务的核心。TiDB 的 SQL 层做完 SQL 解析后，会将 SQL 的执行计划转换为对 TiKV API 的实际调用。所以，数据都存储在 TiKV 中。另外，TiKV 中的数据都会自动维护多副本（默认为三副本），天然支持高可用和自动故障转移。
TiFlash：TiFlash 是一类特殊的存储节点。和普通 TiKV 节点不一样的是，在 TiFlash 内部，数据是以列式的形式进行存储，主要的功能是为分析型的场景加速。

二：tidb的最新版本实操部署

2.1 采用tiup 实操部署tidb5.1.0

2.1.1 系统环境介绍

 系统环境介绍：
 cat /etc/hosts
----
192.168.100.11  node01.flyfish.com
192.168.100.12  node02.flyfish.com
192.168.100.13  node03.flyfish.com
192.168.100.14  node04.flyfish.com
192.168.100.15  node05.flyfish.com
192.168.100.16  node06.flyfish.com
192.168.100.17  node07.flyfish.com
192.168.100.18  node08.flyfish.com
192.168.100.19  node09.flyfish.com
----
本次部署采取前6台服务器：

   tidb的下载试用：
      https://pingcap.com/download-cn/community/ 

2.1.2 系统环境初始化

系统环境语言：
echo "export LANG=en_US.UTF8" >> ~/.bash_profile
cat ~/.bash_profile
安装用户创建：
 useradd tidb && echo tidb |passwd tidb --stdin 
tidb用户提权：
 chmod +x /etc/sudoers
 -----
 tidb    ALL=(ALL)       NOPASSWD:ALL
 ----
 系统句柄数与优化
cat >> /etc/security/limits.conf << EOF
root soft nofile 1048576
root hard nofile 1048576
tidb soft nproc 1048576
tidb hard nproc 1048576
tidb soft nofile 1048576
tidb hard nofile 1048576
tidb soft stack 10240
tidb hard stack 32768
tidb hard memlock unlimited
tidb soft memlock unlimited
EOF
--------
cat >> /etc/sysctl.conf  << EOF
fs.aio-max-nr = 1048576
fs.file-max = 6815744
net.ipv4.ip_local_port_range = 9000 65500
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048586
kernel.sem = 204800 512000 3000 20480   
kernel.shmmax = 1073741824
kernel.shmall = 262144
kernel.shmmni = 4096
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
vm.swappiness = 10
vm.overcommit_memory = 2 
vm.overcommit_ratio = 95 
vm.zone_reclaim_mode = 0
vm.dirty_expire_centisecs = 500
vm.dirty_writeback_centisecs = 100
vm.dirty_background_ratio = 3 
vm.dirty_ratio = 10
#64g-
#vm.dirty_background_ratio = 3 
#vm.dirty_ratio = 10
#64g+
#vm.dirty_background_ratio = 0
#vm.dirty_ratio = 0
#vm.dirty_background_bytes = 1610612736  
#vm.dirty_bytes = 4294967296
EOF
sysctl -p 
----
做tidb的 无密码认证：
做tidb用户无密钥认证
su - tidb
 ssh-keygen ---一直敲回车到最后
 cat id_rsa.pub >> authorized_keys 
chmod 600 authorized_keys
 将所有的公钥导入authorized_keys  分发到 所有的 机器的/home/tidb/.ssh/ 下面
 然后测试
系统同步时间：ntp1.aliyun.com iburst
chronyc sources -v 

2.1.4 安装tidb5.1.0

mv tidb-community-server-v5.1.0-linux-amd64.tar.gz /home/tidb/
chown tidb:tidb /home/tidb/tidb-community-server-v5.1.0-linux-amd64.tar.gz
tar -zxvf tidb-community-server-v5.1.0-linux-amd64.tar.gz
source local_install.sh 
加载tiup命令
source /home/tidb/.bash_profile
tiup --help

创建部署deploy_dir 与data_dir 目录[所有机器全部部署]
sudo mkdir /tidb_deploy
sudo mkdir /tidb_data 
sudo chmod 777 -R /tidb* 

创建拓扑文件：
su - tidb
cd /home/tidb/
vim topology.yaml
---
# # Global variables are applied to all deployments and used as the default value of
# # the deployments if a specific deployment value is missing.
global:
  user: "tidb"
  ssh_port: 22
  deploy_dir: "/tidb-deploy"
  data_dir: "/tidb-data"
server_configs:
  pd:
    replication.enable-placement-rules: true
pd_servers:
  - host: 192.168.100.11
  - host: 192.168.100.12
  - host: 192.168.100.13
tidb_servers:
  - host: 192.168.100.11
  - host: 192.168.100.12
  - host: 192.168.100.13
tikv_servers:
  - host: 192.168.100.14
  - host: 192.168.100.15
  - host: 192.168.100.16
tiflash_servers:
  - host: 192.168.100.14
    data_dir: /data/tiflash/data
cdc_servers:
  - host: 192.168.100.14
  - host: 192.168.100.15
  - host: 192.168.100.16
monitoring_servers:
  - host: 192.168.100.11
grafana_servers:
  - host: 192.168.100.11
alertmanager_servers:
  - host: 192.168.100.11
---
192.168.100.14:
创建tiflash文件
sudo mkdir -p  /data/tiflash/data/
sudo chmod 777 -R /data/tiflash/data/
分发机器：
su - tidb 
tiup cluster deploy tidb-test v5.0.1 topology.yaml --user tidb -i /home/tidb/.ssh/id_rsa
一直到机器分发完成。

启动tidb
 tiup cluster start tidb-test

查看tidb的分布情况
tiup cluster display tidb-test

找一个pd 节点登录 [前提安装好mariadb 客户端工具有MySQL命令]
mysql -uroot -h192.168.100.11 -P 4000   [就能登录tidb]
设置tidb的密码：
 set passwod = password(“123.com”)
 flush privileges;
推出在登录：
mysql -uroot -h192.168.100.11 -P 4000 -p123.com
下面的操作就跟MySQL 是一样了。

打开web：
http://192.168.100.13:2379/dashboard
用户名：root
密码：123.com

打开prometheus:
   192.168.100.11:9090

grafana 监控打开：
    192.168.100.11:3000 
    默认用户名密码:
       admin/admin

插入表测试：
mysql -uroot -h192.168.100.11 -P4000 -p123.com
create database yangyang;
use yangyang;
创建一个my_user表：
CREATE TABLE `my_user` (
  `id` tinyint(4) NOT NULL AUTO_INCREMENT,
  `account` varchar(255) DEFAULT NULL,
  `passwd` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
);
插入数据：
INSERT INTO `my_user` VALUES ('1', 'admin', 'admin');
INSERT INTO `my_user` VALUES ('2', 'pu', '12345');
INSERT INTO `my_user` VALUES ('3', 'system', 'system');
INSERT INTO `my_user` VALUES ('4', 'zxh', 'zxh');
INSERT INTO `my_user` VALUES ('5', 'test', 'test');
INSERT INTO `my_user` VALUES ('6', 'pudong', 'pudong');
INSERT INTO `my_user` VALUES ('7', 'qiqi', 'qiqi');