ElasticSearch 分布式集群架构的特性

ElasticSearch系列

一：ElasticSearch 分布式集群架构的特性

1.1 ES集群：

ES的分片

ES 的路由

ES 怎么存放文档

ES 怎么搜索文档

二：ES的伪集群部署

2.1 安装单机的ES集群

mkdir -p /esdb
mkdir -p /esdb/soft
将所有的软件传到/esdb/soft 软件下面
chown esadmin:esadmin -R /esdb/

配置jdk
su - esadmin
cd /esdb/
tar zxvf soft/jdk-14.0.2_linux-x64_bin.tar.gz
export LANG=en_US.UTF8
cat >> ~/.bash_profile << EOF
export JAVA_HOME=/esdb/jdk-14.0.2
export PATH=/esdb/jdk-14.0.2/bin:$PATH
export LANG=en_US.UTF8
EOF
source ~/.bash_profile
java -version 

mkdir -p /esdb/esapp/esapp9201
mkdir -p /esdb/esapp/esapp9202
mkdir -p /esdb/esapp/esapp9203
mkdir -p /esdb/esdata/esdata9201
mkdir -p /esdb/esdata/esdata9202
mkdir -p /esdb/esdata/esdata9203
mkdir -p /esdb/eslog/eslog9201
mkdir -p /esdb/eslog/eslog9202
mkdir -p /esdb/eslog/eslog9203

cd /esdb/soft
tar -zxvf /esdb/soft/elasticsearch-7.9.0-linux-x86_64.tar.gz
cp -ap /esdb/soft/elasticsearch-7.9.0/* /esdb/esapp/esapp9201/ 
cp -ap /esdb/soft/elasticsearch-7.9.0/* /esdb/esapp/esapp9202/
cp -ap /esdb/soft/elasticsearch-7.9.0/* /esdb/esapp/esapp9203/

vim /esdb/esapp/esapp9201/config/elasticsearch.yml
----
cluster.name: flyfishescluster1
node.name: flyfish01-node-1
path.data: /esdb/esdata/esdata9201
path.logs: /esdb/eslog/eslog9201
node.master: true
node.data: true
cluster.remote.connect: false
bootstrap.memory_lock: true
bootstrap.system_call_filter: false
network.host: 192.168.100.31
http.port: 9201
transport.tcp.port: 9301
http.cors.enabled: true
http.cors.allow-origin: "*"
discovery.seed_hosts: ["192.168.100.31:9301","192.168.100.31:9302","192.168.100.31:9303"]
discovery.zen.fd.ping_timeout: 60s
discovery.zen.fd.ping_retries: 5
cluster.initial_master_nodes: ["flyfish01-node-1","flyfish01-node-2","flyfish01-node-3"]
----

vim /esdb/esapp/esapp9202/config/elasticsearch.yml
----
cluster.name: flyfishescluster1
node.name: flyfish01-node-2
path.data: /esdb/esdata/esdata9202
path.logs: /esdb/eslog/eslog9202
node.master: true
node.data: true
cluster.remote.connect: false
bootstrap.memory_lock: true
bootstrap.system_call_filter: false
network.host: 192.168.100.31
http.port: 9202
transport.tcp.port: 9302
http.cors.enabled: true
http.cors.allow-origin: "*"
discovery.seed_hosts: ["192.168.100.31:9301", "192.168.100.31:9302", "192.168.100.31:9303"]
discovery.zen.fd.ping_timeout: 60s
discovery.zen.fd.ping_retries: 5
cluster.initial_master_nodes: ["flyfish01-node-1", "flyfish01-node-2",
"flyfish01-node-3"]
-----

vim /esdb/esapp/esapp9203/config/elasticsearch.yml
-----
cluster.name: flyfishescluster1
node.name: flyfish01-node-3
path.data: /esdb/esdata/esdata9203
path.logs: /esdb/eslog/eslog9203
node.master: true
node.data: true
cluster.remote.connect: false
bootstrap.memory_lock: true
bootstrap.system_call_filter: false
network.host: 192.168.100.31
http.port: 9203
transport.tcp.port: 9303
http.cors.enabled: true
http.cors.allow-origin: "*"
discovery.seed_hosts: ["192.168.100.31:9300","192.168.100.31:9301","192.168.100.31:9302"]
discovery.zen.fd.ping_timeout: 60s
discovery.zen.fd.ping_retries: 5
cluster.initial_master_nodes: ["flyfish01-node-1", "flyfish01-node-2",
"flyfish01-node-3"]
-----

vim /esdb/esapp/esapp9201/bin/elasticsearch-env
vim /esdb/esapp/esapp9202/bin/elasticsearch-env
vim /esdb/esapp/esapp9203/bin/elasticsearch-env
都加上：
----
export JAVA_HOME=/esdb/jdk-14.0.2
export PATH=$JAVA_HOME/bin:$PATH
----

vim /esdb/esapp/esapp9201/config/jvm.options
----
-Xms512m
-Xmx512m
-Xmn256km
-Xss228K
-XX:+DisableExplicitGC
-XX:HeapDumpPath=/esdb/eslog/eslog9201
-XX:ErrorFile=/esdb/eslog/eslog9201/hs_err_pid%p.log
9-:-Xlog:gc*,gc+age=trace,safepoint:file=/esdb/eslog/eslog9201/gc.log:utctime,pid,tags:filecount=32,filesize=64m
----
vim /esdb/esapp/esapp9202/config/jvm.options
----
-Xms512m
-Xmx512m
-Xmn256km
-Xss228K
-XX:+DisableExplicitGC
-XX:HeapDumpPath=/esdb/eslog/eslog9202
-XX:ErrorFile=/esdb/eslog/eslog9202/hs_err_pid%p.log
9-:-Xlog:gc*,gc+age=trace,safepoint:file=/esdb/eslog/eslog9202/gc.log:utctime,pid,tags:filecount=32,filesize=64m
----
vim /esdb/esapp/esapp9203/config/jvm.options
-----
-Xms512m
-Xmx512m
-Xmn256km
-Xss228K
-XX:+DisableExplicitGC
-XX:HeapDumpPath=/esdb/eslog/eslog9203
-XX:ErrorFile=/esdb/eslog/eslog9203/hs_err_pid%p.log
9-:-Xlog:gc*,gc+age=trace,safepoint:file=/esdb/eslog/eslog9203/gc.log:utctime,pid,tags:filecount=32,filesize=64m
----

启动：
/esdb/esapp/esapp9201/bin/elasticsearch
/esdb/esapp/esapp9202/bin/elasticsearch
/esdb/esapp/esapp9203/bin/elasticsearch
测试：
   curl http://192.168.100.31:9201/_cat/nodes
   curl http://192.168.100.31:9202/_cat/nodes
   curl http://192.168.100.31:9203/_cat/nodes

后台启动：
     nohup /esdb/esapp/esapp9201/bin/elasticsearch > /esdb/eslog/eslog9201/esapp9201.nohup &
    nohup /esdb/esapp/esapp9202/bin/elasticsearch > /esdb/eslog/eslog9202/esapp9202.nohup &
    nohup /esdb/esapp/esapp9203/bin/elasticsearch > /esdb/eslog/eslog9203/esapp9203.nohup &

查看集群的状态：
curl http://192.168.100.31:9203/_cat/health?pretty -H 'Content-Type: application/json'

插入数据
curl -XPOST http://192.168.100.31:9201/itpuxdb/_doc/?pretty -H 'Content-Type:application/json' -d '
{
"id" : "1",
"name" : "itpux001",
"city" : "深圳",
"course" : "oracle",
"teacher" : "风哥",
"pxdate": "20200829"
}'

curl -XPOST http://192.168.100.31:9201/itpuxdb/_doc/?pretty -H 'Content-Type:application/json' -d '
{
"id" : "1",
"name" : "itpux001",
"city" : "上海",
"course" : "bigdata",
"teacher" : "flyfish",
"pxdate": "20200829"
}'

查找：
     curl -XPOST 'http://192.168.100.31:9201/itpuxdb/_search?pretty' -H 'Content-Type:application/json'
     curl -XPOST 'http://192.168.100.31:9202/itpuxdb/_search?pretty' -H 'Content-Type:application/json'
     curl -XPOST 'http://192.168.100.31:9203/itpuxdb/_search?pretty' -H 'Content-Type:application/json'