Apache-Ignite-2.3.0-中文开发手册

14.部署

14.1.部署

Ignite对部署没有要求，可以非常容易地部署到私有主机或者任意的云环境，比如，Ignite可以独立部署，也可以部署在Kubernetes或者Docker容器中，还有Apache Mesos以及Hadoop Yarn。它可以运行在物理主机中，也可以部署在虚拟机中。

14.2.Docker部署

Docker可以将Ignite应用及其所有的依赖打包进一个标准的容器，Docker会自动下载Ignite发布版，将代码部署进Ignite以及配置节点，他还可以自动启动配置好的Ignite节点，这样的集成方式，使得通过简单地重启Ignite的Docker容器就可以部署新的代码。

14.2.1.启动Ignite Docker容器

要运行Docker容器，需要拉取然后启动一个Docker映像，默认会下载最新的版本，但是在这里可以看到一个完整的清单。
可以使用如下的命令拉取Ignite docker映像：

# Pull latest version.
sudo docker pull apacheignite/ignite
# Pull ignite version {ignite-version}
sudo docker pull apacheignite/ignite:{ignite-version}

可以使用docker run来运行Ignite docker容器：

# Run latest version.
sudo docker run -it --net=host 
-e "CONFIG_URI=$CONFIG_URI" 
[-e "OPTION_LIBS=$OPTION_LIBS"]
[-e "JVM_OPTS=$JVM_OPTS"]
...
apacheignite/ignite 
# Run ignite version {ignite-version}
sudo docker run -it --net=host 
-e "CONFIG_URI=$CONFIG_URI" 
[-e "OPTION_LIBS=$OPTION_LIBS"]
[-e "JVM_OPTS=$JVM_OPTS"]
...
apacheignite/ignite:{ignite-version}

下面的配置参数在docker容器中可以通过环境变量进行传递：

14.2.2.示例

要启动Ignite的docker容器，可以使用如下的命令：

sudo docker run -it --net=host -e "CONFIG_URI=https://raw.githubusercontent.com/apache/ignite/master/examples/config/example-cache.xml" apacheignite/ignite

之后应该看到如下的输出日志：

14.3.AWS部署

Ignite的AMI（Amazon机器映像）可以通过AWS的EC2管理控制台配置一个简单的Ignite集群，通过AMI进行安装，可以快速地部署一个Ignite集群。

14.3.1.Amazon EC2部署

• 点击下表的链接选择必要的区域：

或者，也可以使用Apache Ignite关键字在Community AMIs中搜索映像：

- 选择一个Instance Type;
- 打开Configure Instance并且展开Advanced Details;
- 添加下面的任意配置参数；

如下图所示：

首选Ignite版本
IGNITE_VERSION属性可以视具体情况而定。

• 在Tag Instance，设置name标签，比如ignite-node;
• 复查然后运行实例；
• 连接实例：http://docs.aws.amazon.com/AWSEC2/latest/UserGuide;
• 要查看执行的过程，需要知道容器的id，可以使用如下命令：

sudo docker ps

• 显示日志：

sudo docker logs -f CONTAINER_ID

• 进入docker容器：

sudo docker exec -it container_id /bin/bash

14.4.Google计算部署

Ignite的映像可以通过Google计算控制台配置一个简单的Ignite集群，通过映像进行安装，可以快速地部署一个Ignite集群。

14.4.1.Google计算部署

• 要导入Ignite映像，执行如下的命令：

gcloud compute images create ignite-image \
   --source-uri gs://ignite-media/ignite-google-image.tar.gz

要了解更多信息，可以参照cloud.google.com。

• 打开Google Compute Console；
• 打开Compute->Compute Engine->VM实例，然后点击New instance；
• 点击Boot disk的Change按钮；

• 打开Custom images，然后选择已导入的映像，在下面的截图中，可以看到名为ignite-name的映像；
  

• 点击Management, disk, networking, access & security options，然后可以添加任意的配置参数：

如下图所示：

首选Ignite版本
IGNITE_VERSION属性可以视具体情况而定。

• 填写必要的属性然后运行实例；
• 连接实例;
• 要查看执行的过程，需要知道容器的id，可以使用如下命令：

sudo docker ps

• 下面的命令会显示日志：

sudo docker logs -f CONTAINER_ID

• 使用下面的命令可以进入docker容器：

sudo docker exec -it container_id /bin/bash

14.5.Mesos部署

14.5.1.摘要

Apache Ignite支持在Mesos集群上调度和运行Ignite节点。
Apache Mesos是一个集群管理器，他提供了一个通用运行环境以及所有的必要资源来部署、运行和管理分布式应用。他对资源的管理和隔离有助于充分利用服务器资源。
要了解Apache Mesos的更多信息，请参照：http://mesos.apache.org/

14.5.2.Ignite Mesos框架

常规部署Apache Ignite集群需要下载Apache Ignite发行版，修改配置参数以及启动节点。Apache Ignite Mesos框架由调度器和任务组成，可以极大地简化集群的部署。

• 调度器：调度器启动时将自己在Mesos主节点上注册，注册成功之后调度器就会开始处理从Mesos主节点到使用资源的Ignite节点的资源请求，调度器会维护Ignite集群所需（并且可用）的所有资源水平（CPU，内存等）；
• 任务：在Mesos从节点上启动Ignite节点。

14.5.3.运行Ignite Mesos框架

要运行Ignite Mesos框架需要配置好的正在运行的Apache Mesos集群，如果需要如何Apache Mesos集群的信息，请参照：https://docs.mesosphere.com/getting-started/datacenter/install/。

确保主节点和从节点监听正确的IP地址，否则无法保证Mesos集群能正常工作。

通过Marathon运行框架
目前，建议的做法是通过Marathon运行框架。

• 安装Marathon，参照：https://docs.mesosphere.com/getting-started/datacenter/install/marathon章节；
• 下载Apache Ignite然后将libs\optional\ignite-mesos\ignite-mesos-<ignite-version>-jar-with-dependencies.jar上传到任意一个云存储（比如Amazon S3yun）；
• 拷贝下面的应用定义（JSON格式）然后保存成marathon.json文件，然后对参数做必要的修改；

 {
  "id": "ignition",
  "instances": 1,
  "cpus": 2,
  "mem": 2048,
  "ports": [0],
  "uris": [
    "http://host/ignite-mesos-<ignite-version>-jar-with-dependencies.jar"
  ],
  "env": {
    "IGNITE_NODE_COUNT": "4",
    "MESOS_MASTER_URL": "zk://localhost:2181/mesos",
    "IGNITE_RUN_CPU_PER_NODE": "2",
    "IGNITE_MEMORY_PER_NODE": "2048",
    "IGNITE_VERSION": "1.0.5",
    "MESOS_USER" : "userAAAAA",
    "MESOS_ROLE" :  "role1"
  },
  "cmd": "java -jar ignite-mesos-<ignite-version>-jar-with-dependencies.jar"
}

角色名必须是有效的目录名，因此如下的格式非法：

1.为空串；
2.为.或者..;
3.由-开始；
4.包含斜杠、退格键以及空白符等。

如果集群没有额外的约束，框架会试图占用Mesos集群的所有资源。

• 通过curl等工具发送应用定义的POST请求给Marathon：

curl -X POST -H "Content-type: application/json" --data-binary @marathon.json http://<marathon-ip>:8080/v2/apps/

• 为了确保Apache Mesos框架正确部署，可以这么做，打开Marathon界面http://<marathon-ip>:8080，确保有一个名为ignition的应用，而且状态是Running；
  
• 打开Mesos控制台http://<master-ip>:5050，如果一切正常那么任务的名字类似Ignite node N，状态是RUNNING。在本示例中，N=4，可以看示例中的marathon.json文件-"IGNITE_NODE_COUNT": "4"；
  
• Mesos允许通过浏览器获得任务的日志，要查看Ignition的日志可以点击Active Tasks表格中的Sandbox；
  
• 点击stdout获取标准输出日志，stderr获取标准错误日志；
  
  通过jar文件运行框架
• 下载Ignite包然后打开libs\optional\ignite-mesos\文件夹；
• 使用如下命令运行框架：

java -jar ignite-mesos-<ignite-version>-jar-with-dependencies.jar

或者：

java -jar ignite-mesos-<ignite-version>-jar-with-dependencies.jar properties.prop

其中properties.prop是一个属性文件，如果不提供配置文件那么框架会试图占用Mesos集群的所有资源，下面是一个例子：

# The number of nodes in the cluster.
IGNITE_NODE_COUNT=1
# Mesos ZooKeeper URL to locate leading master.
MESOS_MASTER_URL=zk://localhost:2181/mesos
# The number of CPU Cores for each Apache Ignite node.
IGNITE_RUN_CPU_PER_NODE=4
# The number of Megabytes of RAM for each Apache Ignite node.
IGNITE_MEMORY_PER_NODE=4096
# The version ignite which will be run on nodes.
IGNITE_VERSION=1.7.0

• 为了确保Apache Mesos框架部署正确，可以这么做-打开Mesos控制台http://<marathon-ip>:5050，如果一切正常，名字类似Ignite node N的任务状态应该是Running。在本示例中N=1，可以看示例中的properties.prop文件-"IGNITE_NODE_COUNT": "1"；
  
• Mesos可以通过浏览器获得任务的日志，要查看Ignition的日志，可以点击Sandbox；
  
• 点击stdout获取标准输出日志，stderr获取标准错误日志；
  

14.5.4.配置

所有配置都是通过环境变量或者配置文件处理的（这非常适用于简化marathon的配置以运行框架），下面的配置参数可以根据需要进行配置：

14.6.Yarn部署

14.6.1.摘要

与Yarn的集成可以支持在Yarn集群上调度和运行Apache Ignite节点。
Yarn是一个资源管理器，他提供了一个包括所有必要资源的通用的运行环境来进行分布式应用的部署，运行和管理，他对资源的管理和隔离有助于充分利用服务器资源。
要了解Yarn的信息，请参照http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html。

14.6.2.Ignite Yarn应用

部署Apache Ignite集群的典型步骤是下载Ignite的发行版，修改配置文件以及启动节点。与Yarn的集成可以避免这些操作，Ignite Yarn应用可以极大的简化集群的部署，它由如下组件组成：

• 下载Ignite发行版，将必要的资源放入HDFS，创建启动任务的必要的上下文，启动Application master进程；
• Application master：一旦注册成功组件就会开始处理从资源管理器到使用资源的Ignite节点的资源请求，Application master会维护Ignite集群所需的所有资源水平（CPU，内存等）；
• Container：在从节点上运行Ignite节点的实体；

14.6.3.运行Ignite Yarn应用

要运行Ignite应用，需要配置和运行Yarn和Hadoop集群，要了解如何配置集群的信息，可以参照： http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html.

• 下载Ignite；
• 配置属性文件，修改必要的参数，可以参照下面的配置章节：

# The number of nodes in the cluster.
IGNITE_NODE_COUNT=2
# The number of CPU Cores for each Apache Ignite node.
IGNITE_RUN_CPU_PER_NODE=1
# The number of Megabytes of RAM for each Apache Ignite node.
IGNITE_MEMORY_PER_NODE=2048
# The version ignite which will be run on nodes.
IGNITE_VERSION=1.0.6

• 运行应用；

hadoop java jar ignite-yarn-<ignite-version>.jar ./ignite-yarn-<ignite-version>.jar cluster.properties

• 为了确保应用正确部署，可以这样做：打开Yarn控制台http://:8088/cluster，看名字为Ignition的应用是否工作正常；
  
• 可以从浏览器获得日志，要查看日志可以点击任意容器的Logs；
  
• 点击stdout获取标准输出日志，stderr获取标准错误日志；
  

14.6.4.配置

所有的配置都是通过环境变量和属性文件进行的，下面的配置参数可以根据需要进行配置：

14.7.Kubernetes部署

14.7.1.摘要

Ignite集群可以非常容易地通过Kubernetes来进行部署和维护，Kubernetes是一个开源的软件，它可以对容器化的应用进行自动化地部署、伸缩以及管理。
本章节会说明如何将Ignite集群部署到Kubernetes环境中。

在苹果MAC电脑中使用minikube
在本地测试Kubernetes的一个不错的工具是Minikube。在苹果MAC电脑中，一定要使用xhyve驱动以确保正确的持久化，如下所示：
minikube start --vm-driver=xhyve
另外，还需要修改下面要使用的/data/ignite的路径为/Users/<username>/data/ignite，注意这里的为实际的用户名。

14.7.2.Kubernetes IP搜索器

在Kubernetes中，要启用Ignite节点的自动发现，需要在IgniteConfiguration中启用TcpDiscoveryKubernetesIpFinder，下面会创建一个名为example-kube.xml的配置文件示例，然后定义IP搜索器配置：

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:util="http://www.springframework.org/schema/util"
       xsi:schemaLocation="
        http://www.springframework.org/schema/beans
        http://www.springframework.org/schema/beans/spring-beans.xsd
        http://www.springframework.org/schema/util
        http://www.springframework.org/schema/util/spring-util.xsd">
<bean id="ignite.cfg"
    class="org.apache.ignite.configuration.IgniteConfiguration">
    <property name="discoverySpi">
        <bean class="org.apache.ignite.spi.discovery.tcp.TcpDiscoverySpi">
                <property name="ipFinder">
                    <bean
class="org.apache.ignite.spi.discovery.tcp.ipfinder.kubernetes.TcpDiscoveryKubernetesIpFinder">
                    </bean>
            </property>
        </bean>
    </property>
</bean>
</beans>

14.7.3.Kubernetes的Ignite检索服务

Ignite的KubernetesIPFinder，需要配置和部署一个特定的Kubernetes服务，由它来维护所有有效的Ignite容器组（pod，意译为容器组）的IP地址列表。
每当一个新容器组启动时，IP搜索器会通过Kubernetes的API接入服务，来获取其余已有Ignite容器组的地址列表，使用这些地址，新的节点会发现其他的集群节点，然后最终加入集群。
按照下面的方式可以配置该服务：
ignite-service.yaml：

apiVersion: v1
kind: Service
metadata:
  # Name of Ignite Service used by Kubernetes IP finder. 
  # The name must be equal to TcpDiscoveryKubernetesIpFinder.serviceName.
  name: ignite
spec:
  clusterIP: None # custom value.
  ports:
    - port: 9042 # custom value.
  selector:
    # Must be equal to one of the labels set in Ignite pods'
    # deployement configuration.
    app: ignite

然后使用如下的命令将其部署到Kubernetes中：

kubectl create -f ignite-service.yaml

确保服务已经启动运行：

kubectl get svc ignite

输出大概像下面这样：

NAME      CLUSTER-IP   EXTERNAL-IP   PORT(S)    AGE
ignite    None         <none>        9042/TCP   29s

14.7.4.共享Ignite的集群配置

在使用Ignite的docker映像在Kubernetes中部署Ignite容器组之前，需要找到一种方式，即如何将example-kube.xml（前面已经准备好）传递给docker映像。
可以使用好几种方法，下面，会说明如何通过一个共享的KubernetesPersistentVolume来共享Ignite的集群配置。

通过HTTP服务器来共享配置
在Microsoft的Azure的Kubernetes中部署Ignite这篇文章说明了如何通过HTTP服务器来共享Ignite的集群配置。

假定有名为/data/ignite的共享目录，这个目录任意Ignite容器组都可以访问，然后将example-kube.xml拷贝到这里。
创建一个实际存储支持的PersistentVolume配置，然后转到/data/ignite目录。
ignite-volume.yaml：

kind: PersistentVolume
apiVersion: v1
metadata:
  name: ignite-volume
  labels:
    type: local
spec:
  storageClassName: manual
  capacity:
    storage: 1Gi
  accessModes:
    - ReadWriteOnce
  hostPath:
    path: "/data/ignite"

使用下面的命令部署这个卷：

kubectl create -f ignite-volume.yaml

检查该卷部署成功并且可以使用：

kubectl get pv ignite-volume

输出大致如下：

NAME            CAPACITY   ACCESSMODES   RECLAIMPOLICY   STATUS      CLAIM     REASON    AGE
ignite-volume   1Gi        RWO           Retain          Available                       3m

最后，创建一个PersistentVolumeClaim，他会自动化地绑定到上面初始化的PersistentVolume。
ignite-volume-claim.yaml：

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: ignite-volume-claim
spec:
  storageClassName: manual
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi

使用下面的配置创建PersistentVolumeClaim:

kubectl create -f ignite-volume-claim.yaml 

确保PersistentVolumeClaim已经创建，并且已经绑定到存储example-kube.xml配置的PersistentVolume。

kubectl get pvc ignite-volume-claim
NAME                  STATUS    VOLUME          CAPACITY   ACCESSMODES   AGE
ignite-volume-claim   Bound     ignite-volume   1Gi        RWO           2m
kubectl get pv ignite-volume
NAME            CAPACITY   ACCESSMODES   RECLAIMPOLICY   STATUS    CLAIM                         REASON    AGE
ignite-volume   1Gi        RWO           Retain          Bound     default/ignite-volume-claim             13m

Kubernetes会搜索一个匹配PersistentVolumeClaim中的storageClassName的卷，如果没有匹配PersistentVolumeClaim需要的storageClassName的PersistentVolume，Kubernetes会动态地创建一个新的PersistentVolume，这是通过执行下面的脚本可以看到所有的PersistentVolumes:

kubectl get pv

如果storageClassName没有匹配，那么会看到：

kubectl get pvc
NAME                  STATUS    VOLUME                                     CAPACITY   ACCESSMODES   STORAGECLASS   AGE
ignite-volume-claim   Bound     pvc-c3f0f289-9987-11e7-876b-525400ed8e86   1Gi        RWO           standard       9m
kubectl get pv
NAME                                       CAPACITY   ACCESSMODES   RECLAIMPOLICY   STATUS      CLAIM                         STORAGECLASS   REASON    AGE
ignite-volume                              1Gi        RWO           Retain          Available                                                          9m
pvc-c3f0f289-9987-11e7-876b-525400ed8e86   1Gi        RWO           Delete          Bound       default/ignite-volume-claim   standard                 9m

现在，就到了为Ignite容器组准备一个Kubernetes部署配置然后进行部署的时候了。

14.7.5.Ignite容器组部署

最后，需要为Ignite容器组定义一个YAML配置。

通过HTTP共享Ignite配置
如果通过PersistentVolumeClaim共享Ignite配置比较麻烦，那么可以将其上传到一个HTTP服务器，然后将链接地址赋值给CONFIG_URI参数，完整示例可以参照下面的ignite-deployment.yaml (Ignite HTTP config)。

ignite-deployment.yaml

# An example of a Kubernetes configuration for Ignite pods deployment.
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  # Custom Ignite cluster's name.
  name: ignite-cluster
spec:
  # A number of Ignite pods to be started by Kubernetes initially.
  replicas: 2
  template:
    metadata:
      labels:
        # This label has to be added to the selector's section of 
        # ignite-service.yaml so that the Kubernetes Ignite lookup service
        # can easily track all Ignite pods available deployed so far.
        app: ignite
    spec:
      volumes:
        # Custom name for the storage that holds Ignite's configuration
        # which is example-kube.xml.
        - name: ignite-storage
          persistentVolumeClaim:
           # Must be equal to the PersistentVolumeClaim created before.
           claimName: ignite-volume-claim   
      containers:
        # Custom Ignite pod name.
      - name: ignite-node
        # Ignite Docker image. Kubernetes IP finder is supported starting from
        # Apache Ignite 1.9.0
        image: apacheignite/ignite:1.9.0
        env:
        # Ignite's Docker image parameter. Adding the jar file that
        # contain TcpDiscoveryKubernetesIpFinder implementation.
        - name: OPTION_LIBS
          value: ignite-kubernetes
        # Ignite's Docker image parameter. Passing the Ignite configuration
        # to use for an Ignite pod.
        - name: CONFIG_URI
          value: file:////data/ignite/example-kube.xml
        ports:
        # Ports to open.
        # Might be optional depending on your Kubernetes environment.
        - containerPort: 11211 # REST port number.
        - containerPort: 47100 # communication SPI port number.
        - containerPort: 47500 # discovery SPI port number.
        - containerPort: 49112 # JMX port number.
        volumeMounts:
        # Mounting the storage with the Ignite configuration.
        - mountPath: "/data/ignite"
          name: ignite-storage

ignite-deployment.yaml (Ignite HTTP config)

# An example of a Kubernetes configuration for Ignite pods deployment.
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  # Custom Ignite cluster's name.
  name: ignite-cluster
spec:
  # A number of Ignite pods to be started by Kubernetes initially.
  replicas: 2
  template:
    metadata:
      labels:
        app: ignite
    spec:
      containers:
        # Custom Ignite pod name.
      - name: ignite-node
        image: apacheignite/ignite:2.3.0
        env:
        - name: OPTION_LIBS
          value: ignite-kubernetes
        - name: CONFIG_URI
          value: https://raw.githubusercontent.com/apache/ignite/master/modules/kubernetes/config/example-kube.xml
        ports:
        # Ports to open.
        # Might be optional depending on your Kubernetes environment.
        - containerPort: 11211 # REST port number.
        - containerPort: 47100 # communication SPI port number.
        - containerPort: 47500 # discovery SPI port number.
        - containerPort: 49112 # JMX port number.
        - containerPort: 10800 # SQL port number.

如上所示，这个配置定义了一组环境变量（OPTION_LIBS和CONFIG_URIL），它们会被Ignite的docker映像使用的特定脚本所处理，docker映像的完整配置参数列表在docker部署的相关章节有描述。

Ignite docker映像版本
Ignite的1.9.0及其后续版本才支持Kubernetes，因此要确保使用可用版本的docker映像，这里可以看到完整的标签列表。

下一步，使用上面的配置将Ignite容器组部署到Kubernetes中：

kubectl create -f ignite-deployment.yaml

检查Ignite容器组是否已经启动运行

kubectl get pods

选择一个可用的容器组名称：

NAME                              READY     STATUS    RESTARTS   AGE
ignite-cluster-3454482164-d4m6g   1/1       Running   0          25m
ignite-cluster-3454482164-w0xtx   1/1       Running   0          25m

然后从中获取日志，确保这两个容器组可以互相发现对方。

kubectl logs ignite-cluster-3454482164-d4m6g

14.7.6.调整Ignite集群大小

使用标准的Kubernetes API可以在运行中调整Ignite集群的大小，比如，如果希望扩充集群，从2个到5个节点，那么可以使用如下的命令：

kubectl scale --replicas=5 -f ignite-deployment.yaml

再次确认集群已经扩展成功：

kubectl get pods

输出会显示已经有5个容器组正在运行：

NAME                              READY     STATUS    RESTARTS   AGE
ignite-cluster-3454482164-d4m6g   1/1       Running   0          34m
ignite-cluster-3454482164-ktkrr   1/1       Running   0          58s
ignite-cluster-3454482164-r20f8   1/1       Running   0          58s
ignite-cluster-3454482164-vf8kh   1/1       Running   0          58s
ignite-cluster-3454482164-w0xtx   1/1       Running   0          34m

14.7.7.在Microsoft Azure中部署

具体可以参照这里。

14.7.8.在Amazon AWS中部署

具体可以参照这里。