使用Terraform和Consul实现现代数据中心的自动化

数据中心 Terraform Consul

在2015年CraftConf大会上，Mitchell Hashimoto提出，当前的提供和配置工具不足以成为“现代数据中心”的编排工具。现代数据中心的特点是敏捷和弹性，并提供可跨不同厂商平台的“服务”。Hashimoto介绍了两款Hashicorp公司的工具，Terraform和Consul，可用于在这些有挑战性的环境中提供自动化。

在2015年CraftConf大会上，Mitchell Hashimoto提出，当前的提供（provisioning）和配置（configuration）工具不足以成为“现代数据中心”的编排工具。现代数据中心的特点是敏捷和弹性，并为部署其上的应用提供所需的“服务”，如计算资源、DNS和可跨不同厂商平台的CDN。Hashimoto介绍了两款Hashicorp公司的工具，Terraform和Consul，可用于在这些有挑战性的环境中提供自动化。

Hashimoto是Hashicorp公司的创始人，同时也是Vagrant和Packer两个项目的领导者。Hashimoto首先回顾了数据中心技术的历史。从企业的角度来看，一个典型的数据中心的资源使用是从单物理服务器发展而来的，经历了使用多个裸物理服务器，并最终发展成为使用多个虚拟机实例。这一进化的最新趋势是走向容器化。配置、部署和维护的复杂性一直随着这一演进而增加，人们对自动化的需求变得极为重要。CFEngine、Chef、Puppet和Ansible等工具的出现，正是为了满足这些原始需求。

Hashimoto说，随着公共云和私有云技术的流行，我们现在运作的“现代数据中心”面临着新的挑战。曾经被集成在核心基础设施堆的技术，现在转向以服务为基础的产品，例如，DNS的CDN和数据库。企业也越来越多地使用多个不同厂商的产品来构建自己的基础架构平台。这两个变化在传统配置的基础上，增加了额外的复杂性，Hashimoto认为，当前的工具不能满足这种要求：

当你想要搭建你的应用程序时，你尽可编写足够多的Chef和Puppet自动化脚本，但是如果你没有一个自动化的方式来搭建所有需要的服务，那这有什么意义呢？你的应用程序将无法正常工作……

数据中心的核心工作通常包括获取（acquisition）、提供（provision）、更新（update）和销毁（destruction）资源（比如服务器、数据存储和负载平衡器等）。回首过去，这些进程是缓慢的，而结果是相对静态的，但是现在这些活动是快速的，并且输出是弹性可伸缩的。例如当我们要提供计算资源的时侯，这将一目了然。对于传统的数据中心来说，必须购买物理服务器、上机架、配置，并部署为一个固定的单位。然而，对于现代数据中心来说，通过调用API获得计算实例，指定启动时的相关配置即可，并且实例通常可以就地水平扩展，或者很容易为水平扩展添加多个实例。

Hashimoto认为，手动是无法利用起现代数据中心所提供的速度和弹性的——我们必须实现自动化。自动化的现代数据中心的需求体现为：

• 一条命令部署
• 弹性分布式系统
• 自动伸缩、自动健康监测
• 经过知识梳理获得更好的团队合作

Hashimoto介绍了Hashicorp的Terraform，这一款可以有效地构建、结合并启动跨数据中心和不同供应商的基础设施的工具。例如，Terraform可以启动一个Amazon Web服务（AWS）EC2计算实例和一个DigitalOcean的Droplet计算实例，然后通过访问Dyn DNS服务配置这些实例。Terraform使用人类友好的文本格式，声明式定义基础设施，而且Terraform模块能够执行指定的较低级别的配置操作。

Terraform可由“terraform apply”一条命令来激活，可以使用“terraform plan”命令来预览活跃的实例。该命令的运行输出是一个有序列表，描述了声明式定义的当前基础设施的状态变更。同时，还能表明变更是就地执行的，还是销毁的性质的（例如，重新启动服务器）。这个信息可用于确定操作是否适用于特定的时间点，例如，维护窗口是否打开。

plan命令的输出也可以保存到文件中，以便日后决定执行基础设施的变更。Hashimoto认为，预览基础设施变更的能力是Terraform的最重要的特征之一。可以在目前开发的工作流程中，组合基础设施代码的变更和配置计划，如创建pull请求、审查diff和接受变更。

Hashimoto讲到，在Terraform出现之前，运维团队负责管理生产环境的技术栈是令人难以置信的，因为他们需要深刻地理解当前云平台、确定当前基础设施的状态，并且计算出由此产生的状态转换的结果。

Hashimoto认为，运维工程师和DevOps工程师希望能在技术栈之上工作，像Terraform这样的工具可以实现他们的愿望，在很大程度上，这同很多开发工程师已经从汇编语言转到第三代编程语言上工作的情境类似。

这就是我对核心运维工程师与应用运维工程师之间的区别的定义。
在每家公司中都有这样的运维工程师，他们知道如何部署一套高可用的数据库集群，当然也有不知道这些，但是想要知道如何去搭建高可用数据库集群的运维工程师。
我们可以选择教他们如何去具体实现，或者为他们提供抽象的封装[一如Terraform所提供的]。

演讲的第二部分介绍了Hashicorp的Consul，这是一款以跨数据中心、高可用的方式提供服务发现、配置和编排的工具。Hashimoto表示，Consul可以用来回答一个企业的基础设施中，诸如下列这些问题：“服务X在哪里”、“服务Ÿ的实例是否健康”、“当前正在运行的服务是什么”、“服务Z的配置是怎样的”，以及“在我的平台上是否还有其他人在执行操作A？”。

Consul通过DNS或HTTP API提供服务发现功能，同时支持跨数据中心的内部服务或外部服务的发现。
使用shell脚本实现了健康检查，并允许创建自定义的服务验证协议。
Consul还提供了高可用的键值对存储，由此可以暴露一致的存储值，用于配置参数的调优，而不必非要执行配置管理工具。
可调优的操动实例包括指定服务的位置、指明系统处于维护模式，或者设置服务的QoS参数。

Hashimoto说，Consul还提供了一套编排原语、通过UDP协议跨数据中心广播异步“事件”、
通过TCP协议让指定的计算机同步执行“exec”指令，以及通过实现长轮询、react、事件机制或者其他操作实现定制化的监控。

关于Mitchell Hashimoto中CraftConf的演讲，“自动化现代数据中心，从开发到生产”，包括视频等更多详细信息，请参阅大会网站。Terraform v0.5的下载地址在Terraform.io网站，Consul v0.5的下载地址在Consul.io网站。

查看英文原文：Automating the Modern Datacenter with Terraform and Consul