jenkins使用与持续部署（一）

jenkins系列

• 一：持续集成及Jenkins介绍
• 二：Jenkins安装和持续集成环境配置
• 三：Jenkins构建Maven项目

一：持续集成及Jenkins介绍

1.1 软件开发生命周期

软件开发生命周期又叫做SDLC（Software Development Life Cycle），它是集合了计划、开发、测试和部署过程的集合。如下图所示 ：

需求分析这是生命周期的第一阶段，根据项目需求，团队执行一个可行性计划的分析。项目需求可能是公司内部或者客户提出的。这阶段主要是对信息的收集，也有可能是对现有项目的改善和重新做一个新的项目。还要分析项目的预算多长，可以从哪方面受益及布局，这也是项目创建的目标。
 设计第二阶段就是设计阶段，系统架构和满意状态（就是要做成什么样子，有什么功能），和创建一个项目计划。计划可以使用图表，布局设计或者文者的方式呈现。
 实现
第三阶段就是实现阶段，项目经理创建和分配工作给开者，开发者根据任务和在设计阶段定义的目标进行开发代码。依据项目的大小和复杂程度，可以需要数月或更长时间才能完成。
 测试
测试人员进行代码测试 ，包括功能测试、代码测试、压力测试等。
 进化
后进阶段就是对产品不断的进化改进和维护阶段，根据用户的使用情况，可能需要对某功能进行修改，bug修复，功能增加等。

1.2 软件开发瀑布模型

瀑布模型是著名和常使用的软件开发模型。瀑布模型就是一系列的软件开发过程。它是由制造业繁衍出来的。一个高度化的结构流程在一个方向上流动，有点像生产线一样。在瀑布模型创建之初，没有其它开发的模型，有很多东西全靠开发人员去猜测，去开发。这样的模型仅适用于那些简单的软件开发， 但是已经不适合现在的开发了。下图对软件开发模型的一个阐述。

优势:
简单易用和理解
当前一阶段完成后，您只需要去关注后续阶段。
为项目提供了按阶段划分的检查节点
劣势:
各个阶段的划分完全固定，阶段之间产生大量的文档，极大地
增加了工作量。
由于开发模型是线性的，用户只有等到整个过程的末期才能见
到开发成果，从而增加了开发风险。
瀑布模型的突出缺点是不适应用户需求的变化。

1.3 软件的敏捷开发

什么是敏捷开发？     
敏捷开发（Agile Development） 的核心是迭代开发（Iterative Development） 与 增量开发（Incremental Development） 。
===何为迭代开发？===
对于大型软件项目，传统的开发方式是采用一个大周期（比如一年）进行开发，整个过程就是一次"大开发"；迭代开发的方式则不一样，它将开发过程拆分成多个小周期，即一次"大开发"变成多次"小开发"，每次小开发都是同样的流程，所以看上去就好像重复在做同样的步骤。
举例来说，SpaceX 公司想造一个大推力火箭，将人类送到火星。但是，它不是一开始就造大火箭，而是先造一个简陋的小火箭 Falcon 1。结果，第一次发射就爆炸了，直到第四次发射，才成功进入轨道。然后，开发了中型火箭 Falcon 9，九年中发射了70次。后，才开发 Falcon 重型火箭。如果 SpaceX 不采用迭代开发，它可能直到现在还无法上天。
===何为增量开发？=== 软件的每个版本，都会新增一个用户可以感知的完整功能。也就是说，按照新增功能来划分迭代。
举例来说，房产公司开发一个10栋楼的小区。如果采用增量开发的模式，该公司第一个迭代就是交付一号楼，第二个迭代交付二号楼......每个迭代都是完成一栋完整的楼。而不是第一个迭代挖好10栋楼的地基，第二个迭代建好每栋楼的骨架，第三个迭代架设屋顶......
敏捷开发如何迭代？    
虽然敏捷开发将软件开发分成多个迭代，但是也要求，每次迭代都是一个完整的软件开发周期，必须按照软件工程的方法论，进行正规的流程管理。

敏捷开发有什么好处？   
==早期交付==
敏捷开发的第一个好处，就是早期交付，从而大大降低成本。 还是以上一节的房产公司为例，如果按照传统的"瀑布开发模式"，先挖10栋楼的地基、再盖骨架、然后架设屋顶，每个阶段都等到前一个阶段完成后开始，可能需要两年才能一次性交付10栋楼。也就是说，如果不考虑预售，该项目必须等到两年后才能回款。 敏捷开发是六个月后交付一号楼，后面每两个月交付一栋楼。因此，半年就能回款10%，后面每个月都会有现金流，资金压力就大大减轻了。
==降低风险===
敏捷开发的第二个好处是，及时了解市场需求，降低产品不适用的风险。 请想一想，哪一种情况损失比较小：10栋楼都造好以后，才发现卖不出去，还是造好第一栋楼，就发现卖不出去，从而改进或停建后面9栋楼？

1.4 什么是持续集成

持续集成（ Continuous integration ， 简称 CI ）指的是，频繁地（一天多次）将代码集成到主干。
持续集成的目的，就是让产品可以快速迭代，同时还能保持高质量。它的核心措施是，代码集成到主干之前，必须通过自动化测试。只要有一个测试用例失败，就不能集成。
通过持续集成， 团队可以快速的从一个功能到另一个功能，简而言之，敏捷软件开发很大一部分都要归功于持续集成。
=== 持续集成的流程===

根据持续集成的设计，代码从提交到生产，整个过程有以下几步。
 提交
流程的第一步，是开发者向代码仓库提交代码。所有后面的步骤都始于本地代码的一次提交
（commit）。
 测试（第一轮）
代码仓库对commit操作配置了钩子（hook），只要提交代码或者合并进主干，就会跑自动化测试。
 构建
通过第一轮测试，代码就可以合并进主干，就算可以交付了。
交付后，就先进行构建（build），再进入第二轮测试。所谓构建，指的是将源码转换为可以运行的实际代码，比如安装依赖，配置各种资源（样式表、JS脚本、图片）等等。
 测试（第二轮）构建完成，就要进行第二轮测试。如果第一轮已经涵盖了所有测试内容，第二轮可以省略，当然，这时构建步骤也要移到第一轮测试前面。
 部署
过了第二轮测试，当前代码就是一个可以直接部署的版本（artifact）。将这个版本的所有文件打包（ tar filename.tar * ）存档，发到生产服务器。
 回滚
一旦当前版本发生问题，就要回滚到上一个版本的构建结果。简单的做法就是修改一下符号链接，指向上一个版本的目录。

1.5 持续集成的组成要素

一个自动构建过程， 从检出代码、 编译构建、 运行测试、 结果记录、 测试统计等都是自动完成的， 无需人工干预。一个代码存储库，即需要版本控制软件来保障代码的可维护性，同时作为构建过程的素材库，一般使用SVN或Git。
一个持续集成服务器， Jenkins 就是一个配置简单和使用方便的持续集成服务器。

持续集成的好处  
1、降低风险，由于持续集成不断去构建，编译和测试，可以很早期发现问题，所以修复的代价就少；
2、对系统健康持续检查，减少发布风险带来的问题；
3、减少重复性工作；
4、持续部署，提供可部署单元包；
5、持续交付可供使用的版本；
6、增强团队信心；

1.6 Jenkins介绍

Jenkins 是一款流行的开源持续集成（Continuous Integration）工具，广泛用于项目开发，具有自动化构建、测试和部署等功能。官网： http://jenkins-ci.org/。
Jenkins的特征：
开源的Java语言开发持续集成工具，支持持续集成，持续部署。
易于安装部署配置：可通过yum安装,或下载war包以及通过docker容器等快速实现安装部署，可方便web界面配置管理。消息通知及测试报告：集成RSS/E-mail通过RSS发布构建结果或当构建完成时通过e-mail通知，生成JUnit/TestNG测试报告。
分布式构建：支持Jenkins能够让多台计算机一起构建/测试。文件识别：Jenkins能够跟踪哪次构建生成哪些jar，哪次构建使用哪个版本的jar等。
丰富的插件支持：支持扩展插件，你可以开发适合自己团队使用的工具，如git，svn，maven， docker等。

1.7 Jenkins安装和持续集成环境配置

持续集成流程说明    

1）首先，开发人员每天进行代码提交，提交到Git仓库
2）然后，Jenkins作为持续集成工具，使用Git工具到Git仓库拉取代码到集成服务器，再配合JDK， Maven等软件完成代码编译，代码测试与审查，测试，打包等工作，在这个过程中每一步出错，都重新再执行一次整个流程。
3）后，Jenkins把生成的jar或war包分发到测试服务器或者生产服务器，测试人员或用户就可以访问应用。

服务器列表本课程虚拟机统一采用 CentOS7。

1.8 Gitlab代码托管服务器安装

Gitlab简介     
官网： https://about.gitlab.com/
GitLab 是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭建起来的 web服务。
GitLab和GitHub一样属于第三方基于Git开发的作品，免费且开源（基于MIT协议），与Github类似，可以注册用户，任意提交你的代码，添加SSHKey等等。不同的是，GitLab是可以部署到自己的服务器上，数据库等一切信息都掌握在自己手上，适合团队内部协作开发，你总不可能把团队内部的智慧总放在别人的服务器上吧？简单来说可把GitLab看作个人版的GitHub。

1.9 Gitlab安装

1.  安装相关依赖
 yum -y install policycoreutils openssh-server openssh-clients postfix
2.  启动ssh服务&设置为开机启动
 systemctl enable sshd && sudo systemctl start sshd
3.  设置postfix开机自启，并启动，postfix支持gitlab发信功能
 systemctl enable postfix && systemctl start postfix
4.  开放ssh以及http服务，然后重新加载防火墙列表 firewall-cmd --add-service=ssh --permanent firewall-cmd --add-service=http --permanent firewall-cmd --reload
如果关闭防火墙就不需要做以上配置
5.  下载gitlab包，并且安装在线下载安装包：
wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el6/gitlab-ce-12.4.2-ce.0.el6.x86_64.rpm 
安装：
rpm -i gitlab-ce-12.4.2-ce.0.el6.x86_64.rpm
6.  修改gitlab配置
vi /etc/gitlab/gitlab.rb
修改gitlab访问地址和端口，默认为80，我们改为82
external_url 'http://192.168.100.11:82'
nginx['listen_port'] = 82
7.  重载配置及启动gitlab
gitlab-ctl reconfigure 
gitlab-ctl restart
8.  把端口添加到防火墙
firewall-cmd --zone=public --add-port=82/tcp --permanent firewall-cmd --reload
启动成功后，看到以下修改管理员root密码的页面，修改密码后，然后登录即可

vim /etc/gitlab/gitlab.rb

gitlab-ctl reconfigure 
gitlab-ctl restart

设置root
密码：flyfish225

1.10 创建 组 用户 与 项目

1）创建组
使用管理员 root 创建组，一个组里面可以有多个项目分支，可以将开发添加到组里面进行设置权限，不同的组就是公司不同的开发项目或者服务模块，不同的组添加不同的开发即可实现对开发设置权限的
管理

2）创建用户创建用户的时候，可以选择Regular或Admin类型。

点击edit 配置zhangsan的密码
创建完用户后，立即修改密码

3）将用户添加到组中
选择某个用户组，进行 member 管理组的权限

Gitlab用户在组里面有5种不同权限：
Guest：可以创建issue、发表评论，不能读写版本库 Reporter：可以克隆代码，不能提交，QA、PM 可以赋予这个权限 Developer：可以克隆代码、开发、提交、push，普通开发可以赋予这个权限 Maintainer：可以创建项目、添加tag、保护分支、添加项目成员、编辑项目，核心开发可以赋予这个权限 Owner：可以设置项目访问权限 - Visibility Level、删除项目、迁移项目、管理组成员，开发组组长可以赋予这个权限

使用zhangsan 登录

下载 这个版本库 并提交代码

二：Jenkins安装和持续集成环境配置

2.1 持续集成环境(1)-Jenkins安装

在node02.flyfish 配置jenkins
1）安装JDK
Jenkins需要依赖JDK，所以先安装JDK1.8  
yum install java-1.8.0-openjdk* -y
安装目录为：/usr/lib/jvm

2）获取jenkins安装包
下载页面：http://mirrors.jenkins-ci.org/redhat-stable/ 
安装文件：jenkins-2.190.3-1.1.noarch.rpm
3）把安装包上传到192.168.66.101服务器，进行安装  rpm -ivh jenkins-2.190.3-1.1.noarch.rpm
4）修改Jenkins配置
 vi /etc/sysconfig/jenkins 修改内容如下：
JENKINS_USER="root"
JENKINS_PORT="8888"
5）启动Jenkins
 systemctl start jenkins
6）打开浏览器访问
http://192.168.100.12:8888
注意：本服务器把防火墙关闭了，如果开启防火墙，需要在防火墙添加端口
7）获取并输入admin账户密码
 cat /var/lib/jenkins/secrets/initialAdminPassword

cat /var/lib/jenkins/secrets/initialAdminPassword

8）跳过插件安装
因为Jenkins插件需要连接默认官网下载，速度非常慢，而且经过会失败，所以我们暂时先跳过插件安

9)添加一个管理员账户，并进入登录jenkins

持续集成环境(2)-Jenkins插件管理    
Jenkins本身不提供很多功能，我们可以通过使用插件来满足我们的使用。例如从Gitlab拉取代码，使用 Maven构建项目等功能需要依靠插件完成。接下来演示如何下载插件。
修改Jenkins插件下载地址  
Jenkins国外官方插件地址下载速度非常慢，所以可以修改为国内插件地址：
Jenkins->Manage Jenkins->Manage Plugins，点击Available

这样做是为了把Jenkins官方的插件列表下载到本地，接着修改地址文件，替换为国内插件地址
sed -i 's/http:\/\/updates.jenkinsci.org\/download/https:\/\/mirrors.tuna.tsinghua.edu.cn\/jenkins/g' default.json && sed -i 's/http:\/\/www.google.com/https:\/\/www.baidu.com/g' default.json && sed -i 's/http:\/\/updates.jenkins.io\/download/https:\/\/mirrors.tuna.tsinghua.edu.cn\/jenkins/g' default.json

下载中文汉化插件     
Jenkins->Manage Jenkins->Manage Plugins，点击Available，搜索"Chinese"

重启Jenkins后，就看到Jenkins汉化了！（PS：但可能部分菜单汉化会失败）

持续集成环境(3)-Jenkins用户权限管理  
我们可以利用Role-based Authorization Strategy 插件来管理Jenkins用户权限
安装Role-based Authorization Strategy插件    

开启权限全局安全配置   

授权策略切换为"Role-Based Strategy"，保存

创建角色     
在系统管理页面进入 Manage and Assign Roles

点击"Manage Roles"

Global roles（全局角色）：管理员等高级用户可以创建基于全局的角色 Project roles（项目角色）：针对某个或者某些项目的角色 Slave roles（奴隶角色）：节点相关的权限
我们添加以下三个角色：
 baseRole：该角色为全局角色。这个角色需要绑定Overall下面的Read权限，是为了给所有用户绑定基本的Jenkins访问权限。注意：如果不给后续用户绑定这个角色，会报错误：用户名 is missing the Over all /Read permission

创建用户在系统管理页面进入 Manage Users

给用户分配角色  
系统管理页面进入Manage and Assign Roles，点击Assign Roles 绑定规则如下：
eric用户分别绑定baseRole和role1角色 jack用户分别绑定baseRole和role2角色

创建项目测试权限 以admin管理员账户创建两个项目，分别为flyfish和project

结果为：
eric用户登录，只能看到project项目 jack用户登录，只能看到flyfish项目

持续集成环境(4)-Jenkins凭证管理    
凭据可以用来存储需要密文保护的数据库密码、Gitlab密码信息、Docker私有仓库密码等，以便 Jenkins可以和这些第三方的应用进行交互。
安装Credentials Binding插件  
要在Jenkins使用凭证管理功能，需要安装Credentials Binding插件

安装插件后，左边多了"凭证"菜单，在这里管理所有凭证

可以添加的凭证有5种：

Username with password：用户名和密码
SSH Username with private key： 使用SSH用户和密钥
Secret file：需要保密的文本文件，使用时Jenkins会将文件复制到一个临时目录中，再将文件路径设置到一个变量中，等构建结束后，所复制的Secret file就会被删除。
Secret text：需要保存的一个加密的文本串，如钉钉机器人或Github的api token Certificate：通过上传证书文件的方式常用的凭证类型有：Username with password（用户密码）和SSH Username with private key（SSH 密钥）
接下来以使用Git工具到Gitlab拉取项目源码为例，演示Jenkins的如何管理Gitlab的凭证。
安装Git插件和Git工具    
为了让Jenkins支持从Gitlab拉取源码，需要安装Git插件以及在CentOS7上安装Git工具。
Git插件安装：

CentOS7上安装Git工具： yum install git -y 安装
git --version 安装后查看版本

用户密码类型   
1）创建凭证
Jenkins->凭证->系统->全局凭证->添加凭证

2）测试凭证是否可用
创建一个FreeStyle项目：新建Item->FreeStyle Project->确定

找到"源码管理"->"Git"，在Repository URL复制Gitlab中的项目URL

查看/var/lib/jenkins/workspace/目录，发现已经从Gitlab成功拉取了代码到Jenkins中。
cd /var/lib/jenkins/workspace/

SSH密钥类型  
SSH免密登录示意图

1）使用root用户生成公钥和私钥  ssh-keygen -t rsa
在/root/.ssh/目录保存了公钥和使用

id_rsa：私钥文件 id_rsa.pub：公钥文件
2）把生成的公钥放在Gitlab中
以root账户登录->点击头像->Settings->SSH Keys 复制刚才id_rsa.pub文件的内容到这里，点击"Add Key"

3）在Jenkins中添加凭证，配置私钥
在Jenkins添加一个新的凭证，类型为"SSH Username with private key"，把刚才生成私有文件内容复制过来

4）测试凭证是否可用
新建"test02"项目->源码管理->Git，这次要使用Gitlab的SSH连接，并且选择SSH凭证

持续集成环境(5)-Maven安装和配置     
在Jenkins集成服务器上，我们需要安装Maven来编译和打包项目。
安装Maven  先上传Maven软件到192.168.66.101
tar -xzf apache-maven-3.6.2-bin.tar.gz 
解压 mkdir -p /opt/maven 创建目录
mv apache-maven-3.6.2/* /opt/maven 移动文件

配置环境变量
vim /etc/profile
----
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64
export MAVEN_HOME=/opt/maven/apache-maven-3.6.2
export CLASSPATH=.:$MAVEN_HOME/jre/lib:$MAVEN_HOME/lib:$MAVEN_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin
---

全局工具配置关联JDK和Maven    
Jenkins->Global Tool Configuration->JDK->新增JDK，配置如下：

Jenkins->Global Tool Configuration->Maven->新增Maven，配置如下：

添加Jenkins全局变量    
Manage Jenkins->Configure System->Global Properties ，添加三个全局变量
JAVA_HOME、M2_HOME、PATH+EXTRA

修改Maven的settings.xml     
mkdir /root/repo 创建本地仓库目录
vim /opt/maven/apache-maven-3.6.2/conf/settings.xml 本地仓库改为：/root/repo/
---
 <localRepository>/root/repo</localRepository>
---
添加阿里云私服地址：
在<mirrors>.....<mirrors> 之间 加上 阿里云的源 
-----
<mirror>
      <id>alimaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <mirrorOf>central</mirrorOf>
    </mirror>
----
测试Maven是否配置成功    
使用之前的gitlab密码测试项目，修改配置

测试Maven是否配置成功    
使用之前的gitlab密码测试项目，修改配置

构建->增加构建步骤->Execute Shell

输入
 mvn clean package

持续集成环境(6)-Tomcat安装和配置    
安装Tomcat8.5  把Tomcat压缩包上传到192.168.100.13服务器
yum install java-1.8.0-openjdk* -y 
安装JDK（已完成） tar -xzf apache-tomcat-8.5.47.tar.gz 解压 mkdir -p /opt/tomcat 创建目录
mv /root/apache-tomcat-8.5.47/* /opt/tomcat 移动文件
/opt/tomcat/bin/startup.sh 启动tomcat
注意：服务器已经关闭了防火墙，所以可以直接访问Tomcat啦
地址为：http://192.168.100.13/8080

配置Tomcat用户角色权限   
默认情况下Tomcat是没有配置用户角色权限的

但是，后续Jenkins部署项目到Tomcat服务器，需要用到Tomcat的用户，所以修改tomcat以下配置，添加用户及权限
vim /opt/tomcat/conf/tomcat-users.xml
---
 <role rolename="tomcat"/>
  <role rolename="role1"/>
  <role rolename="manager-script"/>
  <role rolename="manager-gui"/>
  <role rolename="manager-status"/>
  <role rolename="admin-gui"/>
  <role rolename="admin-script"/>
  <user username="tomcat" password="tomcat" roles="manager-gui,manager-script,tomcat,admin-gui,admin-script"/>
---
用户名和密码都是tomcat

注释掉行：
vim /opt/tomcat/webapps/manager/META-INF/context.xml
---
<!--
  <Valve className="org.apache.catalina.valves.RemoteAddrValve"
         allow="127\.\d+\.\d+\.\d+|::1|0:0:0:0:0:0:0:1" />
  <Manager sessionAttributeValueClassNameFilter="java\.lang\.(?:Boolean|Integer|Long|Number|String)|org\.apache\.catalina\.filters\.CsrfPreventionFilter\$LruCache(?:\$1)?|java\.util\.(?:Linked)?HashMap"/>
-->
---
重启tomcat
./shutdown.sh
./startup.sh
用户名密码都是tomcat 

三：Jenkins构建Maven项目

Jenkins项目构建类型(1)-Jenkins构建的项目类型介绍 
Jenkins中自动构建项目的类型有很多，常用的有以下三种：自由风格软件项目（FreeStyle Project） Maven项目（Maven Project）流水线项目（Pipeline Project）
每种类型的构建其实都可以完成一样的构建过程与结果，只是在操作方式、灵活度等方面有所区别，在实际开发中可以根据自己的需求和习惯来选择。（PS：个人推荐使用流水线类型，因为灵活度非常高）

Jenkins项目构建类型(2)-自由风格项目构建 
下面演示创建一个自由风格项目来完成项目的集成过程： 拉取代码->编译->打包->部署
拉取代码     
1）创建项目

编译打包     
构建->添加构建步骤->Executor Shell
---
echo "开始打包"
mvn clean package
echo "打包编译"
---

部署   把项目部署到远程的Tomcat里面
1）安装 Deploy to container插件
Jenkins本身无法实现远程部署到Tomcat的功能，需要安装Deploy to container插件实现

添加Tomcat用户凭证

添加构建后操作

点击"Build Now"，开始构建过程

4）部署成功后，访问项目

Jenkins项目构建类型(3)-Maven项目构建 

2）创建Maven项目