搭建基于Docker、Rancher、Harbor、GitLab和Jenkins的CI/CD环境
引言
在现代软件开发中，持续集成（CI）和持续部署（CD）是提升开发效率和软件质量的关键环节。本文将详细介绍如何使用Docker、Rancher、Harbor、GitLab和Jenkins来搭建一个完整的CI/CD环境。
一、安装Docker和Docker Compose
首先，确保在主机上安装了Docker和Docker Compose，这将为后续的容器化部署提供基础。
1.1 安装Docker
在Linux系统（以Ubuntu为例）中，可以使用以下命令安装Docker：
sudo apt-get update
sudo apt-get install -y docker.io解释：
- sudo apt-get update：更新软件包列表，获取最新的可用软件信息。
- sudo apt-get install -y docker.io：安装Docker引擎，-y参数表示自动确认安装。
1.2 启动并设置Docker开机自启
sudo systemctl start docker
sudo systemctl enable docker解释：
- sudo systemctl start docker：启动Docker服务。
- sudo systemctl enable docker：设置Docker服务在系统启动时自动运行。
1.3 安装Docker Compose
sudo curl -L "https://github.com/docker/compose/releases/download/版本号/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose解释：
- sudo curl -L "...docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose：下载Docker Compose可执行文件，$(uname -s)和 $(uname -m)会自动替换为当前系统的操作系统类型和架构。
- sudo chmod +x /usr/local/bin/docker-compose：赋予下载的Docker Compose文件可执行权限。
注意： 请将 版本号替换为需要的Docker Compose版本，例如 1.29.2。
二、安装Rancher
Rancher是一个开源的企业级容器管理平台，用于部署和管理Kubernetes集群。
2.1 使用Docker Compose运行Rancher
创建一个名为 docker-compose.yml的文件，内容如下：
version: '3'
services:
rancher:
image: rancher/rancher:latest
container_name: rancher
restart: unless-stopped
ports:
- "80:80"
- "443:443"解释：
- version: '3'：指定Docker Compose文件的版本。
- services：定义要运行的服务列表。
- image：使用的Docker镜像，这里为 rancher/rancher:latest。
- container_name：容器名称设置为 rancher，便于管理。
- restart: unless-stopped：设置容器的重启策略，除非手动停止，否则总是重启。
- ports：将主机的80和443端口映射到容器内，以便通过浏览器访问Rancher的Web界面。
2.2 启动Rancher
在 docker-compose.yml所在目录下，执行以下命令：
docker-compose up -d解释：
- docker-compose up -d：根据 docker-compose.yml文件的定义，启动所有服务并在后台运行（-d表示detach）。
三、安装Harbor
Harbor是一个用于存储和分发Docker镜像的企业级Registry服务。
3.1 下载Harbor安装包
wget https://github.com/goharbor/harbor/releases/download/v版本号/harbor-offline-installer-v版本号.tgz解释：
- wget ...：使用 wget命令从指定URL下载Harbor的离线安装包。
- 请将 版本号替换为所需的Harbor版本，例如 2.3.3。
3.2 解压安装包
tar -xzvf harbor-offline-installer-v版本号.tgz解释：
- tar -xzvf ...：解压下载的Harbor安装包，-x表示解压，-z表示处理gzip压缩，-v显示过程，-f指定文件名。
3.3 配置Harbor
进入解压后的Harbor目录：
cd harbor编辑 harbor.yml配置文件：
vim harbor.yml解释：
- cd harbor：进入Harbor安装目录。
- vim harbor.yml：使用 vim编辑器打开配置文件。
在配置文件中，需要修改以下关键参数：
- hostname：设置为Harbor服务器的IP地址或域名，确保客户端能够访问。
- harbor_admin_password：设置Harbor管理员的密码，默认用户为 admin。
3.4 安装并启动Harbor
执行安装脚本：
sudo ./install.sh解释：
- sudo ./install.sh：以管理员权限运行Harbor的安装脚本，完成安装和启动。
四、安装GitLab
GitLab是一个集成了Git仓库管理、代码审查、CI/CD等功能的DevOps平台。
4.1 使用Docker Compose运行GitLab
创建一个名为 docker-compose.yml的文件，内容如下：
version: '3'
services:
gitlab:
image: gitlab/gitlab-ce:latest
container_name: gitlab
restart: always
hostname: 'gitlab.example.com'
environment:
GITLAB_OMNIBUS_CONFIG: |
external_url 'http://gitlab.example.com'
ports:
- "80:80"
- "443:443"
- "22:22"
volumes:
- gitlab-config:/etc/gitlab
- gitlab-logs:/var/log/gitlab
- gitlab-data:/var/opt/gitlab
volumes:
gitlab-config:
gitlab-logs:
gitlab-data:解释：
- image：使用GitLab的社区版镜像 gitlab/gitlab-ce:latest。
- hostname：容器的主机名，设置为 gitlab.example.com。
- environment：设置环境变量，指定 external_url为GitLab的访问地址。
- ports：将主机的80、443和22端口映射到容器内，以支持HTTP、HTTPS和SSH访问。
- volumes：定义数据卷，用于持久化GitLab的配置、日志和数据。
4.2 启动GitLab
docker-compose up -d解释：
- 通过 docker-compose up -d命令，后台启动GitLab服务。
五、安装Jenkins
Jenkins是一款开源的自动化服务器，可用于构建、测试和部署软件。
5.1 使用Docker Compose运行Jenkins
创建一个名为 docker-compose.yml的文件，内容如下：
version: '3'
services:
jenkins:
image: jenkins/jenkins:lts
container_name: jenkins
restart: always
user: root
ports:
- "8080:8080"
- "50000:50000"
volumes:
- jenkins-data:/var/jenkins_home
- /var/run/docker.sock:/var/run/docker.sock
volumes:
jenkins-data:解释：
- image：使用Jenkins的长期支持版本镜像 jenkins/jenkins:lts。
- user: root：以 root用户运行容器，方便Jenkins在容器内管理Docker。
- ports：将主机的8080端口映射到容器内，用于访问Jenkins的Web界面；50000端口用于Jenkins代理通信。
- volumes：jenkins-data：用于持久化Jenkins的配置和数据。/var/run/docker.sock:/var/run/docker.sock：将主机的Docker套接字文件挂载到容器内，允许Jenkins在容器内执行Docker命令。
5.2 启动Jenkins
docker-compose up -d解释：
- 使用 docker-compose up -d命令，后台启动Jenkins服务。
六、配置集成
6.1 在Rancher中创建Kubernetes集群
访问Rancher的Web界面（http://主机IP），按照以下步骤操作：
- 登录Rancher：使用默认账号或已创建的管理员账号登录。
- 创建集群：点击 Add Cluster，选择 Custom，根据需求配置集群名称和选项。
- 添加节点：按照页面提示，运行命令将节点加入集群，分别为 etcd、Control Plane和 Worker节点。
6.2 在Harbor中创建项目
访问Harbor的Web界面（http://主机IP），执行以下操作：
- 登录Harbor：使用管理员账号登录。
- 创建项目：点击 Projects，然后点击 New Project，输入项目名称，如 myproject，选择 Private或 Public。
- 管理镜像：在项目中，可以上传、查看和管理Docker镜像。
6.3 在GitLab中创建代码仓库
访问GitLab的Web界面（http://主机IP），进行以下步骤：
- 登录GitLab：使用管理员账号或已注册的账号登录。
- 创建新项目：点击 New Project，填写项目名称，如 myapp，设置可见性。
- 推送代码：根据页面提示，初始化本地Git仓库并推送代码到GitLab。
6.4 在Jenkins中创建CI/CD流水线
6.4.1 安装必要的插件
在Jenkins的Web界面：
- 进入插件管理：点击 Manage Jenkins -> Manage Plugins。
- 安装插件：GitLab Plugin：用于与GitLab集成。Docker Pipeline：支持在流水线中执行Docker命令。Kubernetes Plugin：用于与Kubernetes集成（如果需要）。
6.4.2 创建新的流水线任务
- 新建任务：点击 New Item，输入任务名称，如 myapp-pipeline，选择 Pipeline类型。
- 配置GitLab连接：在 Pipeline配置中，添加GitLab的凭据（Access Token）。
- 编写流水线脚本：
pipeline {
agent any
environment {
HARBOR_URL = 'harbor.example.com'
HARBOR_PROJECT = 'myproject'
IMAGE_NAME = 'myapp'
}
stages {
stage('Clone') {
steps {
git branch: 'master', url: 'http://gitlab.example.com/mygroup/myapp.git'
}
}
stage('Build') {
steps {
script {
dockerImage = docker.build("${HARBOR_URL}/${HARBOR_PROJECT}/${IMAGE_NAME}:${env.BUILD_NUMBER}")
}
}
}
stage('Push') {
steps {
withCredentials([usernamePassword(credentialsId: 'harbor-credentials', usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD')]) {
script {
docker.withRegistry("http://${HARBOR_URL}", "${USERNAME}:${PASSWORD}") {
dockerImage.push()
}
}
}
}
}
stage('Deploy') {
steps {
// 部署到Kubernetes集群，例如使用kubectl命令
sh "kubectl set image deployment/myapp-deployment myapp=${HARBOR_URL}/${HARBOR_PROJECT}/${IMAGE_NAME}:${env.BUILD_NUMBER}"
}
}
}
}解释：
- environment：定义环境变量，方便在脚本中使用。
- Clone阶段：从GitLab拉取代码，branch指定分支，url为GitLab仓库地址。
- Build阶段：使用Docker构建镜像，标签包含版本号。
- Push阶段：登录Harbor镜像仓库并推送镜像。
- Deploy阶段：使用 kubectl命令更新Kubernetes中的部署，拉取新的镜像版本。
6.4.3 配置凭据
在Jenkins中，添加以下凭据：
- GitLab访问令牌：用于拉取GitLab代码。
- Harbor凭据：用于登录Harbor仓库，类型为 Username with password，ID设置为 harbor-credentials。
七、测试和部署
7.1 提交代码触发流水线
在本地代码仓库中，进行代码修改并提交：
git add .
git commit -m "更新功能"
git push origin master解释：
- git add .：将所有修改的文件添加到暂存区。
- git commit -m "更新功能"：提交更改，并添加提交信息。
- git push origin master：将本地仓库的提交推送到远程GitLab仓库的 master分支。
7.2 Jenkins自动构建
- 触发方式：配置GitLab Webhook，使得每次代码提交时，自动触发Jenkins的流水线任务。
- 查看构建状态：在Jenkins的界面中，可以查看每个阶段的执行情况和日志输出。
7.3 部署到Kubernetes集群
- 自动部署：流水线的最后一个阶段，使用 kubectl命令更新Kubernetes部署，新的镜像版本将被拉取并运行。
- 验证部署：通过访问应用的URL，验证新版本是否成功部署。
八、原理分析表
组件 | 作用 | 关键配置 |
Docker | 容器化平台，运行各组件容器 | 安装Docker和Docker Compose，启动容器服务 |
Rancher | 容器管理平台，管理Kubernetes集群 | 使用Docker Compose部署，配置集群和节点 |
Harbor | 私有Docker镜像仓库，存储和分发Docker镜像 | 配置 harbor.yml，设置 hostname和管理员密码，安装并启动 |
GitLab | 代码仓库管理平台，提供Git仓库和CI/CD功能 | 配置 docker-compose.yml，设置 hostname和 external_url，启动 |
Jenkins | 自动化构建和部署工具，执行CI/CD流水线 | 配置 docker-compose.yml，安装必要插件，编写流水线脚本，配置凭据 |
九、心智图示意
CI/CD环境搭建
├── 安装Docker和Docker Compose
├── 部署Rancher
│ └── 创建Kubernetes集群
├── 部署Harbor
│ └── 创建项目，存储Docker镜像
├── 部署GitLab
│ └── 创建代码仓库，管理代码
├── 部署Jenkins
│ └── 创建流水线任务，实现CI/CD
├── 配置集成
│ ├── GitLab与Jenkins集成
│ ├── Jenkins与Harbor集成
│ └── Jenkins部署到Rancher集群
└── 测试和部署
├── 提交代码触发流水线
├── 自动构建和推送镜像
└── 自动部署到集群十、总结
通过以上步骤，成功搭建了一个完整的CI/CD环境，实现了从代码提交到自动部署的全流程自动化。Docker提供了容器化的基础环境，Rancher负责管理容器集群，Harbor作为私有镜像仓库存储和分发Docker镜像，GitLab用于代码管理和版本控制，而Jenkins则负责持续集成和持续部署的自动化流程。
重要提示： 在实际操作中，需根据自身环境和需求，对配置文件中的参数（如主机名、端口、凭据等）进行相应调整。确保各组件之间的网络连通性和安全性，尤其是在生产环境中，应考虑使用SSL证书和安全加固措施。