百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

极狐GitLab CI x Vault,做好企业密钥安全合规管理

liuian 2025-01-16 20:10 34 浏览

“千里之堤,溃于蚁穴”,密钥管理对于软件研发全生命周期来讲犹如蚁穴之于长堤,密钥泄漏已经成为导致企业被勒索攻击的重要因素。安全合规的管理密钥,除了能够有效避免企业遭受重大经济损失,还能够打造良好的企业安全文化,帮助企业在加速软件交付的同时保证安全合规。

密钥管理需要覆盖软件研发全生命周期,比如在编码阶段需要避免密钥硬编码、在构建阶段需要避免密钥被打印到构建日志中、在测试阶段需要去扫描变更代码(或历史中)是否含有密钥信息等。

极狐GitLab 本身具备成熟的密钥管理功能,比如在 CI/CD Pipeline 阶段,可以用 CI 环境变量来存储密钥,还可以将密钥检测的安全扫描手段嵌入到 CI/CD Pipeline 中,及时发现变更代码中的密钥信息,避免外泄。

关于极狐GitLab CI 对于密钥的管理可以查看文章极狐GitLab CI/CD SSHKEY Mask 的几种方式;关于极狐GitLab 密钥安全扫描的文章可以查看1 行代码开启「密钥检测」,给敏感数据加上防护锁。

本文将演示极狐GitLab CI 与 Vault 集成来进行密钥的安全合规管理。

关于 Vault

Vault 是 HashiCorp 公司推出的一款开源的、基于身份识别的密钥和加密管理系统。以 Default deny all 的原则来管理诸如 API key、用户名密码(password)、访问令牌(token)及证书(certificates)等密钥。更多关于 Vault 的内容可以查看 Vault 官网。

参考文档:Vault 官网

https://developer.hashicorp.com/vault

极狐GitLab CI 与 Vault 的集成原理



  1. 在 vault 上配置密钥(UI、CLI、API 均可);
  2. 生成 JWT 以供 CI Job 用;
  3. Runner 和 HashiCorp 连接并用 JWT 做认证;
  4. Vault 对 JWT 进行验证;
  5. Vault 对于 bound claim 和 对应的 Vault policy 进行检查;
  6. Vault 返回访问令牌;
  7. Runner 从 Vault 读取密钥信息进行使用。

极狐GitLab CI 与 Vault 集成的两种方式

可以使用 secrets 关键字或 CLI 的方式来在极狐GitLab CI 中使用 Vault。

secrets:vault 关键字的使用

secrets 是极狐GitLab CI 中用来从外部密钥管理工具读取密钥的关键字。可以使用 secrets:vault 从 vault 服务器读取存储在里面的密钥信息。

比如在 Vault 中使用 kv engine (v2)来存储容器镜像仓库的用户名和密码:


# 写入用户名和密码
$ vault kv put jh/docker-registry/credentials username=jh-gitlab password=passw0rd

# 读取用户名和密码
vault read -format=json jh/data/docker-registry/credentials | jq -r '.data.data'
{
"password": "passw0rd",
"username": "jh-gitlab"
}


将 Vault 相关的环境变量存储在极狐GitLab CI 变量中:



  • VAULT_SERVER_URL:Vault 服务器地址;
  • VAULT_AUTH_ROLE:Vault 上创建的 role,用来和对应的 policy 进行绑定,实现存储密钥的精细化管控;
  • VAULT_AUTH_PATH:认证方法在 Vault auth 中的挂载路径,默认为 jwt


.gitlab-ci.yml 文件内容如下:


stages:
- vault

get_credentials:
stage: vault
tags:
- vault
image:
name: vault:1.13.3
secrets:
DATABASE_PASSWORD:
vault: docker-registry/credentials/password@jh
script:
-
echo $DATABASE_PASSWORD


查看 CI/CD Pipeline 构建结果:



可以看到极狐GitLab CI 读取 Vault 信息成功,并且将其保存到名为 DATABASE_PASSWORD 的文件里面,路径如红色方框截图所示。


CLI 方式

通过 CLI 的方式就像本地访问 Vault 一样,用 Vault 的各种命令即可实现对密钥的增删改查等操作。依旧以前面写入的密钥信息为例来演示 CLI 在极狐GitLab CI 中的使用。


.gitlab-ci.yml 文件内容如下:

get_credentials:
stage: vault
tags:
- vault
image: vault:1.13.3
script:
# vault 服务器的地址
- export VAULT_ADDR=http://163.228.231.126:8200
# vault 认证授权所用的 token
- export VAULT_TOKEN="$(vault write -field=token auth/jwt/login role=jh jwt=$CI_JOB_JWT)"
# 从 vault 读取密钥信息
- export PASSWORD="$(vault kv get -field=password jh/docker-registry/credentials)"
# 打印密钥信息
- echo $PASSWORD


查看 CI/CD Pipeline 构建结果:


可以看到极狐GitLab CI 读取 Vault 信息成功。

注意,直接使用 CLI 方式读取的密钥信息,可以使用 echo 命令打印出来,需要避免在 CI/CD Pipeline 构建中打印密钥信息或者采取第一种方式来避免造成密钥信息在 CI/CD Pipeline 构建过程中的泄漏。


参考

Reference

1. 极狐GitLab vault 官网文档:

https://docs.gitlab.cn/ee/ci/secrets/

2. 极狐GitLab 售前解决方案架构师尹学峰编写的极狐GitLab 与 vault 的详细配置文档:

https://note.youdao.com/ynoteshare/index.html?id=b0b8120e07a7e85a077077da05a8d7cd&type=note&_time=1693468609345

相关推荐

MySQL合集-mysql5.7及mysql8的一些特性

1、Json支持及虚拟列1.1jsonJson在5.7.8原生支持,在8.0引入了json字段的部分更新(jsonpartialupdate)以及两个聚合函数,JSON_OBJECTAGG,JS...

MySQL 双表架构在房产中介房源管理中的深度实践

MySQL房源与价格双表封神:降价提醒实时推送客户房产中介实战:MySQL空间函数精准定位学区房MySQL狠招:JSON字段实现房源标签自由组合筛选房源信息与价格变更联动:MySQL黄金搭档解决客户看...

MySQL 5.7 JSON 数据类型使用总结

从MySQL5.7.8开始,MySQL支持原生的JSON数据类型。MySQL支持RFC7159定义的全部json数据类型,具体的包含四种基本类型(strings,numbers,boolea...

MySQL 8.0 SQL优化黑科技,面试官都不一定知道!

前言提到SQL优化,大多数人想到的还是那些经典套路:建索引、避免全表扫描、优化JOIN顺序…这些确实是基础,但如果你还停留在MySQL5.7时代的优化思维,那就out了。MySQL8.0已经发布好...

如何在 MySQL 中使用 JSON 数据(mysql的json函数与实例)

在MySQL中学习“NoSQL”MySQL从5.7版本开始就支持JSON格式的数据类型,该数据类型支持JSON文档的自动验证和优化存储和访问。尽管JSON数据最好存储在MongoDB等...

MySQL中JSON的存储原理(mysql中json字段操作)

前言:表中有json字段后,非索引查询性能变得非常糟糕起因是我有一张表,里面有json字段后,而当mysql表中有200w数据的时候,走非索引查询性能变得非常糟糕需要3到5s。因此对mysql的jso...

mysql 之json字段详解(多层复杂检索)

MySQL5.7.8开始支持JSON数据类型。MySQL8.0版本中增加了对JSON类型的索引支持。示例表CREATETABLE`users`(`id`intNOTNULLAU...

VMware vCenter Server 8.0U3b 发布下载,新增功能概览

VMwarevCenterServer8.0U3b发布下载,新增功能概览ServerManagementSoftware|vCenter请访问原文链接:https://sysin.or...

Spring Boot 3.x 新特性详解:从基础到高级实战

1.SpringBoot3.x简介与核心特性1.1SpringBoot3.x新特性概览SpringBoot3.x是建立在SpringFramework6.0基础上的重大版...

如何设计Agent的记忆系统(agent记忆方法)

最近看了一张画Agent记忆分类的图我觉得分类分的还可以,但是太浅了,于是就着它的逻辑,仔细得写了一下在不同的记忆层,该如何设计和选型先从流程,作用,实力和持续时间的这4个维度来解释一下这几种记忆:1...

Spring Boot整合MyBatis全面指南:从基础到高级应用(全网最全)

一、基础概念与配置1.1SpringBoot与MyBatis简介技术描述优点SpringBoot简化Spring应用开发的框架,提供自动配置、快速启动等特性快速开发、内嵌服务器、自动配置、无需X...

5大主流方案对比:MySQL千亿级数据线上平滑扩容实战

一、扩容方案剖析1、扩容问题在项目初期,我们部署了三个数据库A、B、C,此时数据库的规模可以满足我们的业务需求。为了将数据做到平均分配,我们在Service服务层使用uid%3进行取模分片,从而将数据...

PostgreSQL 技术内幕(五)Greenplum-Interconnect模块

Greenplum是在开源PostgreSQL的基础上,采用MPP架构的关系型分布式数据库。Greenplum被业界认为是最快最具性价比的数据库,具有强大的大规模数据分析任务处理能力。Greenplu...

在实际操作过程中如何避免出现SQL注入漏洞

一前言本文将针对开发过程中依旧经常出现的SQL编码缺陷,讲解其背后原理及形成原因。并以几个常见漏洞存在形式,提醒技术同学注意相关问题。最后会根据原理,提供解决或缓解方案。二SQL注入漏洞的原理、形...

运维从头到尾安装日志服务器,看这一篇就够了

一、rsyslog部署1.1)rsyslog介绍Linux的日志记录了用户在系统上一切操作,看日志去分析系统的状态是运维人员必须掌握的基本功。rsyslog日志服务器的优势:1、日志统一,集中式管理...