轻松瘦身:揭秘 Docker 镜像优化之旅
liuian 2025-01-26 23:21 16 浏览
引言
在当前迅速演变的软件开发行业中,Docker 以其简洁高效的容器技术,已成为编程人员和系统管理者的有力工具。但随着项目规模的增长和应用的多样化,Docker 镜像的体积问题开始变得突出,这成为了影响部署速度和成本管理的一个主要障碍。本文的目的是分享一段关于优化 Docker 镜像大小的实践经验,以帮助读者轻松地为镜像"减肥"。
在一次针对 Web 应用的 Docker 镜像优化中,我们通过优化基础镜像将后端 Python 镜像大小从 464MB 减少到了 315MB,Nginx 镜像从 135MB 减少到了 13.1MB,同时保持了应用的完整性和性能。
Docker 镜像基础知识
- Dockerfile 包含了一系列指令,每条指令对应镜像构建过程中的一个层级。这些指令详细定义了每层的构建方法。
- Docker 镜像不是一个单一文件,而是由多个文件构成的集合,其中最关键的是层(Layers)。
- 在镜像构建过程中,每一层都是基于前一层构建的。一旦一层构建完成,它就会固定下来,不再改变。在后续层中进行的任何修改,如删除前一层的文件,实际上只是在这一层标记文件为删除状态,而不是真正从之前的层中移除。当容器运行时,虽然用户看不到这些被标记为删除的文件,但它们仍然作为镜像的一部分存在。
- 镜像的每层都可以被缓存和重用,这也是为什么从第二次构建开始,速度会显著提升的原因。利用缓存机制来优化构建速度的原理,正是基于这一特性。
- 如果 Dockerfile 中的指令发生变化,或者在构建镜像时使用的文件或变量有所变动,那么相应的镜像层的缓存就会失效。Docker 通过一种机制来判断文件是否发生了变化:它会获取 Dockerfile 的内容(包括文件的部分 inode 信息),并计算出一个唯一的 hash 值。如果这个 hash 值没有变化,就认为文件内容未变,可以利用缓存;如果 hash 值变化了,则认为有变动,需要重新构建。
- 一旦某一层的镜像缓存失效,那么它之后的所有层的缓存也会随之失效。
- 镜像的每一层仅记录了文件的变更。当容器启动时,Docker 会综合所有层的变更,计算并构建出一个完整的文件系统。
明白了,镜像是由多个层级构成的文件系统。为了减小镜像的体积,关键在于减少层的数量,确保每一层只包含必要的内容。在每层构建完成后,应该及时清理掉所有不必要的文件。接下来,让我们进入正题。
优化前的准备工作
在着手优化之前,我们首先对现有的 Docker 镜像进行了彻底的测试和备份。选择一个合适的基础镜像是优化的第一步,因为它直接影响到最终镜像的大小和性能。我们通过分析现有的镜像结构,确定了优化的目标和方向。
优化策略与方法
- 清理不必要的文件 我们通过验证程序依赖库、非必要文件拷贝等,如临时文件、编译输出等,从而减少了镜像的体积。
- 合并镜像层 通过采用多阶段构建的方法,我们将编译和运行阶段分离,大大减少了最终镜像的层数。此外,我们还利用了一些工具,如buildah和dockerSlim,来进一步合并和压缩镜像层。
- 优化基础镜像和压缩软件包和依赖 在构建过程中,我们使用了像Alpine Linux这样的轻量级基础镜像,并移除了不必要的软件包和依赖,以减少镜像体积。 选择合适的基础镜像可以减小镜像大小,并确保基础镜像的安全性和更新性。Alpine、Ubuntu Minimal 等轻量级基础镜像是常用选择。
- 优化软件配置 我们还对容器内运行的软件进行了配置优化,关闭了不必要的服务和功能,以减少资源占用和提高安全性。
实践案例分析[使用 Alpine 版本]
这个过程中,我们遇到了一些挑战,比如如何确保多阶段构建的正确性和如何保持镜像的安全性。通过不断的测试和调整,我们最终成功地解决了这些问题。
优化前体积
优化前体积
优化前 dockerfile
FROM python:3.9.16-slim
RUN sed -i s@/deb.debian.org/@/mirrors.aliyun.com/@g /etc/apt/sources.list && set -ex \
&&apt-get update\
&&apt-get install gcc -y\
&&apt-get install git curl -y
# 设定时区
#ENV TZ=Asia/Shanghai
#RUN cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
COPY backend/ /app
COPY config/ /config
# 再次切换工作目录为Django主目录
WORKDIR /app
# 安装项目所需python第三方库
# 指定setuptools的版本,必须指定,新版本有兼容问题
RUN set -ex \
&&pip install --upgrade pip \
&&pip install setuptools_scm -i https://mirrors.aliyun.com/pypi/simple/ \
&&pip install --no-cache-dir -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ \
&& rm -rf /var/cache/yum/* \
&& python manage.py collectstatic --noinput
EXPOSE 8001
EXPOSE 8000
EXPOSE 5555
CMD ["sh", "start.sh", "web"]
优化后体积
第一次优化后体积
优化后 dockerfile
FROM python:3.9.16-alpine3.16
RUN apk --update add gcc g++ git curl build-base musl-dev linux-headers
COPY backend/ /app
COPY config/ /config
# 再次切换工作目录为Django主目录
WORKDIR /app
# 安装项目所需python第三方库
# 指定setuptools的版本,必须指定,新版本有兼容问题
RUN set -ex \
&&pip install --upgrade pip \
&&pip install setuptools_scm==7.1.0 -i https://mirrors.aliyun.com/pypi/simple/ \
&&pip install --no-cache-dir -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ \
&& rm -rf /var/cache/yum/* \
&& python manage.py collectstatic --noinput
EXPOSE 8001
EXPOSE 8000
EXPOSE 5555
CMD ["sh", "start.sh", "web"]
做了哪些工作?
本次优化过程中,我们仅仅优化了基础镜像,后端从python:3.9.16-slim 改成了 alpine 版本的python:3.9.16-alpine3.16 ,nginx 从nginx:1.20.1改成了 alpine 版本的nginx:stable-alpine3.17-slim
遇到的问题
- 因 linux 发行版的不一致,安装命令也做了一些调整,apt 调整成 apk
- alpine 发行版的很多 linux 库是精简的,需要安装特殊适配的包
遇到问题的解决方案
使用 apk 安装如下包 apk --update add gcc g++ git curl build-base musl-dev linux-headers
优化后的测试与验证
优化完成后,我们对新的镜像进行了详尽的测试,包括功能测试、性能测试和安全测试。这些测试确保了优化后的镜像不仅体积更小,而且运行稳定,满足了生产环境的要求。
最后
文章有错误的地方欢迎指正,避免给人造成困惑
相关推荐
- C/C++恶意代码盘点(一):进程遍历丨木马病毒丨密码记录
-
恶意代码的分类包括计算机病毒、蠕虫、木马、后门、Rootkit、流氓软件、间谍软件、广告软件、僵尸(bot)、Exploit等等,有些技术经常用到,有的也是必然用到。恶意代码常见功能技术如下:进程遍...
- 跨越十年的C++演进:C++11新特性全解析
-
原作者:Linux教程,原文「链接」:https://mp.weixin.qq.com/s/oFbiFlqiwgVcJIMMvTelEA很多刚刚进入C++领域的朋友,最初是从C语言转过来的。因...
- 如何在C#中调用C++方法(c#调用c++的类)
-
主要方式C#主要通过两种方式提供对非托管代码的调用,第一种是使用平台调用(PlatformInvoke,P/Invoke),第二种是使用不安全代码(unsafe),日常开发中我们使用最多的就是第一种...
- C语言字符数组和字符串(c语言字符数组和字符串数组)
-
用来存放字符的数组称为字符数组,例如:charc[10];字符数组也可以是二维或多维数组。例如:charc[5][10];字符数组也允许在定义时进行初始化,例如:charc[10]={'c',...
- C语言指针,如何操作字符串?linux C第45讲
-
1指针操作字符串在学习数组的时候,我们了解了字符串的定义,我们可以定义一个字符数组,用来存放一个字符串,例如:chararray[]={"abcde"};charbuf[]=...
- 信奥赛C++常用的算法总结(信息学奥赛c语言和c++有什么区别)
-
1、桶排序核心:①创建盛下所有数的数组②将每个数作为编号放入桶里优点:稳定、简单、容易考缺点:空间复杂度较大,时间复杂度较大。#include<bits/stdc++.h>usingn...
- Arduino 使用 C 字符串(arduino 字符串 数组)
-
问题您想了解如何使用原始字符字符串:创建字符串、查找其长度以及比较、复制或附加字符串。核心C语言不支持Arduino样式的String功能,因此您想了解针对基本字符数组编写的其他平台的代码...
- C++20 四大特性之一:Module 特性详解
-
C++20最大的特性是什么?最大的特性是迄今为止没有哪一款编译器完全实现了所有特性。文章来源:网易云信有人认为C++20是C++11以来最大的一次改动,甚至比C++11还要大。本文仅介绍...
- C/C++的const常量总结(c++语言const)
-
“所谓常量,就是在代码运行过程中值恒定不变的标识符,该标识符的值可以是一个常数,也可以是字符串。”在C/C++中,通常使用define宏定义或者const来定义常量,比如:#definePI3....
- 学习分享 | 通过C++python的对比,帮你快速入门python
-
一、前言对于只接触过静态语言,而从未使用过动态语言的人来说,第一次看到python的语法可能会大为惊叹。不用申明变量类型?不用等老半天编译完成就能直接运行?不用小心的维护指针?还不用写CMakelis...
- 字符串常量,C语言字符串常量详解
-
字符常量是由一对单撇号括起来的单个字符,如'a'、'D'、'?'、'#39;。在C语言中,除了字符常量外还有字符串常量,顾名思义就是多个“...
- C/C++中的内存四区(c++的内存区域分为)
-
1代码区存放CPU执行的机器指令。通常代码区是可共享的(即另外的执行程序可以调用它),使其可共享的目的是对于频繁被执行的程序,只需要在内存中有一份代码即可。代码区通常是只读的,使其只读的原因是防...
- 通过pybind11来实现python调用C++接口(一)
-
有小伙伴很好奇,怎么样实现python调用C++接口?哈哈,手把手教程来了。第一步:我们需要安装pybind11这个纯头文件的库,目前该库支持c++11及以上版本,在你的环境中通过命令行输入:apt-...
- 深入了解C++如何注释以及在哪儿注释-开课吧广场
-
注释虽然写起来很痛苦,但对保证代码可读性至关重要,同时这也是每一个C++开发工程师所需要做好的事情。那么C++开发过程中该如何注释?应该在哪写注释呢?关于注释风格,很多C++的Coders更喜欢行注释...
- C++核心知识点速查手册(实用重点版)
-
一、基础必备核心1.指针与引用(遥控器原理)指针:存储地址的变量(像电视遥控器)inttv=100;//电视机int*remote=&tv;//遥控器指向电视*...
- 一周热门
-
-
Python实现人事自动打卡,再也不会被批评
-
【验证码逆向专栏】vaptcha 手势验证码逆向分析
-
Psutil + Flask + Pyecharts + Bootstrap 开发动态可视化系统监控
-
一个解决支持HTML/CSS/JS网页转PDF(高质量)的终极解决方案
-
再见Swagger UI 国人开源了一款超好用的 API 文档生成框架,真香
-
网页转成pdf文件的经验分享 网页转成pdf文件的经验分享怎么弄
-
C++ std::vector 简介
-
系统C盘清理:微信PC端文件清理,扩大C盘可用空间步骤
-
10款高性能NAS丨双十一必看,轻松搞定虚拟机、Docker、软路由
-
python使用fitz模块提取pdf中的图片
-
- 最近发表
- 标签列表
-
- python判断字典是否为空 (50)
- crontab每周一执行 (48)
- aes和des区别 (43)
- bash脚本和shell脚本的区别 (35)
- canvas库 (33)
- dataframe筛选满足条件的行 (35)
- gitlab日志 (33)
- lua xpcall (36)
- blob转json (33)
- python判断是否在列表中 (34)
- python html转pdf (36)
- 安装指定版本npm (37)
- idea搜索jar包内容 (33)
- css鼠标悬停出现隐藏的文字 (34)
- linux nacos启动命令 (33)
- gitlab 日志 (36)
- adb pull (37)
- table.render (33)
- python判断元素在不在列表里 (34)
- python 字典删除元素 (34)
- vscode切换git分支 (35)
- python bytes转16进制 (35)
- grep前后几行 (34)
- hashmap转list (35)
- c++ 字符串查找 (35)