百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

使用 Hooks 自动化无聊的任务(自定义hooks的坑)

liuian 2025-01-23 18:42 15 浏览

每日分享最新,最流行的软件开发知识与最新行业趋势,希望大家能够一键三连,多多支持,跪求关注,点赞,留言。

GitGuardian 的技术主管之一 Sofien 描述了如何使用预提交挂钩来节省时间并保护公司范围内的提交。

大多数开发人员讨厌做可以自动化的事情。

正如这条推文所强调的,我们经常不得不接受我们做不到这一点。幸运的是,在代码审查的情况下,很多事情确实可以自动化。正如我以前的 CTO 曾经告诉我的那样:

生命太短暂,无法回顾空间!

在开发人员的手指和审阅者的眼睛之间,可以通过两个主要步骤来完成此自动审阅过程:

  • Pre-commit hooks
  • CI jobs

在本文中,我们将重点介绍预提交步骤。我们将看到如何安装和设置预提交钩子,并列出我们在 GitGuardian 使用的前 8 个钩子。

如何设置提交挂钩

从git book中,git hooks 是a way to fire off custom scripts when certain important actions occur.

在预提交钩子的情况下——顾名思义——脚本在提交之前运行,如果它不符合我们的要求,我们可以阻止它。在这一步启动脚本的主要优点是它们甚至可以在进入版本控制系统之前检测到问题,让我们轻松修复它们甚至自动修复它们。

在 GitGuardian,我们使用pre-commitPython 编写的预提交钩子的多语言包管理器。它使在我们的组织中安装和共享钩子变得容易。您会发现用其他语言(例如JavaScript)编写的不错的替代方案。a husky

建立:

  1. 添加pre-commit您的 requirements.txt 或您的 Pipfile(在开发部分中)。
  2. 添加包含所需挂钩列表的预提交配置文件.pre-commit-config.yaml。这是文档中的一个示例:

repos:- repo: https://github.com/pre-commit/pre-commit-hooks rev: v2.3.0 hooks: - id: check-yaml - id: end-of-file-fixer - id: trailing-whitespace- repo: https://github.com/psf/black rev: 21.12b0 hooks: - id: black


您可以在此处找到常用钩子列表。

3.pre-commit install在您的 Python 环境中运行。

而已!从现在开始,当你运行时the git commit,所有的钩子都会被启动。

我们在 GitGuardian 使用的预提交挂钩

让我们从格式化程序钩子开始。正如本文的标题所暗示的那样,在审查代码时,我们最不想要的就是专注于格式化让自己感到疲倦。这就是我们安装以下钩子的原因:

片状8

- repo: https://github.com/PyCQA/flake8 rev: 4.0.1 hooks: - id: flake8 args: [--config, backend/setup.cfg] additional_dependencies: [ggflake8==1.2.1]


flake8解析修改后的 python 文件以确保遵循 PEP8 指南,如果不是这种情况,则阻止提交。最重要的是,我们开发了自己的flake8插件,我们将其命名 ggflake8为强制执行一组自定义规则,例如:

  • 所有 20 行或更多的函数都必须有一个文档字符串。
  • 具有 3 个或更多参数的函数必须使用命名参数。
  • 测试文档字符串必须遵循Gherkin“GIVEN/WHEN/THEN”格式。

black


- repo: https://github.com/psf/black rev: 22.3.0 hooks: - id: black args: [--config, backend/pyproject.toml]


我们选择在 flake8 之上添加这个自以为是的格式化程序,以消除所有关于格式化的讨论。正如他们的文件所说:

Black 是毫不妥协的 Python 代码格式化程序。使用它,您同意放弃对手动格式化细节的控制。黑色为您提供速度、确定性和免于pycodestyle对格式唠叨的自由。你会为更重要的事情节省时间和精力。

其他不错的选择包括pylint和autopep8

isort

- repo: https://github.com/pycqa/isort rev: 5.10.1 hooks: - id: isort args: [--settings-path, backend/pyproject.toml]


他们的文件说:“对你的进口进行分类,所以你不必这样做。” 这是一个方便的 Python 实用程序,它将通过按字母顺序对导入进行排序并按部分和类型分隔它们来处理导入的格式。少一件需要担心的事!

prettier

- repo: https://github.com/pre-commit/mirrors-prettier rev: v2.5.1 hooks: - id: prettier

prettier并eslint用于格式化我们的 JSON、YAML 和 markdown 文件。

check-*

- repo: https://github.com/pre-commit/pre-commit-hooks rev: v4.1.0 hooks: - id: check-json - id: check-yaml - id: check-added-large-files


第一组钩子检查 JSON 和 YAML 文件的语法,同时check-added-large-files确保没有人错误地提交一个巨大的文件。

commitizen

- repo: https://github.com/Woile/commitizen rev: v2.20.3 hooks: - id: commitizen stages: [commit-msg]


commitizen确保我们的提交消息符合我们公司的要求,这是一种源自语义发布的格式,我们还需要在其中放置相关的 GitLab 问题编号。这是一个有效的 GitGuardian 提交消息的示例:

chore(pre-commit): #2345 add commitizen hook

codespell

- repo: https://github.com/codespell-project/codespell rev: v2.1.0 hooks: - id: codespell

codespell 检查拼写错误。我们之所以选择这个工具,是因为它基于常见错别字列表,可以将误报的数量降至最低。

结果证明这是一个非常有用的工具:不必因为一个小错误而拒绝你同事的 MR,真是一种解脱!

ggshield

- repo: https://github.com/gitguardian/gg-shield rev: v1.12.0 hooks: - id: ggshield


不使用我们自己的软件有多傻?

预提交钩子也是运行安全测试的好地方。与所有测试一样,越早发现问题越好。对于可能产生灾难性影响的安全问题尤其如此。

ggshield是我们在 GitGuardian 开发的用于帮助保护代码库的工具之一。集成为一个钩子,它将扫描 git 补丁的内容,以确保它不包含任何秘密,如 API 令牌。

用法

现在我们已经安装和设置了预提交钩子,每次我们尝试提交时都会运行它们:

钩子在提交后运行(此处跳过,因为没有文件)

但是,如果出于任何原因,您想跳过一个或所有挂钩,您可以轻松地做到这一点

  • 只需添加-n参数:git commit -m "message" -n
  • 要只跳过一个钩子,请使用:SKIP=flake8 git commit -m "message"

结论

预提交钩子在任何项目中都是必不可少的,因为它们易于设置并提供巨大的价值。使用过一次之后,我会说——在我看来——不使用它们几乎和不使用 Git 一样疯狂!(有点夸张,但你明白了;))

尽管如此,此工具并非万无一失,因为它可以轻松跳过或根本不安装。这就是为什么维护 CI 服务器端测试和作业很重要,尤其是与安全相关的测试和作业。预提交钩子和 CI 作业是互补的。它还表明,对于安全测试来说,扫描 VCS 服务器端的补充解决方案仍然是必要的。

相关推荐

【常识】如何优化Windows 7

优化Windows7可以让这个经典系统运行更流畅,特别是在老旧硬件上。以下是经过整理的实用优化方案,分为基础优化和进阶优化两部分:一、基础优化(适合所有用户)1.关闭不必要的视觉效果右键计算机...

系统优化!Windows 11/10 必做的十个优化配置

以下是为Windows10/11用户整理的10个必做优化配置,涵盖性能提升、隐私保护和系统精简等方面,操作安全且无需第三方工具:1.禁用不必要的开机启动项操作路径:`Ctrl+S...

最好用音频剪辑的软件,使用方法?

QVE音频剪辑是一款简单实用的软件,功能丰富,可编辑全格式音频。支持音频转换、合并、淡入淡出、变速、音量调节等,无时长限制,用户可自由剪辑。剪辑后文件音质无损,支持多格式转换,便于存储与跨设备播放,满...

Vue2 开发总踩坑?这 8 个实战技巧让代码秒变丝滑

前端开发的小伙伴们,在和Vue2打交道的日子里,是不是总被各种奇奇怪怪的问题搞得头大?数据不响应、组件传值混乱、页面加载慢……别慌!今天带来8个超实用的Vue2实战技巧,每一个都能直击痛...

Motion for Vue:为Vue量身定制的强大动画库

在前端开发中,动画效果是提升用户体验的重要手段。Vue生态系统中虽然有许多动画库,但真正能做到高性能、易用且功能丰富的并不多。今天,我们要介绍的是MotionforVue(motion-v),...

CSS view():JavaScript 滚动动画的终结

前言CSSview()方法可能会标志着JavaScript在制作滚动动画方面的衰落。如何用5行CSS代码取代50多行繁琐的JavaScript,彻底改变网页动画每次和UI/U...

「大数据」 hive入门

前言最近会介入数据中台项目,所以会推出一系列的跟大数据相关的组件博客与文档。Hive这个大数据组件自从Hadoop诞生之日起,便作为Hadoop生态体系(HDFS、MR/YARN、HIVE、HBASE...

青铜时代的终结:对奖牌架构的反思

作者|AdamBellemare译者|王强策划|Tina要点运维和分析用例无法可靠地访问相关、完整和可信赖的数据。需要一种新的数据处理方法。虽然多跳架构已经存在了几十年,并且可以对...

解析IBM SQL-on-Hadoop的优化思路

对于BigSQL的优化,您需要注意以下六个方面:1.平衡的物理设计在进行集群的物理设计需要考虑数据节点的配置要一致,避免某个数据节点性能短板而影响整体性能。而对于管理节点,它虽然不保存业务数据,但作...

交易型数据湖 - Apache Iceberg、Apache Hudi和Delta Lake的比较

图片由作者提供简介构建数据湖最重要的决定之一是选择数据的存储格式,因为它可以大大影响系统的性能、可用性和兼容性。通过仔细考虑数据存储的格式,我们可以增强数据湖的功能和性能。有几种不同的选择,每一种都有...

深入解析全新 AWS S3 Tables:重塑数据湖仓架构

在AWSre:Invent2024大会中,AWS发布了AmazonS3Tables:一项专为可扩展存储和管理结构化数据而设计的解决方案,基于ApacheIceberg开放表格...

Apache DataFusion查询引擎简介

简介DataFusion是一个查询引擎,其本身不具备存储数据的能力。正因为不依赖底层存储的格式,使其成为了一个灵活可扩展的查询引擎。它原生支持了查询CSV,Parquet,Avro,Json等存储格式...

大数据Hadoop之——Flink Table API 和 SQL(单机Kafka)

一、TableAPI和FlinkSQL是什么TableAPI和SQL集成在同一套API中。这套API的核心概念是Table,用作查询的输入和输出,这套API都是批处理和...

比较前 3 名Schema管理工具

关注留言点赞,带你了解最流行的软件开发知识与最新科技行业趋势。在本文中,读者将了解三种顶级schema管理工具,如AWSGlue、ConfluentSchemaRegistry和Memph...

大数据技术之Flume

第1章概述1.1Flume定义Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。1.2Flume的优点1.可以和...