百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

Python定时任务,三步实现自动化(三步走战略的第三步将提前多少年实现)

liuian 2025-07-02 22:18 4 浏览


今天的文章源自于工作中的一个小技巧,主要是涉及到日常工作的自动化处理。

如果说你每天都需要做一些重复的工作,比如出一份报告、统计一个数据、发一封邮件等等

那你完全可以把这个任务交给电脑让它每天自动替你完成,而你只需要从容地打开保温杯,静静地泡一杯枸杞

今天主要会用到Linux下的cron这个服务,ok,直接开始

1. 安装cron

基本上所有的Linux发行版在默认情况下都预安装了cron工具。

即使未预装cron,也很简单,执行几条简单的命令就可手动安装

# 检查是否已经预装了cron
service cron status

安装并启动服务

安装:apt-get install cron
启动/停止/重启:service cron start/stop/restart
查询当前任务:crontab -l

2. 安装检查

安装完成后检查一下是否安装成功,同样使用 status命令查看

出现如下提示表示安装成功:

另外,在ubuntu下可能会出现这样的提示:

这个也表示可以正常使用

3. cron用法

有几个关于cron的简单用法可以了解一下,后面也会通过一个案例详细介绍如何使用

首先,列出当前用户计划的cron作业:

crontab -l

查看其它用户的cron作业:

crontab –l –u username

移除已经计划的cron作业:

crontab –r

4. 调度crontab计划

首先,通过如下命令添加或更新crontab中的任务

第一次进入会要求你选择编辑器,这个根据自己的习惯选择。

选择好之后会进入到这样的一个界面:

用过vim的同学应该对这个界面不陌生,类似的操作:按A键开始编辑,按ESC输入wq保存并退出

重点是最下面的一段内容:

m h dom mon dow commmand

这个其实就是crontab调度作业的一个使用介绍,可以用来设置定时任务。

具体一点的语法是这样的:

m h dom mon dow command
* * * * * command
- - - - - -
| | | | | |
| | | | | --- 预执行的命令
| | | | ----- 表示星期0~7(其中星期天可以用0或7表示)
| | | ------- 表示月份1~12
| | --------- 表示日期1~31
| ----------- 表示小时1~23(0表示0点)
------------- 表示分钟1~59 每分钟用*或者 */1表示

举几个简单的应用案例:

  • 每天 02:00 执行任务
0 2 * * * command
  • 每天 5:00和17:00执行任务
0 5,17 * * * command
  • 每 10min 执行一次任务
*/10 * * * * command
  • 在特定的某几个月的周日 17:00 执行任务
0 17 * jan,may,aug sun command

差不多常用的就这些,更多的使用案例还可以参考这个链接:
http://linux.51yip.com/search/crontab

上面案例中的command 表示你具体需要执行的任务,例如打印一段话:

echo "Hello xiaoyi" >> /tmp/test.txt 

或者将这段话输出到txt中:

echo "Hello xiaoyi" >> /tmp/test.txt 

或者是你需要执行一个Python脚本:

python demo.py filepath

后面的filepath表示输入的参数args,这个可能有的同学会用到,例如下面的案例中需要输入文件下载路径。

5. 实战

上面的都搞清楚了,就可以开始今天的重头戏了。

首先我们需要每天从ftp服务器中下载最新的任务数据,将数据下载到本地后通过Python进行数据汇总统计,最后将结果存入数据库中,如果期间某个环节出现问题则发送告警邮件。

① Python脚本

首先需要Python脚本完成以下功能:

  • 从数据库中获取最新数据日期
  • 从ftp中下载最新数据到本地
  • 对本地最新数据进行汇总统计
  • 统计结果存入数据库汇总
  • 邮件通知

上面这个流程大致的伪代码是这样的:

if __name__ == '__main__':
    """获取最新数据日期"""
    latest_date = get_max_date()
    # 以最新日期为名创建文件夹
    download_dir = os.path.join(sys.argv[1], latest_date)
    if not os.path.exists(download_dir):
        os.makedirs(download_dir)
        
    """从ftp中下载最新数据"""
    download_file(latest_date, download_dir)
    """处理最新数据并保存"""
    process_data(latest_date, download_dir)

邮件监控可以在加一个try catch的异常捕获,有异常发生的时候则发送邮件

Python编辑邮件内容并发送以前也有写过,可以参考下面这个:Python邮件发送

②编写cron任务

打开crontab,编辑如下内容到最后一行,保存并退出

crontab是会自动实时更新任务列表的,如果不放心也可以通过restart命令重启cron 服务【参考文章开头】

这里有个小建议,所有的路径都填写绝对路径

③ 效果监控

如果Python代码没有问题,任务会定时执行。

这里建议可以把自己的command单独在控制台运行下,没有问题的时候再写进到cron任务列表红。

最终小一的定时任务运行截图如下:

最下面是ftp文件下载,上面是数据汇总统计

说点题外话

如果说你平时的工作有很多重复的任务,像日常指标的采集、取数汇总统计、邮件自动转发等等

一旦这些工作你可以通过脚本设置好逻辑,自动化任务也就可以实现它,最多就需要你每天注意一下邮件,看看有没有发生错误就行了。


喜欢的老板点个关注呦!

相关推荐

软件测试/测试开发丨Pytest 自动化测试框架(五)

公众号搜索:TestingStudio霍格沃兹测试开发的干货都很硬核测试报告在项目中是至关重要的角色,一个好的测试报告:可以体现测试人员的工作量;开发人员可以从测试报告中了解缺陷的情况;测试经理可以...

python爬虫实战之Headers信息校验-Cookie

一、什么是cookie上期我们了解了User-Agent,这期我们来看下如何利用Cookie进行用户模拟登录从而进行网站数据的爬取。首先让我们来了解下什么是Cookie:Cookie指某些网站为了辨别...

软件测试 | 结合Allure生成测试报告

简介测试报告在项目至关重要,测试人员可以在测试报告中体现自己的工作量,开发人员可以从测试报告中了解缺陷的情况,测试经理可以从测试报告中看到测试人员的执行情况及测试用例的覆盖率,项目负责人可以通过测...

使用FUSE挖掘文件上传漏洞(文件上传漏洞工具)

关于FUSEFUSE是一款功能强大的渗透测试安全工具,可以帮助广大研究人员在最短的时间内迅速寻找出目标软件系统中存在的文件上传漏洞。FUSE本质上是一个渗透测试系统,主要功能就是识别无限制可执行文件上...

第42天,我终于意识到,爬虫这条路,真的好艰难

昨天说到学爬虫的最初四行代码,第四行中的print(res.text),我没太懂。为啥最后的输出的结果,不是显示百度网页全部的源代码呢?这个世界上永远不缺好心人。评论区的大神告诉我:因为只包含静态h...

详解Pytest单元测试框架,轻松搞定自动化测试实战

pytest是目前企业里面使用最多、最流行的Python的单元测试框架,那我们今天就使用这个框架来完成一个网易163邮箱登录的自动化实战案例。下面我们先把我们案例需要的工具进行相关的介绍:01pyt...

干货|Python大佬手把手带你破解哔哩哔哩网滑动验证(上篇)

/1前言/有爬虫经验的各位小伙伴都知道,正常我们需要登录才能获取信息的网站,是比较难爬的。原因就是在于,现在各大网站为了反爬,与爬虫机制斗智斗勇,一般的都加入了图片验证码、滑动验证码之类的干扰,让...

Python 爬虫-如何抓取需要登录的网页

本文是Python爬虫系列第四篇,前三篇快速入口:Python爬虫-开启数据世界的钥匙Python爬虫-HTTP协议和网页基础Python爬虫-使用requests和B...

使用Selenium实现微博爬虫:预登录、展开全文、翻页

前言想实现爬微博的自由吗?这里可以实现了!本文可以解决微博预登录、识别“展开全文”并爬取完整数据、翻页设置等问题。一、区分动态爬虫和静态爬虫1、静态网页静态网页是纯粹的HTML,没有后台数据库,不含程...

从零开始学Python——使用Selenium抓取动态网页数据

1.selenium抓取动态网页数据基础介绍1.1什么是AJAX  AJAX(AsynchronouseJavaScriptAndXML:异步JavaScript和XML)通过在后台与服务器进...

PHP自动测试框架Top 10(php单元测试工具)

对于很多PHP开发新手来说,测试自己编写的代码是一个非常棘手的问题。如果出现问题,他们将不知道下一步该怎么做。花费很长的时间调试PHP代码是一个非常不明智的选择,最好的方法就是在编写应用程序代码之前就...

10款最佳PHP自动化测试框架(php 自动化测试)

为什么测试如此重要?PHP开发新手往往不会测试自己编写的代码,我们中的大多数通过不断测试我们刚刚所编写浏览器窗口的新特性和功能来进行检测,但是当事情出现错误的时候我们往往不知道应该做些什么。为我们的代...

自动化运维:Selenium 测试(seleniumbase搭建自动化测试平台)

本文将以Buddy中的Selenium测试流水线示例,来看看自动化测试就是如此简单易用!Selenium是一套用于浏览器测试自动化的工具。使用Buddy专有服务,您可以直接在Buddy中运行Selen...

Selenium自动化测试(selenium自动化测试工具)

Selenium是一系列基于web的自动化测试工具。它提供了一系列测试函数,用于支持Web自动化测试。这些函数非常灵活,它们能够通过多种方式定位界面元素,并可以将预期结果与系统实际表现进行比较。作为一...

技术分享 | Web自动化之Selenium安装

本文节选自霍格沃兹测试开发学社内部教材Web应用程序的验收测试常常涉及一些手工任务,例如打开一个浏览器,并执行一个测试用例中所描述的操作。但是手工执行的任务容易出现人为的错误,也比较费时间。因此,将...