百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

关于Redis-Lua脚本,你不知道的这些事

liuian 2024-12-25 13:59 50 浏览

概览

Lua 是一个简洁、轻量、可扩展的脚本语言,它有着相对简单的API 因此很容易嵌入应用中,很多应用程序使用Lua作为自己的嵌入式脚本语言,以此来实现可配置性、可扩展性。

Redis 从 2.6 版本开始支持 Lua 脚本,客户端通过 Lua 脚本,可以将多个 Redis 命令组合成一个原子性操作在服务器上执行。

例如使用 Redis 实现分布式锁时,为了保证操作原子性,通常也会使用 Lua 脚本封装锁相关的操作,以下为 Redisson 的加锁脚本实现:

Lua 脚本有以下优点:

?保证操作原子性

?减少网络开销,将多个指令组合到一个脚本中,与服务器的交互从多次变为一次

?可重复使用,在初次载入脚本之后,服务器会为脚本生成缓存,后续执行脚本时可直接使用缓存

基础命令

EVAL 命令:执行指定脚本;

SCRIPT LOAD 命令:加载指定脚本,执行成功后会返回脚本的SHA1校验和;

SCRIPT EXISTS 命令:检查脚本是否存在于服务器,1 表示存在;0 表示不存在;

EVALSHA 命令:指定SHA1校验和,执行对应脚本,这种方式在脚本体量较大时,能很大程度节省网络带宽

实现原理

redis 的 lua 功能的实现包含以下几个核心点:

?lua 环境初始化

?lua 脚本执行

?lua 脚本管理

?lua 脚本复制

下图展示了 lua 环境的初始化,以及 lua 环境与 redis 命令执行器的交互过程。

lua 环境初始化

lua 环境的构建主要包含三部分:基础函数库加载,redis表格加载,定制化函数加载。

基础函数库加载:加载基础函数库,例如字符串库,数学库等,支持 lua 脚本中的一些复杂操作。

redis表格加载:redis表格中包含 redis.call,redis.pcall 等函数,支持 lua 脚本中进行 redis 指令调用。

定制化函数加载:

?自定义随机函数,为了保证相同脚本在不同机器上执行能产生相同的结果,而原始的math.random,math.randomseed函数均不满足要求,故 redis 自定义实现了这两个随机函数

?排序辅助函数,另一个可能产生不一致数据的地方是那些带有不确定性的指令。例如集合中元素是无序排列的,即使两个集合中元素完全相同,最终输出结果的顺序也可能不一致,因此针对那些带有不确定性的指令,redis 会通过排序辅助函数对结果进行排序

?错误报告辅助函数,用于打印脚本执行过程中的错误信息,方便调试

脚本执行

脚本执行的过程主要包含以下三个步骤:

?加载脚本,生成对应的SHA1校验和,并生成脚本缓存

?在 lua 环境中生成脚本函数

?执行脚本函数

例如执行如下脚本:

1.首先会生成该脚本的 SHA1校验和:e17faafbc130014cebb229b71e0148b1f8f52389

2.生成对应的脚本函数,函数命名为 f_SHA1 的形式:f_e17faafbc130014cebb229b71e0148b1f8f52389

后续直接可以直接通过SHA1校验和定位并执行对应的脚本:

另外如果脚本中存在 redis 指令调用,lua 环境会通过一个伪客户端与命令执行器进行交互。

脚本管理

除了脚本执行以外,redis 还提供了几个脚本管理的指令:

?SCRIPT FLUSH,用于清除服务器中所有和Lua脚本有关的信息

?SCRIPT EXISTS,根据输入的SHA1校验和,检查校验和对应的脚本是否存在于服务器中

?SCRIPT LOAD,手动载入脚本,生成对应的SHA1校验和

?SCRIPT KILL,停止脚本执行

SCRIPT KILL 指令的实现相对更复杂一些,流程如下:

?脚本运行时间超出预先设置的 lua-time-limit 时,才允许被 SCRIPT KILL 强行停止脚本

?如果脚本中已经执行过写入操作,则不允许使用 SCRIPT KILL,只能通过 SHUTDOWN nosave 强行停止脚本,从而预防脏数据的写入

脚本复制

脚本复制是指当 Redis 运行在主从模式下时,主机执行了 Lua 脚本命令后,需要把命令及时同步到从机。

主要涉及上面提到的 EVAL,EVALSHA,SCRIPT FLUSH,SCRIPT LOAD 命令。

EVAL,SCRIPT FLUSH,SCRIPT LOAD 这三个命令的复制过程不复杂,与复制普通 Redis 命令的方法一样,当主机执行完这三个命令之后,直接将命令扩散给从机,从机重新执行一遍命令即可。

重点需要关注的是 EVALSHA 命令的复制,因为同样是执行 EVALSHA 命令,在从机上可能出现脚本未找到的错误,如下图所示:

当主机执行完 EVALSHA 0xxx1 命令后,将该命令复制到从机,但从机因为之前没有加载过 0xxx1 对应的脚本,因此执行失败了。

Redis 如何解决 EVALSHA 命令的复制问题呢?

首先 Redis 中维护了两个脚本相关的字典表:

?lua_scripts,维护当前机器已加载的脚本,键保存的是脚本的SHA1校验和,值指向脚本本身

?repl_scriptcache_dict,维护当前机器已同步给从机的脚本,键是脚本的SHA1校验和,值为空

复制过程如下:

?在复制 EVALSHA 命令前,会先检查脚本是否已同步至所有从机,通过 repl_scriptcache_dict 字典查询同步记录

?如果脚本已同步完成,直接复制 EVALSHA 命令,没有问题

?如果脚本未同步完成,则将 EVALSHA 命令转换成 EVAL 命令,重新触发一次从机的脚本同步

另外值得注意的是当有新的从机上线,主机会将 repl_scriptcache_dict 字典清空,为的是重新触发对所有从机的脚本同步。

相关推荐

怎样解除自动关机模式(怎样解除自动开关机)

1、打开手机主界面,找到系统自带的“时钟”应用,点击打开它。2、点击进入时钟后,点击右下角的“计时器”。3、进入到计时器后,点击“在计时结束启用雷达”这个选项。4、然后在这里,下拉到最下面,勾选“停...

电脑最高配置是什么配置2025

一,2023最新主流电脑装机配置如下。二,处理器可以使用十二代的i512400或者i512490f,内存16gb双通道,显卡rtx3060,主板可以使用b660m或者h610m。三,如果十三代酷睿...

MySQL慢查询优化:从explain到索引,DBA手把手教你提升10倍性能

数据库性能是应用系统的生命线,而慢查询就像隐藏在系统中的定时炸弹。某电商平台曾因一条未优化的SQL导致订单系统响应时间从200ms飙升至8秒,最终引发用户投诉和订单流失。今天我们就来系统学习MySQL...

一文读懂SQL五大操作类别(DDL/DML/DQL/DCL/TCL)的基础语法

在SQL中,DDL、DML、DQL、DCL、TCL是按操作类型划分的五大核心语言类别,缩写及简介如下:DDL(DataDefinitionLanguage,数据定义语言):用于定义和管理数据库结构...

闲来无事,学学Mysql增、删,改,查

Mysql增、删,改,查1“增”——添加数据1.1为表中所有字段添加数据1.1.1INSERT语句中指定所有字段名语法:INSERTINTO表名(字段名1,字段名2,…)VALUES(值1...

数据库:MySQL 高性能优化规范建议

数据库命令规范所有数据库对象名称必须使用小写字母并用下划线分割所有数据库对象名称禁止使用MySQL保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来)数据库对象的命名要能做到见名识意,...

下载工具合集_下载工具手机版

迅雷,在国内的下载地位还是很难撼动的,所需要用到的地方还挺多。缺点就是不开会员,软件会限速。EagleGet,全能下载管理器,支持HTTP(S)FTPMMSRTSP协议,也可以使用浏览器扩展检测...

mediamtx v1.15.2 更新详解:功能优化与问题修复

mediamtxv1.15.2已于2025年10月14日发布,本次更新在功能、性能优化以及问题修复方面带来了多项改进,同时也更新了部分依赖库并提升了安全性。以下为本次更新的详细内容:...

声学成像仪:泄露监测 “雷达” 方案开启精准防控

声学成像仪背景将声像图与阵列上配装的摄像实所拍的视频图像以透明的方式叠合在一起,就形成了可直观分析被测物产生状态。这种利用声学、电子学和信息处理等技术,变换成人眼可见的图像的技术可以帮助人们直观地认识...

最稳存储方案:两种方法将摄像头接入威联通Qu405,录像不再丢失

今年我家至少被4位邻居敲门,就是为了查监控!!!原因是小区内部监控很早就停止维护了,半夜老有小黄毛掰车门偷东西,还有闲的没事划车的,车主损失不小,我家很早就配备监控了,人来亮灯有一定威慑力,不过监控设...

离岗检测算法_离岗检查内容

一、研发背景如今社会许多岗位是严禁随意脱离岗位的,如塔台、保安室、监狱狱警监控室等等,因为此类行为可能会引起重大事故,而此类岗位监督管理又有一定困难,因此促生了智能视频识别系统的出现。二、产品概述及工...

消防安全通道占用检测报警系统_消防安全通道占用检测报警系统的作用

一、产品概述科缔欧消防安全通道占用检测报警系统,是创新行业智能监督管理方式、完善监管部门动态监控及预警预报体系的信息化手段,是实现平台远程监控由“人为监控”向“智能监控”转变的必要手段。产品致力于设...

外出住酒店、民宿如何使用手机检测隐藏的监控摄像头

最近,一个家庭在他们的民宿收到了一个大惊喜:客厅里有一个伪装成烟雾探测器的隐藏摄像头,监视着他们的一举一动。隐藏摄像头的存在如果您住在酒店或民宿,隐藏摄像头不应再是您的担忧。对于民宿,房东应报告所有可...

基于Tilera众核平台的流媒体流量发生系统的设计

曾帅,高宗彬,赵国锋(重庆邮电大学通信与信息工程学院,重庆400065)摘要:设计了一种基于Tilera众核平台高强度的流媒体流量发生系统架构,其主要包括:系统界面管理模块、服务承载模块和流媒体...

使用ffmpeg将rtsp流转流实现h5端播放

1.主要实现rtsp转tcp协议视频流播放ffmpeg下载安装(公认业界视频处理大佬)a、官网地址:www.ffmpeg.org/b、gitHub:github.com/FFmpeg/FFmp…c、推...