关于Redis-Lua脚本,你不知道的这些事
liuian 2024-12-25 13:59 23 浏览
概览
Lua 是一个简洁、轻量、可扩展的脚本语言,它有着相对简单的API 因此很容易嵌入应用中,很多应用程序使用Lua作为自己的嵌入式脚本语言,以此来实现可配置性、可扩展性。
Redis 从 2.6 版本开始支持 Lua 脚本,客户端通过 Lua 脚本,可以将多个 Redis 命令组合成一个原子性操作在服务器上执行。
例如使用 Redis 实现分布式锁时,为了保证操作原子性,通常也会使用 Lua 脚本封装锁相关的操作,以下为 Redisson 的加锁脚本实现:
Lua 脚本有以下优点:
?保证操作原子性
?减少网络开销,将多个指令组合到一个脚本中,与服务器的交互从多次变为一次
?可重复使用,在初次载入脚本之后,服务器会为脚本生成缓存,后续执行脚本时可直接使用缓存
基础命令
EVAL 命令:执行指定脚本;
SCRIPT LOAD 命令:加载指定脚本,执行成功后会返回脚本的SHA1校验和;
SCRIPT EXISTS 命令:检查脚本是否存在于服务器,1 表示存在;0 表示不存在;
EVALSHA 命令:指定SHA1校验和,执行对应脚本,这种方式在脚本体量较大时,能很大程度节省网络带宽
实现原理
redis 的 lua 功能的实现包含以下几个核心点:
?lua 环境初始化
?lua 脚本执行
?lua 脚本管理
?lua 脚本复制
下图展示了 lua 环境的初始化,以及 lua 环境与 redis 命令执行器的交互过程。
lua 环境初始化
lua 环境的构建主要包含三部分:基础函数库加载,redis表格加载,定制化函数加载。
基础函数库加载:加载基础函数库,例如字符串库,数学库等,支持 lua 脚本中的一些复杂操作。
redis表格加载:redis表格中包含 redis.call,redis.pcall 等函数,支持 lua 脚本中进行 redis 指令调用。
定制化函数加载:
?自定义随机函数,为了保证相同脚本在不同机器上执行能产生相同的结果,而原始的math.random,math.randomseed函数均不满足要求,故 redis 自定义实现了这两个随机函数
?排序辅助函数,另一个可能产生不一致数据的地方是那些带有不确定性的指令。例如集合中元素是无序排列的,即使两个集合中元素完全相同,最终输出结果的顺序也可能不一致,因此针对那些带有不确定性的指令,redis 会通过排序辅助函数对结果进行排序
?错误报告辅助函数,用于打印脚本执行过程中的错误信息,方便调试
脚本执行
脚本执行的过程主要包含以下三个步骤:
?加载脚本,生成对应的SHA1校验和,并生成脚本缓存
?在 lua 环境中生成脚本函数
?执行脚本函数
例如执行如下脚本:
1.首先会生成该脚本的 SHA1校验和:e17faafbc130014cebb229b71e0148b1f8f52389
2.生成对应的脚本函数,函数命名为 f_SHA1 的形式:f_e17faafbc130014cebb229b71e0148b1f8f52389
后续直接可以直接通过SHA1校验和定位并执行对应的脚本:
另外如果脚本中存在 redis 指令调用,lua 环境会通过一个伪客户端与命令执行器进行交互。
脚本管理
除了脚本执行以外,redis 还提供了几个脚本管理的指令:
?SCRIPT FLUSH,用于清除服务器中所有和Lua脚本有关的信息
?SCRIPT EXISTS,根据输入的SHA1校验和,检查校验和对应的脚本是否存在于服务器中
?SCRIPT LOAD,手动载入脚本,生成对应的SHA1校验和
?SCRIPT KILL,停止脚本执行
SCRIPT KILL 指令的实现相对更复杂一些,流程如下:
?脚本运行时间超出预先设置的 lua-time-limit 时,才允许被 SCRIPT KILL 强行停止脚本
?如果脚本中已经执行过写入操作,则不允许使用 SCRIPT KILL,只能通过 SHUTDOWN nosave 强行停止脚本,从而预防脏数据的写入
脚本复制
脚本复制是指当 Redis 运行在主从模式下时,主机执行了 Lua 脚本命令后,需要把命令及时同步到从机。
主要涉及上面提到的 EVAL,EVALSHA,SCRIPT FLUSH,SCRIPT LOAD 命令。
EVAL,SCRIPT FLUSH,SCRIPT LOAD 这三个命令的复制过程不复杂,与复制普通 Redis 命令的方法一样,当主机执行完这三个命令之后,直接将命令扩散给从机,从机重新执行一遍命令即可。
重点需要关注的是 EVALSHA 命令的复制,因为同样是执行 EVALSHA 命令,在从机上可能出现脚本未找到的错误,如下图所示:
当主机执行完 EVALSHA 0xxx1 命令后,将该命令复制到从机,但从机因为之前没有加载过 0xxx1 对应的脚本,因此执行失败了。
Redis 如何解决 EVALSHA 命令的复制问题呢?
首先 Redis 中维护了两个脚本相关的字典表:
?lua_scripts,维护当前机器已加载的脚本,键保存的是脚本的SHA1校验和,值指向脚本本身
?repl_scriptcache_dict,维护当前机器已同步给从机的脚本,键是脚本的SHA1校验和,值为空
复制过程如下:
?在复制 EVALSHA 命令前,会先检查脚本是否已同步至所有从机,通过 repl_scriptcache_dict 字典查询同步记录
?如果脚本已同步完成,直接复制 EVALSHA 命令,没有问题
?如果脚本未同步完成,则将 EVALSHA 命令转换成 EVAL 命令,重新触发一次从机的脚本同步
另外值得注意的是当有新的从机上线,主机会将 repl_scriptcache_dict 字典清空,为的是重新触发对所有从机的脚本同步。
相关推荐
- Docker 47 个常见故障的原因和解决方法
-
【作者】曹如熙,具有超过十年的互联网运维及五年以上团队管理经验,多年容器云的运维,尤其在Docker和kubernetes领域非常精通。Docker是一种相对使用较简单的容器,我们可以通过以下几种方式...
- 电脑30个快问快答,解决常见电脑问题
-
1.强行关机/停电对电脑有影响吗?答:可能损坏硬盘(机械硬盘风险高)、未保存数据丢失,偶尔一次影响小,但频繁操作会缩短硬件寿命。2.C盘满影响速度吗?答:会!系统运行需C盘空间缓存临时数据,空间不...
- 使用Tcpdump包抓取分析数据包的详细用法
-
TcpDump可以将网络中传送的数据包的“头”完全截获下来提供分析。它支持针对网络层、协议、主机、网络或端口的过滤,并提供and、or、not等逻辑语句来帮助你去掉无用的信息。tcpdump就是一种...
- 电脑启动不了(BootDevice Not Found Hard Disk-3F0)解决方案
-
HP品牌机,开机启动不了,黑屏,开机取下主板电池恢复BIOS后,开机显示找不到启动盘。一、按F2键进入BIOS,出现硬盘内存检测界面的话,直接退出。就会出现这个界面,光标键向下,选择BIOSSetu...
- 电脑开机黑屏别慌!快码住!起底维修老师傅不能说的秘密
-
按下开机键却只收获黑屏大礼包?那些神秘的英文提示、刺耳的蜂鸣声,其实是电脑在给你发送求救信号!从按下电源到进入桌面的12秒里,你的电脑经历了史诗级的硬件自检与系统加载,今天我们就破译这段“摩斯电码”。...
- 电脑启动故障为何总要先看BIOS?新手必读的关键知识解析
-
最近在帮朋友们解答电脑无法正常开机的问题时,发现大家经常收到一句高频建议:“先检查BIOS”。对不少普通用户而言,BIOS依然是个神秘的存在。那么,BIOS到底是什么?电脑出现哪些故障会与它相关呢?本...
- Windows 11 KB5053598更新:安全补丁还是系统噩梦?
-
2025年3月11日,微软发布了Windows1124H2的强制性更新KB5053598,作为“周二补丁日”(PatchTuesday)的一部分。然而,这款本应提升系统安全性的更新却引发了广泛的...
- 飞牛OS入门安装遇到问题,如何解决?
-
之前小编尝试了用旧电脑装飞牛OS安装之前特意查了一些硬件要求飞牛OS目前支持主流的x86架构硬件主机需能连网线飞牛OS暂时不支持只有无线网卡的安装貌似很多小伙伴在一开始安装就卡住了那今天咱们汇总分...
- 几种常见的电脑开机黑屏显示白色英文字母解决方法
-
当电脑开机出现黑屏并显示白色英文字母时,通常表示系统启动过程中遇到了错误。以下是几种常见原因及对应的解决方法,按照排查顺序整理:一、检查外接设备与硬件连接可能原因:外接U盘、移动硬盘等未拔出,或内部硬...
- 电脑启动出现问题,为什么都要先检查BIOS?
-
【ZOL中关村在线原创技巧应用】最近在回答问题的时候,总会发现很多朋友都在问“电脑无法正常开机怎么办?”这样类似的问题,而许多DIY大佬的回复总会出现一条高频建议“先检查BIOS”。但对于许多普通用户...
- 教你怎么用JavaScript检测当前浏览器是无头浏览器
-
什么是无头浏览器(headlessbrowser)?无头浏览器是指可以在图形界面情况下运行的浏览器。我可以通过编程来控制无头浏览器自动执行各种任务,比如做测试,给网页截屏等。为什么叫“无头”浏览器?...
- 12个高效的Python爬虫框架,你用过几个?
-
实现爬虫技术的编程环境有很多种,Java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫,为什么呢?因为Python确实很适合做爬虫,丰富的第三方库十分强大,简单几行代码便可实...
- 运维的报表之路,用 node.js 轻松发送 grafana 报表
-
在运维过程中,无论是监控还是报表,都会有一些通过邮件发送图表的需求,由于开源的zabbix,grafana和kibana等并不完全具有“想发送哪儿就发送哪儿”的图片生成功能,在grafana...
- C#基于浏览器内核的高级爬虫(c#爬取网页内容)
-
基于C#.NET+PhantomJS+Sellenium的高级网络爬虫程序。可执行Javascript代码、触发各类事件、操纵页面Dom结构、甚至可以移除不喜欢的CSS样式。很多网站都用Ajax动态加...
- 如何优化一个秒杀项目?(秒杀实现思路)
-
问题1:使用jmeter性能压测,定位瓶颈代码步骤流程:线程组--->Http请求--->查看结果树--->聚合报告tips:host的文件--->优先调用映射,减少DNS的时...
- 一周热门
-
-
Python实现人事自动打卡,再也不会被批评
-
Psutil + Flask + Pyecharts + Bootstrap 开发动态可视化系统监控
-
一个解决支持HTML/CSS/JS网页转PDF(高质量)的终极解决方案
-
【验证码逆向专栏】vaptcha 手势验证码逆向分析
-
再见Swagger UI 国人开源了一款超好用的 API 文档生成框架,真香
-
网页转成pdf文件的经验分享 网页转成pdf文件的经验分享怎么弄
-
C++ std::vector 简介
-
python使用fitz模块提取pdf中的图片
-
《人人译客》如何规划你的移动电商网站(2)
-
Jupyterhub安装教程 jupyter怎么安装包
-
- 最近发表
- 标签列表
-
- python判断字典是否为空 (50)
- crontab每周一执行 (48)
- aes和des区别 (43)
- bash脚本和shell脚本的区别 (35)
- canvas库 (33)
- dataframe筛选满足条件的行 (35)
- gitlab日志 (33)
- lua xpcall (36)
- blob转json (33)
- python判断是否在列表中 (34)
- python html转pdf (36)
- 安装指定版本npm (37)
- idea搜索jar包内容 (33)
- css鼠标悬停出现隐藏的文字 (34)
- linux nacos启动命令 (33)
- gitlab 日志 (36)
- adb pull (37)
- table.render (33)
- uniapp textarea (33)
- python判断元素在不在列表里 (34)
- python 字典删除元素 (34)
- react-admin (33)
- vscode切换git分支 (35)
- vscode美化代码 (33)
- python bytes转16进制 (35)