三十五、SparkSQL: RDD、DataFrame和Dataset的关系
liuian 2025-07-27 22:00 70 浏览
在SparkSQL中,在Spark1.3版本时为SparkSQL提供了一种新的数据集结构DataFrame, 而从Spark1.6开始提供了一种新的弹性的、懒执行的、分布式的抽象数据集Dataset,那么它与RDD之前有着什么样的关联呢?
来看看源码中的介绍:
1.RDD、DataFrame和Dataset
- RDD
- RDD是一个弹性的、可容错的分布式的数据集,在Spark中是最基本的抽象,它代表一个不可变的,可并行化操作的分区集合。
- RDD提供了基本的转换操作,比如map, filter等算子。
- RDD有五大特性:
- RDD由一系列分区组成
- 提供了方法、操作作用于于每一个split
- RDD之间有依赖关系
- 分区器是作用于key-value格式的RDD上
- 为每个split,提供了最佳的计算位置信息
- DataFrame
- DataFrame也是一个弹性的,分布式的,懒执行的抽象的数据集容器。
- DataFrame更像传数据库中的二维表,除了存储数据的计算逻辑外,它还记录了数据的结构信息,即schema。
- 与Hive类似,DataFrame也支持嵌套数据类型,如struct, array和map。
- DataFrame的API提供了一套高层的关系操作,主要用来处理结构化的数据。
- Dataset
- Dataset也是一种分布式的数据集合,在Spark1.6版本中引入 ,是DataFrame API的扩展,它提供了类型安全的(type-safe)、面向对象的编程接口,Dataset利用Catalyst的优化器可以让用户通过lambda表达式的方式对数据进行查询和操作。
- 在Spark2.0以后,为了方便开发者,Spark将DataFrame和Dataset的API进行了整合,为用户提供了一套标准的丰富的API。
- 在Scala中,DataFrame = Dataset[Row]
- Dataset其实是对RDD的更高层的封装,每个切片上也会有对应的算子作用于分区上
- Dataset支持更加智能的数据源,如jdbc, json, parquet等。
2.RDD、DataFrame和Dataset三者之间的关系
- RDD和DataFrame最主要的区别在于DataFrame面向的是结构化的数据,而RDD即可以是非结构化的数据也可以是非结构化的数据。
- DataFrame内部除了存储数据的计算逻辑,还存储了明确的元数据schema信息,即列的名称、类型、是否为空等信息,这样带来的好处是可以减少数据读取以有更好地优化执行计划,从而保证查询的效率。
- 上面图中直观地描述了DataFrame和RDD的区别
- RDD中虽然以Person作为类型参数,但是Spark框架不了解Person的内部结构
- DataFrame中提供了详细的结构信息,有列名,列的类型,SparkSQL中可以清楚地知道它包含哪些元数据信息,即所谓的schema信息;
- DataFrame是分布式的Row对象的集合,DataFrame底层有catalyst优化生成器,可生成执行计划,比如谓词下推、列裁剪等。
- Dataset和DataFrame的关系
- Dataset也是分布式的数据集,它集成了RDD和DataFrame的优点,在Scala和Java的API中提供了丰富的lambda函数。
- Spark 2.0以后,为了方便开发者,Spark将DataFrame和Dataset的API进行了整合,提供了结构化的API,用户可通过一套标准的API就能完成两者的操作。
- 其实,在Scala中, DataFrame就是Dataset[Row], 即Dataset存放了Row类型的数据, 二者的关系如下图:
3.Untyped的DataFrame和Typed的Dataset
在SparkSQL中,DataFrame的API被标记为Untyped API, 而Dataset API被标记为Typed API。其中,DataFrame的Untyped是相对于语言或API层面,它确实有明确的schema信息,但是这些信息完全由Spark维护,Spark只会在实际运行时检查这些类型的一致性。
Spark2.0版本以后,官方重新更新了API: type DataFrame = Dataset[Row], 即DataFrame是存放了Row类型的Dataset, 其中的Row是Spark中定义的一个特质特性trait, 实现Row的子类中封装了schema信息。
而Dataset被标记为Typed的强类型,实质上,Dataset的类型由scala中的样例类或者Java中的Java Bean来明确指定,例如:
case class Animal(name:String, age: Int)
val animalDs: Dataset[Animal] = session.read.json("animal.json").as[Animal]4.RDD, DataFrame和Dataset使用总结
- RDD是Spark偏底层的API, 适合非结构化数据的处理,而Dataset和DataFrame更适合结构化数据和半结构化数据的处理;
- DataFrame和Dataset可以通过统一的Structured API进行访问,而RDD则更适合函数式编程的场景;
- 相比于DataFrame而言,Dataset是强类型的, 有着更为严格的静态的类型检查;
- Dataset、DataFrame、SQL的底层都依赖于RDD API, 并对外提供结构化的访问接口;
相关推荐
- 苹果id注册官网登录(appleid官网注册账号)
-
浏览器访问申请AppleID官网注册 1、在浏览器地址栏上面输入:“https://appleid.apple.com/cn”,进入申请AppleID官网界面,点击下面的“创建AppleID...
- 苹果笔记本怎么下载windows系统
-
方法一:使用BootCamp方法二:使用虚拟机方法三:使用Wine简介BootCamp是苹果电脑自带的一个软件,可以帮助用户在Mac上安装Windows操作系统。虚拟机则是运行在Mac上的一个软件...
- 华硕电脑激活码(华硕电脑windows激活码在哪里)
-
你所说的应该是系统激活密钥吧华硕OEM密钥就行!HomePremium(家庭高级版):27GBM-Y4QQC-JKHXW-D9W83-FJQKDUltimate(旗舰版):6K2KY-BF...
- wifi如何防止别人蹭网(wifi如何防止别人蹭网呢)
-
防止WIFI被蹭网的方法1、家庭的wifi信号,一般是通过设置无线路由器发射出来。在设置无线路由器时,一定要注意设置无线密码的安全强度。最好含有大小写字母加数字的组合,不要设置连续数字,比如“1234...
- 无线ap安装示意图(无线ap如何安装方法)
-
商用无线ap安装完成后连接ap应用添加wifi网络信号将无线网卡插入电脑USBWindows7/8系统下,网卡安装成功后直接进行软件安装...2.继续安装类型,推荐保持默认选择,点击“下一步”继续安装...
- miui官网开发版下载(小米miui开发版下载)
-
你好,miui12开发版下载方式如下1打开浏览器,登录小米Rom官网,2进去之后搜索自己的手机型号,3点击进入就可以看到所有发布过的miui版本4点击想要的12版本下载即可。现在的MIUI开发版需要申...
-
- 惠普台式机进入bios设置u盘启动
-
设置u盘启动的步骤如下:1、首先,将u盘插入hp台式机的USB接口处。2、开机快速断续的按F10键进入BIOS设置界面。3、将光标移到【BootDevicePriority】选项按回车键进入。4、选择【HDDGroupBootPr...
-
2026-01-15 00:37 liuian
- 云手机免费版无限挂机怎么用
-
1、登陆后,如果需要挂网页游戏,点击服务器的左下角,找到IE浏览器,然后打开网页游戏,登陆你的账号就行了,不要关闭IE浏览器,你的网页游戏就会24小时挂在云服务器上面。2、如果想要挂机,打开IE浏览器...
- 上海最近3天疫情情况(上海近几天的新冠疫情情况)
-
根据国家卫健委的每天疫情通报及上海市的疫情通报,上海没有一个区属中高风险地区,所以从上海任何一个区返乡都不需要隔离14天。上海这么大的城市,每天人来人往的Ill流不息,能继续做到区级地区没有中高级风险...
- windows media player怎么下载
-
方法如下:在安装WMP11时只是把C:\DocumentsandSettings\AllUsers\ApplicationData\WindowsGenuineAdvantage\data...
- during(during用法)
-
during用来表示一段时间,其意义大致相当于in的用法。一般来说,凡是能用in的地方,也可以用during.例如:Hecametoseemeduringmyabsence.Don’t...
- 深圳电脑城在哪里(深圳电脑卖场)
-
龙岗:世纪电脑城,平湖电脑城,京科电脑城坪山新区:坪山电脑城龙华:观澜电脑城,大浪电脑城,宏华电脑城,龙华电子城宝安区:赛格电子城,宝安电子城,丰明电脑城,沙井电子城龙岗中心区那边有两个电子城,...
- 电脑上怎么清理c盘垃圾(电脑里怎么清理c盘的东西)
-
C:\ProgramFiles\WindowsApps(隐藏文件夹)。打开“此电脑”,点击“查看”,勾选“隐藏的项目”,即可查看隐藏文件。为保证文件安全,此文件夹需要获取权限才能操作。获取方式...
- 手机哪个杀毒软件最好用
-
杀毒软件我有用过好几种用过之觉得体验感及安全性来说人喜欢推荐腾讯手机管家功能比较全面监控流量、查杀病毒、保护隐私等等界面也比较漂亮重点还要定期扫描同时也要轻易点开别人发链接之类软件有提示危险绝对要点开...
-
- 笔记本电脑怎样截图(苹果笔记本电脑怎样截图)
-
方法/步骤1第一个办法自然是我们最常见最简单的,使用“PrintScreen”键截图了。点击“PrintScreen”键,我们就可以直接截取全部屏幕,找个对话框或者文字区域粘贴就好了。我截的图是这样的2Windows系统都自带有截图工具,我...
-
2026-01-14 22:37 liuian
- 一周热门
-
-
飞牛OS入门安装遇到问题,如何解决?
-
如何在 iPhone 和 Android 上恢复已删除的抖音消息
-
Boost高性能并发无锁队列指南:boost::lockfree::queue
-
大模型手册: 保姆级用CherryStudio知识库
-
用什么工具在Win中查看8G大的log文件?
-
如何在 Windows 10 或 11 上通过命令行安装 Node.js 和 NPM
-
威联通NAS安装阿里云盘WebDAV服务并添加到Infuse
-
Trae IDE 如何与 GitHub 无缝对接?
-
idea插件之maven search(工欲善其事,必先利其器)
-
如何修改图片拍摄日期?快速修改图片拍摄日期的6种方法
-
- 最近发表
- 标签列表
-
- python判断字典是否为空 (50)
- crontab每周一执行 (48)
- aes和des区别 (43)
- bash脚本和shell脚本的区别 (35)
- canvas库 (33)
- dataframe筛选满足条件的行 (35)
- gitlab日志 (33)
- lua xpcall (36)
- blob转json (33)
- python判断是否在列表中 (34)
- python html转pdf (36)
- 安装指定版本npm (37)
- idea搜索jar包内容 (33)
- css鼠标悬停出现隐藏的文字 (34)
- linux nacos启动命令 (33)
- gitlab 日志 (36)
- adb pull (37)
- python判断元素在不在列表里 (34)
- python 字典删除元素 (34)
- vscode切换git分支 (35)
- python bytes转16进制 (35)
- grep前后几行 (34)
- hashmap转list (35)
- c++ 字符串查找 (35)
- mysql刷新权限 (34)
