百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

三十五、SparkSQL: RDD、DataFrame和Dataset的关系

liuian 2025-07-27 22:00 71 浏览

在SparkSQL中,在Spark1.3版本时为SparkSQL提供了一种新的数据集结构DataFrame, 而从Spark1.6开始提供了一种新的弹性的、懒执行的、分布式的抽象数据集Dataset,那么它与RDD之前有着什么样的关联呢?

来看看源码中的介绍:


1.RDD、DataFrame和Dataset

  • RDD
    • RDD是一个弹性的、可容错的分布式的数据集,在Spark中是最基本的抽象,它代表一个不可变的,可并行化操作的分区集合。
    • RDD提供了基本的转换操作,比如map, filter等算子。
    • RDD有五大特性:
      • RDD由一系列分区组成
      • 提供了方法、操作作用于于每一个split
      • RDD之间有依赖关系
      • 分区器是作用于key-value格式的RDD上
      • 为每个split,提供了最佳的计算位置信息
  • DataFrame
    • DataFrame也是一个弹性的,分布式的,懒执行的抽象的数据集容器。
    • DataFrame更像传数据库中的二维表,除了存储数据的计算逻辑外,它还记录了数据的结构信息,即schema。
    • 与Hive类似,DataFrame也支持嵌套数据类型,如struct, array和map。
    • DataFrame的API提供了一套高层的关系操作,主要用来处理结构化的数据。
  • Dataset
    • Dataset也是一种分布式的数据集合,在Spark1.6版本中引入 ,是DataFrame API的扩展,它提供了类型安全的(type-safe)、面向对象的编程接口,Dataset利用Catalyst的优化器可以让用户通过lambda表达式的方式对数据进行查询和操作。
    • 在Spark2.0以后,为了方便开发者,Spark将DataFrame和Dataset的API进行了整合,为用户提供了一套标准的丰富的API。
    • 在Scala中,DataFrame = Dataset[Row]
    • Dataset其实是对RDD的更高层的封装,每个切片上也会有对应的算子作用于分区上
    • Dataset支持更加智能的数据源,如jdbc, json, parquet等。

2.RDD、DataFrame和Dataset三者之间的关系

  • RDD和DataFrame最主要的区别在于DataFrame面向的是结构化的数据,而RDD即可以是非结构化的数据也可以是非结构化的数据。
  • DataFrame内部除了存储数据的计算逻辑,还存储了明确的元数据schema信息,即列的名称、类型、是否为空等信息,这样带来的好处是可以减少数据读取以有更好地优化执行计划,从而保证查询的效率。
  • 上面图中直观地描述了DataFrame和RDD的区别
    • RDD中虽然以Person作为类型参数,但是Spark框架不了解Person的内部结构
    • DataFrame中提供了详细的结构信息,有列名,列的类型,SparkSQL中可以清楚地知道它包含哪些元数据信息,即所谓的schema信息;
    • DataFrame是分布式的Row对象的集合,DataFrame底层有catalyst优化生成器,可生成执行计划,比如谓词下推、列裁剪等。
  • Dataset和DataFrame的关系
    • Dataset也是分布式的数据集,它集成了RDD和DataFrame的优点,在Scala和Java的API中提供了丰富的lambda函数。
    • Spark 2.0以后,为了方便开发者,Spark将DataFrame和Dataset的API进行了整合,提供了结构化的API,用户可通过一套标准的API就能完成两者的操作。
    • 其实,在Scala中, DataFrame就是Dataset[Row], 即Dataset存放了Row类型的数据, 二者的关系如下图:

3.Untyped的DataFrame和Typed的Dataset

在SparkSQL中,DataFrame的API被标记为Untyped API, 而Dataset API被标记为Typed API。其中,DataFrame的Untyped是相对于语言或API层面,它确实有明确的schema信息,但是这些信息完全由Spark维护,Spark只会在实际运行时检查这些类型的一致性。


Spark2.0版本以后,官方重新更新了API: type DataFrame = Dataset[Row], 即DataFrame是存放了Row类型的Dataset, 其中的Row是Spark中定义的一个特质特性trait, 实现Row的子类中封装了schema信息。


而Dataset被标记为Typed的强类型,实质上,Dataset的类型由scala中的样例类或者Java中的Java Bean来明确指定,例如:

case class Animal(name:String, age: Int)
val animalDs: Dataset[Animal] = session.read.json("animal.json").as[Animal]


4.RDD, DataFrame和Dataset使用总结

  • RDD是Spark偏底层的API, 适合非结构化数据的处理,而Dataset和DataFrame更适合结构化数据和半结构化数据的处理;
  • DataFrame和Dataset可以通过统一的Structured API进行访问,而RDD则更适合函数式编程的场景;
  • 相比于DataFrame而言,Dataset是强类型的, 有着更为严格的静态的类型检查;
  • Dataset、DataFrame、SQL的底层都依赖于RDD API, 并对外提供结构化的访问接口;

相关推荐

手机处理器排名最新图(手机处理器排行榜全部)

众所周知,手机端SOC很少在插电模式下运行,因此能耗比在移动端CPU性能中特别重要。本文整理了主流的SOC能耗比情况,给大家购买手机做一个参考。SOC能耗比较高的,包括麒麟810,骁龙625,麒麟65...

pdf版本怎么弄(怎么把word转为pdf)

回答如下:要将PDF文件恢复到以前的版本,您需要执行以下步骤:1.找到保存PDF文件的文件夹或位置。2.在该位置中找到以前的版本,这可能是备份文件、自动保存文件或之前保存的版本。3.如果您没有备...

怎么几个电脑共用一台打印机
  • 怎么几个电脑共用一台打印机
  • 怎么几个电脑共用一台打印机
  • 怎么几个电脑共用一台打印机
  • 怎么几个电脑共用一台打印机
笔记本电脑本地连接连不上(笔记本本地连接不上什么原因)
  • 笔记本电脑本地连接连不上(笔记本本地连接不上什么原因)
  • 笔记本电脑本地连接连不上(笔记本本地连接不上什么原因)
  • 笔记本电脑本地连接连不上(笔记本本地连接不上什么原因)
  • 笔记本电脑本地连接连不上(笔记本本地连接不上什么原因)
万能bt搜索引擎网站(bt万能搜索破解版)

最好用最全面的的磁力搜索引擎是磁力熊,因为它是一个内容丰富、还是功能最为强大的一个磁力搜索网站,通过它不仅仅可以搜索磁力熊磁力熊,是一个内容丰富、功能最为强大的一个磁力搜索网站,通过它不仅仅可以搜索...

苹果id注册官网登录(appleid官网注册账号)

浏览器访问申请AppleID官网注册  1、在浏览器地址栏上面输入:“https://appleid.apple.com/cn”,进入申请AppleID官网界面,点击下面的“创建AppleID...

苹果笔记本怎么下载windows系统

方法一:使用BootCamp方法二:使用虚拟机方法三:使用Wine简介BootCamp是苹果电脑自带的一个软件,可以帮助用户在Mac上安装Windows操作系统。虚拟机则是运行在Mac上的一个软件...

华硕电脑激活码(华硕电脑windows激活码在哪里)

你所说的应该是系统激活密钥吧华硕OEM密钥就行!HomePremium(家庭高级版):27GBM-Y4QQC-JKHXW-D9W83-FJQKDUltimate(旗舰版):6K2KY-BF...

wifi如何防止别人蹭网(wifi如何防止别人蹭网呢)

防止WIFI被蹭网的方法1、家庭的wifi信号,一般是通过设置无线路由器发射出来。在设置无线路由器时,一定要注意设置无线密码的安全强度。最好含有大小写字母加数字的组合,不要设置连续数字,比如“1234...

无线ap安装示意图(无线ap如何安装方法)

商用无线ap安装完成后连接ap应用添加wifi网络信号将无线网卡插入电脑USBWindows7/8系统下,网卡安装成功后直接进行软件安装...2.继续安装类型,推荐保持默认选择,点击“下一步”继续安装...

miui官网开发版下载(小米miui开发版下载)

你好,miui12开发版下载方式如下1打开浏览器,登录小米Rom官网,2进去之后搜索自己的手机型号,3点击进入就可以看到所有发布过的miui版本4点击想要的12版本下载即可。现在的MIUI开发版需要申...

惠普台式机进入bios设置u盘启动
惠普台式机进入bios设置u盘启动

设置u盘启动的步骤如下:1、首先,将u盘插入hp台式机的USB接口处。2、开机快速断续的按F10键进入BIOS设置界面。3、将光标移到【BootDevicePriority】选项按回车键进入。4、选择【HDDGroupBootPr...

2026-01-15 00:37 liuian

云手机免费版无限挂机怎么用

1、登陆后,如果需要挂网页游戏,点击服务器的左下角,找到IE浏览器,然后打开网页游戏,登陆你的账号就行了,不要关闭IE浏览器,你的网页游戏就会24小时挂在云服务器上面。2、如果想要挂机,打开IE浏览器...

上海最近3天疫情情况(上海近几天的新冠疫情情况)

根据国家卫健委的每天疫情通报及上海市的疫情通报,上海没有一个区属中高风险地区,所以从上海任何一个区返乡都不需要隔离14天。上海这么大的城市,每天人来人往的Ill流不息,能继续做到区级地区没有中高级风险...

windows media player怎么下载

方法如下:在安装WMP11时只是把C:\DocumentsandSettings\AllUsers\ApplicationData\WindowsGenuineAdvantage\data...