交易型数据湖 - Apache Iceberg、Apache Hudi和Delta Lake的比较

图片由作者提供

简介

构建数据湖最重要的决定之一是选择数据的存储格式，因为它可以大大影响系统的性能、可用性和兼容性。通过仔细考虑数据存储的格式，我们可以增强数据湖的功能和性能。

有几种不同的选择，每一种都有其独特的特点和能力。在这篇博文中，我们将对三种流行的数据湖技术进行彻底比较：Delta Lake, Iceberg, and Hudi.

数据湖格式解决了哪个问题？

当涉及到数据湖时，选择正确的数据存储格式是至关重要的。它可以大大影响系统的性能、可用性和兼容性。Apache Hudi、Apache Iceberg和Delta Lake是目前的三种顶级选择，每一种都是为解决数据湖管理中的具体挑战而设计的。这些挑战包括：

• 原子交易：确保对数据湖的更新或追加操作不会半途而废，使数据处于损坏的状态。
• 一致的更新：防止读取失败或在写入时返回不完整的结果，并处理可能发生冲突的潜在并发写入。
• 数据和元数据的可扩展性：当表增长到数千分区和数十亿文件的规模时，避免对象存储API和相关元数据的瓶颈。

通过解决这些挑战，这些数据存储格式可以大大改善数据湖的可靠性和效率。仔细考虑哪种格式最适合你的数据湖项目的具体需求和目标是很重要的。

ACID交易

在对象存储解决方案（无论是Amazon S3、Azure Blob Storage还是Google Cloud Storage）之上使用数据湖技术的优势之一是，它可以将ACID（原子、一致、隔离、持久）保证应用于更广泛的事务，包括插入、删除和更新。这些技术除了提供ACID功能外，还可以实现这些操作的并发执行。

ACID - Apache Iceberg

Apache Iceberg使用三类元数据来定义表：

• 定义表的 "元数据文件"。
• "清单列表"，它定义了一个表格快照
• "清单"，它定义了可能是一个或多个快照的一部分的数据文件组。

这些元数据层使Iceberg能够提供快照隔离和ACID支持，以及实现查询优化和其他功能。

当一个查询被运行，Iceberg使用最新的快照，除非另有规定。对一个表的写入会创建一个新的快照，这不会影响并发的查询。

Iceberg 通过乐观的并发性来处理并发性写入，在这种情况下，创建一个新快照的第一个写入是成功的，而其他的则被重试。

除了标准的创建、插入和合并，Iceberg还支持使用SQL命令的行级更新和删除。

ACID - Apache Hudi

Apache Hudi将所有交易组织成不同类型的行动，这些行动随着时间的推移而发生。它使用了一种基于目录的方法，带有时间戳的数据文件和跟踪这些数据文件中记录变化的日志文件。

可选的是，Hudi允许用户启用一个用于查询优化的元数据表，该表跟踪一个可用于查询规划（query plan）而不是文件操作的文件列表，有可能避免大数据集的瓶颈。

Hudi还支持原子交易和SQL命令，如CREATE TABLE, INSERT, UPDATE, DELETE和查询。

ACID - Delta Lake

Delta Lake跟踪两种类型的文件中的元数据：

• Delta日志，按顺序记录表的变化
• Checkpoint 检查点，它总结了到该点为止对表的所有变化，不包括相互抵消的交易。

Delta Lake还提供了ACID事务和SQL对创建、插入、合并、更新和删除的支持。

分区演变

分区是通过减少每次需要扫描的数据量来优化查询的一个有用工具。它们对于以一种易于有效查询的方式组织数据非常重要。

然而，一个表的分区方案可能需要随着时间的推移而改变。在诸如Hive这样的传统解决方案中，改变分区方案是一个耗时的过程，需要重写整个表。

为了更有效地管理数据，有能力更新表的分区方案而不需要重写所有以前的数据是很重要的。这就是所谓的分区演变。

分区演变 - 阿帕奇冰山

Apache Iceberg是目前唯一支持分区演变的表格式。Iceberg不依赖于特定列的值，而是基于分区列和应用于它的转换（如将时间戳转换为日或年）来跟踪分区。

这与传统的方法相比有很大的优势，传统的方法往往需要专门为分区创建额外的列，并要求用户知道通过分区列来过滤，以获得分区的好处。

如果没有这方面的知识，一个包括对时间戳列的过滤，但不包括从该时间戳衍生的分区列的查询，将导致全表扫描。Iceberg使用户能够从分区中获得最大的价值，并获得良好的性能，而不需要成为底层系统的专家。

由于Iceberg分区跟踪应用于一个特定列的转换，该转换可以根据需要修改。基于转换后的列进行过滤的查询将受益于分区，无论哪种转换被应用于数据的任何部分。

例如，一个时间戳列可以按年份划分，然后用ALTER TABLE语句轻松地切换到按月划分。

当数据被时间戳列过滤后，查询可以利用按年分区的部分和按月分区的部分进行划分。这些操作是使用SQL进行的。

分区进化为Iceberg提供了两个主要的好处：它允许改变一个表的分区方案，而不需要重写表；它使查询能够被所有的分区方案所优化（使用不同方案的数据分区将被单独规划以最大化性能）。

此外，Iceberg有一个特殊的功能，叫做隐藏分区，它不需要创建额外的分区列，需要明确的过滤才能从中受益。

分区演变--Apache Hudi

与Iceberg不同，Hudi不支持分区进化或隐藏分区。

然而，它确实通过其数据跳过功能提供了一个类似的结果，目前只支持读优化模式下的表。

这个功能允许Hudi在执行查询时跳过不必要的数据，可能会提高性能。

分区演变--Delta Lake

Delta Lake不支持分区演变，但它通过其生成的列功能提供了类似的能力，该功能目前在Databricks Delta Lake的公开预览中。

该功能允许用户创建额外的列，这些列来自于表中的现有数据，可能会提高对这些列进行过滤的查询的效率。

然而，这一功能在Delta Lake的开源版本中还没有得到完全支持。

模式的演变

随着数据和业务需求的变化，表的模式也在不断变化。列可能需要重新命名，改变类型，或添加新的列。所有这三种表格式都支持不同层次的模式演变，以允许这些变化。

发展表的模式的能力是一个重要的功能，因为它允许必要的更新，而不需要重写整个表，这可能是一个耗时且昂贵的操作。

时间旅行

时间旅行允许用户查询一个表，因为它存在于以前的一个时间点。

这对各种用途都很有用，例如在以前的模型测试中使用的相同数据上测试更新的机器学习算法。

将模型与相同的数据进行比较，对于理解模型的变化至关重要。

所有这三种表格格式都通过使用 "快照 "来支持时间旅行，快照基本上是表格在某个特定时间点的版本。

每个快照都包含与之相关的文件。定期清理旧的、不需要的快照以避免不必要的存储成本是很重要的。

每种表格式都有不同的工具来维护快照，一旦快照被删除，就不可能再有时间旅行到该快照。

时间旅行--Apache Iceberg

在Apache Iceberg中，每次对一个表进行更新时，都会创建一个快照。这允许用户指定一个快照的ID或时间戳，并查询该时间点上的数据。

为了维护Iceberg表，使用expireSnapshots过程定期过期快照以减少存储文件的数量是很重要的。

例如，你可能想让所有比今年早的快照过期。一旦快照过期，就不可能再回到过去。

时间旅行--Apache Hudi

Hudi的表格格式使用户能够通过跟踪带有时间戳的数据文件和日志文件中对表格所做的修改来查询时间轴上的先前点。

为了维护Hudi表，可以使用Hoodie Cleaner程序来清理旧的提交。然而，一旦这些提交被清理掉，就不可能再对它们进行时间旅行。

时间旅行--Delta Lake

Delta Lake允许你回到过去，查看你的表的先前版本。这可以通过针对特定的Delta文件来实现，这些文件代表了自上一个Delta文件以来对表所做的修改，或者通过使用检查点来实现，检查点总结了直到该点为止对表的所有修改。

默认情况下，Delta Lake维护一个表的最后30天的历史，但这可以通过数据保留设置来调整。为了清理旧的数据文件，实现更有效的时间旅行，你可以使用真空工具。

需要注意的是，如果某些日志文件被删除了，可能就不可能时间旅行到过去的某些点，因为没有检查点可以参考，以便重建表。

例如，如果你有日志1-30，检查点在日志15，删除日志1将禁用时间旅行到日志1-14，因为没有更早的检查点可用于重建表。

平台兼容性

如果数据专业人员使用的平台不能与之配合，那么表格格式就不会有用。在本节中，我们列出了一些比较流行的平台，用于分析和设计数据湖上的数据，以及它们对不同表格格式的支持。重要的是，不仅要能够读取数据，而且要能够写入数据，以便数据工程师和消费者能够使用他们的首选平台。

文件格式支持

当涉及到存储分析数据时，Parquet二进制列式文件格式通常是首选。然而，在有些情况下，你可能想使用其他文件格式，如AVRO或ORC，作为你的表格式。下图显示了哪些表格式允许构成一个表的数据文件。

那么谁是赢家？

当决定哪种表格格式最适合你的使用情况时，请考虑以下情况：

• 如果你主要关注的是管理具有大量分区的大表，并且元数据管理是一个痛点，可以考虑使用Apache Iceberg。它可以缓解与S3对象列表或Hive Metastore分区枚举有关的性能问题。然而，请记住，对删除和突变的支持仍然是有限的，而且在数据保留方面有一些操作开销。
• 如果你使用各种查询引擎并需要灵活地管理变异的数据集，Apache Hudi可能是一个很好的选择。然而，要注意的是，整体的开发者体验和支持工具可能没有其他选项那么精良。此外，为大规模生产工作负载安装和调整Hudi需要一些操作费用。另一方面，如果你使用AWS的管理服务，如Athena、Glue或EMR，Hudi已经预先安装和配置好了，并由AWS支持。
• 如果你主要使用Apache Spark，并期待相对较低的写入吞吐量，Delta Lake可能是一个不错的选择。如果你也是Databricks的客户，Delta引擎给读写性能和并发性都带来了明显的改善，因此值得在他们的生态系统上加倍努力。然而，如果你正在使用其他Apache Spark发行版，请记住，Delta Lake虽然是开源的，但作为一个产品差异化，可能总是落后于Delta Engine。

本文由闻数起舞翻译自
https://medium.com/geekculture/transactional-data-lakes-a-comparison-of-apache-iceberg-apache-hudi-and-delta-lake-9d7e58fd229b