百度360必应搜狗淘宝本站头条
python判断字典是否为空crontab每周一执行aes和des区别安装指定版本npmadb pull
当前位置：网站首页 > IT知识 > 正文

「大数据」 hive入门

liuian 2025-05-16 14:48 4 浏览

前言

最近会介入数据中台项目，所以会推出一系列的跟大数据相关的组件博客与文档。

Hive这个大数据组件自从Hadoop诞生之日起，便作为Hadoop生态体系（HDFS、MR/YARN、HIVE、HBASE）中极其重要的一员而存在。

Hive是Hadoop生态体系中的分布式数据仓库，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据，拥有如下特点：

  1. 天然的分布式数据库，底层存储为HDFS（天然的分布式文件系统）；
  2. 数据操作（查询、修改、条件删除）需要额外的计算引擎支持，如：MR、Tez、spark等；(注意这里没有新增，一般是通过数据导入)
  3. 虽然数据都是存储在HDFS，但是支持多种不同的数据存储格式，如：Text、SequenceFile、RCFile、avro、parquet、orc，carbondata等；
  4. 本身不支持索引功能，不支持时间复杂度非常低的数据结构；
  5. 所有操作(查询、修改、条件删除)基本上都是离线的，需要进行全表IO；
  6. 只是将数据与表之间建立一种简单的映射关系；
  7. 如果用SQL进行数据操作，将SQL转换为计算引擎的执行计划并执行。

Hive的使用场景：

hive 不适用于实时性要求很强的场景，它的查询速度很慢，总体来说是用时间换空间，作为一个大数据的组件，通过它转换文件或者大批量的数据之后进入到Hadoop后续的MapReduce计算引擎去处理数据，可以理解成大数据流程中的前置导入模块。

它还有个有点是离线，离线代表了数据安全，不用联网就能实现数据导入，包括查询、修改也是离线操作。而且它不仅支持数据库表的导入，还支持各种离线文件的数据导入，所以应用面还是很广的，例如日志文件的导入。

支持一次hive转换，多次读取。

Hive的优缺点

优点：

  1. 数据完全是存在HDFS之上，数据支持高可用；
  2. 因为hive的数据存储几乎只占用磁盘空间(对比HBASE、Elasticsearch等内存消耗大户)，而磁盘又是最廉价的硬件资源，适合来存储海量的全量离线数据集(轻松支持PB、TB量级数据集)；
  3. 支持丰富的数据访问接口，如：JDBC，hiveserver以及主流的计算引擎spark、flink、storm等；
  4. 支持丰富的SQL语句，Hive SQL 简称： HQL，可根据业务情况定制的UDF函数；


缺点：

  1. 数据处理延迟很高，因为每次数据处理都会启动计算引擎以及几乎全量的数据IO；
  2. 虽然也叫数据库，但是无法做到像RDBMS一样对事务的支持(虽然hive2.x开始号称也支持了，但是跟RDBMS的事务不是一个概念)；
  3. 一旦写入，不支持修改(hive2.x之后，如果数据存储格式为ORC是支持修改的，但一般不建议)。

Hive的数据格式

功能

parquet

orc

开发语言

Java

Java

是否列式存储

是

是

复杂条件查询支持

支持

支持

数据压缩

支持多种数据压缩格式

支持多种数据压缩格式

ACID支持

不支持

支持

数据update

不支持

支持

索引支持

支持粗粒度索引

支持粗粒度索引

计算引擎支持

主流计算引擎支持:spark,flink,mr,tez等

主流计算引擎支持:spark,flink,mr,tez等

总结

如果对数据的要求为：全量、离线、高可用、一次写入多次读取。那么hive一定是非常适合的选择，另外如果想加速你数据处理的效率，可以从以下几个方面来考虑：

  1. 尽可能使用分区，如果数据量特别大，建议使用多级分区；
  2. 因为业务原因而无法找到分区字段的，可以对数据进行分桶；
  3. 尽量使用带索引和数据压缩功能的数据格式来作为hive的底层存储；
  4. 如果集群资源允许(主要是内存资源)，使用hive的LLAP（官方：Live long and process）

相关推荐

【常识】如何优化Windows 7

优化Windows7可以让这个经典系统运行更流畅，特别是在老旧硬件上。以下是经过整理的实用优化方案，分为基础优化和进阶优化两部分：一、基础优化（适合所有用户）1.关闭不必要的视觉效果右键计算机...

系统优化!Windows 11/10 必做的十个优化配置

以下是为Windows10/11用户整理的10个必做优化配置，涵盖性能提升、隐私保护和系统精简等方面，操作安全且无需第三方工具：1.禁用不必要的开机启动项操作路径：`Ctrl+S...

最好用音频剪辑的软件,使用方法?

QVE音频剪辑是一款简单实用的软件，功能丰富，可编辑全格式音频。支持音频转换、合并、淡入淡出、变速、音量调节等，无时长限制，用户可自由剪辑。剪辑后文件音质无损，支持多格式转换，便于存储与跨设备播放，满...

Vue2 开发总踩坑?这 8 个实战技巧让代码秒变丝滑

前端开发的小伙伴们，在和Vue2打交道的日子里，是不是总被各种奇奇怪怪的问题搞得头大？数据不响应、组件传值混乱、页面加载慢……别慌！今天带来8个超实用的Vue2实战技巧，每一个都能直击痛...

Motion for Vue:为Vue量身定制的强大动画库

在前端开发中，动画效果是提升用户体验的重要手段。Vue生态系统中虽然有许多动画库，但真正能做到高性能、易用且功能丰富的并不多。今天，我们要介绍的是MotionforVue（motion-v），...

CSS view():JavaScript 滚动动画的终结

前言CSSview()方法可能会标志着JavaScript在制作滚动动画方面的衰落。如何用5行CSS代码取代50多行繁琐的JavaScript，彻底改变网页动画每次和UI/U...

「大数据」 hive入门

前言最近会介入数据中台项目，所以会推出一系列的跟大数据相关的组件博客与文档。Hive这个大数据组件自从Hadoop诞生之日起，便作为Hadoop生态体系（HDFS、MR/YARN、HIVE、HBASE...

青铜时代的终结:对奖牌架构的反思

作者|AdamBellemare译者|王强策划|Tina要点运维和分析用例无法可靠地访问相关、完整和可信赖的数据。需要一种新的数据处理方法。虽然多跳架构已经存在了几十年，并且可以对...

解析IBM SQL-on-Hadoop的优化思路

对于BigSQL的优化，您需要注意以下六个方面：1．平衡的物理设计在进行集群的物理设计需要考虑数据节点的配置要一致，避免某个数据节点性能短板而影响整体性能。而对于管理节点，它虽然不保存业务数据，但作...

交易型数据湖 - Apache Iceberg、Apache Hudi和Delta Lake的比较

图片由作者提供简介构建数据湖最重要的决定之一是选择数据的存储格式，因为它可以大大影响系统的性能、可用性和兼容性。通过仔细考虑数据存储的格式，我们可以增强数据湖的功能和性能。有几种不同的选择，每一种都有...

深入解析全新 AWS S3 Tables:重塑数据湖仓架构

在AWSre:Invent2024大会中，AWS发布了AmazonS3Tables：一项专为可扩展存储和管理结构化数据而设计的解决方案，基于ApacheIceberg开放表格...

Apache DataFusion查询引擎简介

简介DataFusion是一个查询引擎，其本身不具备存储数据的能力。正因为不依赖底层存储的格式，使其成为了一个灵活可扩展的查询引擎。它原生支持了查询CSV，Parquet，Avro，Json等存储格式...

大数据Hadoop之——Flink Table API 和 SQL(单机Kafka)

一、TableAPI和FlinkSQL是什么TableAPI和SQL集成在同一套API中。这套API的核心概念是Table，用作查询的输入和输出，这套API都是批处理和...

比较前 3 名Schema管理工具

关注留言点赞，带你了解最流行的软件开发知识与最新科技行业趋势。在本文中，读者将了解三种顶级schema管理工具，如AWSGlue、ConfluentSchemaRegistry和Memph...

大数据技术之Flume

第1章概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。1.2Flume的优点1.可以和...

一周热门
最近发表
标签列表