百度360必应搜狗淘宝本站头条
python判断字典是否为空crontab每周一执行aes和des区别安装指定版本npmadb pull
当前位置：网站首页 > IT知识 > 正文

「大数据」 hive入门

liuian 2025-05-16 14:48 24 浏览

前言

最近会介入数据中台项目，所以会推出一系列的跟大数据相关的组件博客与文档。

Hive这个大数据组件自从Hadoop诞生之日起，便作为Hadoop生态体系（HDFS、MR/YARN、HIVE、HBASE）中极其重要的一员而存在。

Hive是Hadoop生态体系中的分布式数据仓库，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据，拥有如下特点：

  1. 天然的分布式数据库，底层存储为HDFS（天然的分布式文件系统）；
  2. 数据操作（查询、修改、条件删除）需要额外的计算引擎支持，如：MR、Tez、spark等；(注意这里没有新增，一般是通过数据导入)
  3. 虽然数据都是存储在HDFS，但是支持多种不同的数据存储格式，如：Text、SequenceFile、RCFile、avro、parquet、orc，carbondata等；
  4. 本身不支持索引功能，不支持时间复杂度非常低的数据结构；
  5. 所有操作(查询、修改、条件删除)基本上都是离线的，需要进行全表IO；
  6. 只是将数据与表之间建立一种简单的映射关系；
  7. 如果用SQL进行数据操作，将SQL转换为计算引擎的执行计划并执行。

Hive的使用场景：

hive 不适用于实时性要求很强的场景，它的查询速度很慢，总体来说是用时间换空间，作为一个大数据的组件，通过它转换文件或者大批量的数据之后进入到Hadoop后续的MapReduce计算引擎去处理数据，可以理解成大数据流程中的前置导入模块。

它还有个有点是离线，离线代表了数据安全，不用联网就能实现数据导入，包括查询、修改也是离线操作。而且它不仅支持数据库表的导入，还支持各种离线文件的数据导入，所以应用面还是很广的，例如日志文件的导入。

支持一次hive转换，多次读取。

Hive的优缺点

优点：

  1. 数据完全是存在HDFS之上，数据支持高可用；
  2. 因为hive的数据存储几乎只占用磁盘空间(对比HBASE、Elasticsearch等内存消耗大户)，而磁盘又是最廉价的硬件资源，适合来存储海量的全量离线数据集(轻松支持PB、TB量级数据集)；
  3. 支持丰富的数据访问接口，如：JDBC，hiveserver以及主流的计算引擎spark、flink、storm等；
  4. 支持丰富的SQL语句，Hive SQL 简称： HQL，可根据业务情况定制的UDF函数；


缺点：

  1. 数据处理延迟很高，因为每次数据处理都会启动计算引擎以及几乎全量的数据IO；
  2. 虽然也叫数据库，但是无法做到像RDBMS一样对事务的支持(虽然hive2.x开始号称也支持了，但是跟RDBMS的事务不是一个概念)；
  3. 一旦写入，不支持修改(hive2.x之后，如果数据存储格式为ORC是支持修改的，但一般不建议)。

Hive的数据格式

功能

parquet

orc

开发语言

Java

Java

是否列式存储

是

是

复杂条件查询支持

支持

支持

数据压缩

支持多种数据压缩格式

支持多种数据压缩格式

ACID支持

不支持

支持

数据update

不支持

支持

索引支持

支持粗粒度索引

支持粗粒度索引

计算引擎支持

主流计算引擎支持:spark,flink,mr,tez等

主流计算引擎支持:spark,flink,mr,tez等

总结

如果对数据的要求为：全量、离线、高可用、一次写入多次读取。那么hive一定是非常适合的选择，另外如果想加速你数据处理的效率，可以从以下几个方面来考虑：

  1. 尽可能使用分区，如果数据量特别大，建议使用多级分区；
  2. 因为业务原因而无法找到分区字段的，可以对数据进行分桶；
  3. 尽量使用带索引和数据压缩功能的数据格式来作为hive的底层存储；
  4. 如果集群资源允许(主要是内存资源)，使用hive的LLAP（官方：Live long and process）

相关推荐

Python 中 必须掌握的 20 个核心函数——items()函数

items()是Python字典对象的方法，用于返回字典中所有键值对的视图对象。它提供了对字典完整内容的高效访问和操作。一、items()的基本用法1.1方法签名dict.items()返回：字典键...

Python字典:键值对的艺术_python字典的用法

字典(dict)是Python的核心数据结构之一，与列表同属可变序列，但采用完全不同的存储方式：定义方式：使用花括号{}（列表使用方括号[]）存储结构：以键值对(key-valuepair)...

python字典中如何添加键值对_python怎么往字典里添加键

添加键值对首先定义一个空字典1>>>dic={}直接对字典中不存在的key进行赋值来添加123>>>dic['name']='zhangsan'>>...

Spring Boot @ConfigurationProperties 详解与 Nacos 配置中心集成

本文将深入探讨SpringBoot中@ConfigurationProperties的详细用法，包括其语法细节、类型转换、复合类型处理、数据校验，以及与Nacos配置中心的集成方式。通过...

Dubbo概述_dubbo工作原理和机制

什么是RPCRPC是RemoteProcedureCall的缩写翻译为:远程过程调用目标是为了实现两台(多台)计算机\服务器,互相调用方法\通信的解决方案RPC的概念主要定义了两部分内容序列化协...

再见 Feign!推荐一款微服务间调用神器，跟 SpringCloud 绝配

在微服务项目中，如果我们想实现服务间调用，一般会选择Feign。之前介绍过一款HTTP客户端工具Retrofit，配合SpringBoot非常好用！其实Retrofit不仅支持普通的HTTP调用，还能...

SpringGateway 网关_spring 网关的作用

奈非框架简介早期(2020年前)奈非提供的微服务组件和框架受到了很多开发者的欢迎这些框架和SpringCloudAlibaba的对应关系我们要知道Nacos对应Eureka都是注册中心Dubbo...

Sentinel 限流详解-Sentinel与OpenFeign服务熔断那些事

SentinelResource我们使用到过这个注解，我们需要了解的是其中两个属性：value：资源名称，必填且唯一。@SentinelResource(value="test/get&#...

超详细MPLS学习指南 手把手带你实现IP与二层网络的无缝融合

大家晚上好，我是小老虎，今天的文章有点长，但是都是干货，耐心看下去，不会让你失望的哦！随着ASIC技术的发展，路由查找速度已经不是阻碍网络发展的瓶颈。这使得MPLS在提高转发速度方面不再具备明显的优势...

Cisco 尝试配置MPLS-V.P.N从开始到放弃

本人第一次接触这个协议，所以打算分两篇进行学习和记录，本文枯燥预警，配置命令在下一篇全为定义，其也是算我毕业设计的一个小挑战。新概念重点备注为什么选择该协议IPSecVPN都属于传统VPN传统VP...

MFC -- 网络通信编程_mfc编程教程

要买东西的时候，店家常常说，你要是真心买的，还能给你便宜，你看真心就是不怎么值钱。。。----网易云热评一、创建服务端1、新建一个控制台应用程序，添加源文件server2、添加代码框架#includ...

35W快充?2TB存储?iPhone14爆料汇总，不要再漫天吹15了

iPhone14都还没发布，关于iPhone15的消息却已经漫天飞，故加紧整理了关于iPhone14目前已爆出的消息。本文将从机型、刘海、屏幕、存储、芯片、拍照、信号、机身材质、充电口、快充、配色、价...

SpringCloud Alibaba(四) - Nacos 配置中心

1、环境搭建1.1依赖<!--nacos注册中心注解@EnableDiscoveryClient--><dependency><groupI...

Nacos注册中心最全详解(图文全面总结)

Nacos注册中心是微服务的核心组件，也是大厂经常考察的内容，下面我就重点来详解Nacos注册中心@mikechen本篇已收于mikechen原创超30万字《阿里架构师进阶专题合集》里面。微服务注册中...

网络技术领域端口号备忘录，受益匪浅 !

你好，这里是网络技术联盟站，我是瑞哥。网络端口是计算机网络中用于区分不同应用程序和服务的标识符。每个端口号都是一个16位的数字，范围从0到65535。网络端口的主要功能是帮助网络设备（如计算机和服务器...

一周热门
最近发表
标签列表