在这里插入图片描述

【作者主页】Francek Chen
【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。
【GitCode】专栏资源保存在我的GitCode仓库:https://gitcode.com/Morse_Chen/BigData_principle_application。

文章目录


Hive 主要由以下 3 个模块组成,其系统架构如图1所示:用户接口模块、驱动模块以及元数据存储模块。用户接口模块包括 CLI、Hive 网页接口(Hive Web Interface,HWI)、JDBC、ODBC、Thrift Server 等,用来实现外部应用对 Hive 的访问。CLI 是 Hive 自带的一个命令行客户端工具,但是,这里需要注意的是,Hive 还提供了另外一个命令行客户端工具 Beeline,在 Hive 3.0 以上版本中,Beeline 取代了 CLI。HWI 是 Hive 的一个简单网页,JDBC、ODBC 和 Thrift Server 可以向用户提供进行编程访问的接口。其中,Thrift Server 基于 Thrift 软件框架开发,它提供 Hive 的 RPC 通信接口。驱动模块(Driver)包括编译器、优 化器、执行器等,所采用的执行引擎可以是 MapReduce、Tez 或 Spark 等。当采用 MapReduce 作为执行引擎时,驱动模块负责把 HiveQL 语句转换成一系列 MapReduce 作业,所有命令和查询都会进入驱动模块,通过该模块对输入进行解析编译,对计算过程进行优化,然后按照指定的步骤执行。元数据存储模块(Metastore)是一个独立的关系数据库,通常是与 MySQL 数据库连接后创建的一个 MySQL 实例,也可以是 Hive 自带的 derby 数据库实例。元数据存储模块中主要保存表模式和其他系统元数据,如表的名称、表的列及其属性、表的分区及其属性、表的属性、表中数据所在位置信息等。

在这里插入图片描述

图1 Hive系统架构

欢迎 点赞👍 | 收藏⭐ | 评论✍ | 关注🤗

在这里插入图片描述

更多推荐