大数据每日一课第23课Hive基本概

1.1Hive简介1.1.1什么是Hive

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。

1.1.为什么使用Hive

?直接使用hadoop所面临的问题

人员学习成本太高

项目周期要求太短

MapReduce实现复杂查询逻辑开发难度太大

?为什么要使用Hive

操作接口采用类SQL语法,提供快速开发的能力。

避免了去写MapReduce,减少开发人员的学习成本。

扩展功能很方便。

1.1.Hive的特点

?可扩展

Hive可以自由的扩展集群的规模,一般情况下不需要重启服务。

?延展性

Hive支持用户自定义函数,用户可以根据自己的需求来实现自己的函数。

?容错

良好的容错性,节点出现问题SQL仍可完成执行。

1.Hive架构1..1架构图

Jobtracker是hadoop1.x中的组件,它的功能相当于:Resourcemanager+AppMaster

TaskTracker相当于:Nodemanager+yarnchild

1.1.1基本组成

?用户接口:包括CLI、JDBC/ODBC、WebGUI。

?元数据存储:通常是存储在关系数据库如mysql,derby中。

?解释器、编译器、优化器、执行器。

1.1.各组件的基本功能

?用户接口主要由三个:CLI、JDBC/ODBC和WebGUI。其中,CLI为shell命令行;JDBC/ODBC是Hive的JAVA实现,与传统数据库JDBC类似;WebGUI是通过浏览器访问Hive。

?元数据存储:Hive将元数据存储在数据库中。Hive中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。

?解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中,并在随后有MapReduce调用执行。

1.1Hive与Hadoop的关系

Hive利用HDFS存储数据,利用MapReduce查询数据

1.1Hive与传统数据库对比

总结:hive具有sql数据库的外表,但应用场景完全不同,hive只适合用来做批量数据统计分析

1.1Hive的数据存储

1、Hive中所有的数据都存储在HDFS中,没有专门的数据存储格式(可支持Text,SequenceFile,ParquetFile,RCFILE等)

、只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符,Hive就可以解析数据。

、Hive中包含以下数据模型:DB、Table,ExternalTable,Partition,Bucket。

2db:在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹

2table:在hdfs中表现所属db目录下一个文件夹

2externaltable:外部表,与table类似,不过其数据存放位置可以在任意指定路径

普通表:删除表后,hdfs上的文件都删了

External外部表删除后,hdfs上的文件没有删除,只是把文件删除了

2partition:在hdfs中表现为table目录下的子目录

2bucket:桶,在hdfs中表现为同一个表目录下根据hash散列之后的多个文件,会根据不同的文件把数据放到不同的文件中

1.6HIVE的安装部署1.6.1安装

单机版:

元数据库mysql版:

1.6.使用方式Hive交互shell

bin/hive

Hivethrift服务

启动方式,(假如是在hadoop01上):

启动为前台:bin/hiveserver

启动为后台:nohupbin/hiveserver1/var/log/hiveserver.log/var/log/hiveserver.err

启动成功后,可以在别的节点上用beeline去连接

v方式(1)

hive/bin/beeline回车,进入beeline的命令界面

输入命令连接hiveserver

beeline!connectjdbc:hive//mini1:

(hadoop01是hiveserver所启动的那台主机名,端口默认是)

v方式()

或者启动就连接:

bin/beeline-ujdbc:hive://mini1:-nhadoop

接下来就可以做正常sql查询了

Hive命令

[hadoop

hdp-node-0~]$hive-e‘sql’

赞赏

长按







































专治白癜风的医院
北京中科白殿疯在哪里



转载请注明:http://www.xcqg58.com/zytd/zytd/7497.html

  • 上一篇文章:
  •   
  • 下一篇文章: 没有了