1.2.2 Hive数据单元

Hive所有真实数据都存储在HDFS中，这样更有利于对数据做分布式计算。为了有效地对真实数据进行管理，根据粒度大小，Hive将真实数据划分为如下数据单元。

1. 数据库

数据库（Databases）类似于RDBMS中的数据库，在HDFS中表现为hive.metastore.warehouse.dir目录下的一个文件夹，其本质是用于避免表、视图、分区、列等命名冲突的命名空间。

2. 表

表（Tables）由列构成，在表上可以进行过滤、映射、连接和联合操作。表在HDFS中表现为所属数据库目录下的子目录，具体又分内部表和外部表。内部表类似于RDBMS中的表，由Hive管理。外部表指向已经存在HDFS中的数据，与内部表元数据组织是相同的，但其数据存放位置是任意的。外部表的真实数据不被Hive管理，即当删除一张内部表时，元数据以及HDFS上的真实数据均被删除，而删除外部表则只会删除元数据而不会删除真实数据。

3. 分区

每个表都可以按指定的键分为多个分区（Partitions）。分区的作用是提高查询的效率，其在HDFS中表现为表目录下的子目录。

4. 分桶

根据表中某一列的哈希值可将数据划分为多个分桶（Buckets），在HDFS中分桶表现为同一个目录下根据哈希散列之后的多个文件。

可以看到，Hive中的数据单元划分与RDBMS的物理模型非常类似。但在Hive数据单元划分过程中还必须注意以下几点。

➢ Hive表没有主键。

➢ Hive表（0.14版本前）不支持行级操作，新版本中行级操作效率也比较低。

➢ Hive表不支持批量update操作，但可以先删除、再添加。

➢ Hive分区和分桶可以极大提升数据查询效率。