hive与sqoop

hive：基于Hadoop的关系数据库离线同步到数仓的工具，将结构化数据映射成一张数据库表，实现数据的提取、转换、加载。
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。
　　Hive 没有专门的数据格式。 Hive 可以很好的工作在 Thrift 之上，控制分隔符，也允许用户指定数据格式。
二.架构
　　1.用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至Hive Server。在启动 Client模式的时候，需要指出Hive Server所在节点，并且在该节点启动Hive Server。 WUI是通过浏览器访问Hive。

2.Hive将元数据存储在数据库中，如mysql、derby。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。

3.解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中，并在随后有MapReduce调用执行。　　4.Hive的数据存储在HDFS中，大部分的查询、计算由MapReduce完成（包含*的及类似的查询除外，比如select * from tbl不会生成MapRedcue任务）。

sqoop导入有两种方式：
1）直接导入到hdfs，然后再load到hive表中
2）直接导入到hive中

一般生产情况导业务库数据，都是指定导入，不能全部导入，对业务库压力大。
1）需要已知的参数

mysql 的jdbc连接参数：jdbc链接、用户名、密码
mysql同步表的信息：列、表名
hive链接参数：是否有链接限制
hive目标表的信息：表名、分隔符、是否分区
2）具体参数
两种方式：1）指定mysql列导入 2）写相应的mysql的query sql语句导入

1）制定mysql表的某列、某表
#（必须参数）sqoop 导入，-D 指定参数，当前参数是集群使用队列名称
sqoop import -D mapred.job.queue.name=q
#（必须参数）链接mysql jdbs参数 xxxx路径/yy库?mysql的参数（多个参数用&隔开）
#tinyInt1isBit=false这个参数主要解决从Sqoop导入MySQL导入TINYINT(1)类型数据到hive（tinyint），数据为null
–connect jdbc:mysql:xxxx/yy?tinyInt1isBit=false
#（必须参数）用户名、密码、具体的表
–username xx --password xx
–table xx
–delete-target-dir
#（非必须）系统默认是textfile格式，当然也可以是parquet
–as-textfile
#（非必须）指定想要的列
–columns ‘id,title’
#（必须参数）导入到hive的参数
–hive-import
#（必须参数）指定分隔符，和hive 的目标表分隔符一致
–fields-terminated-by ‘\t’
#（必须参数）hive的库表名
–hive-database xx
–hive-table xx
#（必须参数）是不是string 为null的都要变成真正为null
–null-string ‘\N’ --null-non-string ‘\N’
#（非必须）写入到hive的分区信息,hive无分区无需这步
–hive-partition-key dt
–hive-partition-value $day
#写入hive的方式
–hive-overwrite
–num-mappers 1
#（必须参数）导入到hive时删除 \n, \r, and \01
-hive-drop-import-delims
#sqoop完会生成java文件，可以指定文件的路径，方便删除和管理
–outdir xxx

2）写查询sql 导入
#（必须参数）sqoop 导入，-D 指定参数，当前参数是集群使用队列名称
sqoop import -D mapred.job.queue.name=q
#（必须参数）链接mysql jdbs参数 xxxx路径/yy库?mysql的参数（多个参数用&隔开）
#tinyInt1isBit=false这个参数主要解决从Sqoop导入MySQL导入TINYINT(1)类型数据到hive（tinyint），数据为null
–connect jdbc:mysql:xxxx/yy?tinyInt1isBit=false
#（必须参数）用户名、密码、具体的表
–username xx --password xx
–delete-target-dir
#（非必须）系统默认是textfile格式，当然也可以是parquet
–as-textfile
#（query sql最后要加上$CONDITIONS）
–query ‘select xxx from xxx where $CONDITIONS’
#（必须参数）导入到hive的参数
–hive-import
#（必须参数）指定分隔符，和hive 的目标表分隔符一致
–fields-terminated-by ‘\t’
#（必须参数）hive的库表名
–hive-database xx
–hive-table xx
#（必须参数）是不是string 为null的都要变成真正为null
–null-string ‘\N’ --null-non-string ‘\N’
#（非必须）写入到hive的分区信息,hive无分区无需这步
–hive-partition-key dt
–hive-partition-value $day
#写入hive的方式
–hive-overwrite
–num-mappers 1
#（必须参数）导入到hive时删除 \n, \r, and \01
-hive-drop-import-delims
#sqoop完会生成java文件，可以指定文件的路径，方便删除和管理
–outdir xxx

https://blog.csdn.net/Vivi_static/article/details/107867085