实现Hive数据同步更新的shell脚本

引言：上一篇文章《Sqoop1.4.4 实现将 Oracle10g 中的增量数据导入 Hive0.13.1 ，并更新Hive中的主表》http://www.linuxidc.com/Linux/2014-09/106282.htm描述了增量更新Hive表的原理和Sqoop，Hive命令，本文基于上一篇文章的内容实现了shell脚本的编写，稍加修改就可用于实际工程。 shell脚本 #！/bin/bash #Please set the synchronize interval,unit is hour.update_interval=24 #Please set the RDBMS connection paramsrdbms_connstr="jdbc:oracle:thin:@192.168.0.147:1521:ORCLGBK"rdbms_username="SP"rdbms_pwd="fulong"rdbms_table="OMP_SERVICE"rdbms_columns="ID,SERVICE_NAME,SERVICE_PROCESS,CREATE_TIME,ENABLE_ORG,ENABLE_PLATFORM,IF_DEL" #Please set the hive paramshive_increment_table="SERVICE_TMP"hive_full_table="service_all" #--------------------------------------------------------- #Import icrement data in RDBMS into Hiveenddate=$（date "+%Y/%m/%d %H:%M:%S"）startdate=$（date "+%Y/%m/%d %H:%M:%S" -d "-"+${update_interval}+" hours"） $SQOOP_HOME/bin/sqoop import --connect ${rdbms_connstr} --username ${rdbms_username} --password ${rdbms_pwd} --table ${rdbms_table} --columns "${rdbms_columns}" --where "CREATE_TIME > to_date（"${startdate}","yyyy-mm-dd hh24:mi:ss"） and CREATE_TIME < to_date（"${enddate}","yyyy-mm-dd hh24:mi:ss"）" --hive-import --hive-overwrite --hive-table ${hive_increment_table} #--------------------------------------------------------- #Update the old full data table to latest status$HIVE_HOME/bin/hive -e "insert overwrite table ${hive_full_table} select * from ${hive_increment_table} union all select a.* from ${hive_full_table} a left outer join ${hive_increment_table} b on a.service_code = b.service_code where b.service_code is null;"

注意：在shell脚本中执行hive hql的命令格式是 hive -e "select ..."

Cron脚本添加定时任务每天凌晨2点执行该脚本0 2 * * * /home/fulong/shell/dataSync.sh基于Hadoop集群的Hive安装 http://www.linuxidc.com/Linux/2013-07/87952.htmHive内表和外表的区别 http://www.linuxidc.com/Linux/2013-07/87313.htmHadoop + Hive + Map +reduce 集群安装部署 http://www.linuxidc.com/Linux/2013-07/86959.htmHive本地独立模式安装 http://www.linuxidc.com/Linux/2013-06/86104.htmHive学习之WordCount单词统计 http://www.linuxidc.com/Linux/2013-04/82874.htmHive运行架构及配置部署 http://www.linuxidc.com/Linux/2014-08/105508.htmHive 的详细介绍：请点这里
Hive 的下载地址：请点这里本文永久更新链接地址