Welcome 微信登录
编程资源 图片资源库 蚂蚁家优选 PDF转换器

首页 / 操作系统 / Linux / Hive下UDF函数的使用

1、编写函数package com.example.hive.udf;import org.apache.Hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;public final class LowerCase extends UDF {
  public Text evaluate(final Text s) {
    if (s == null) { return null; }
    return new Text(s.toString().toLowerCase());
  }
}2、用eclipse下的fatjar插件进行打包先下载net.sf.fjep.fatjar_0.0.31.jar插件包,cp至eclipse/plugins目录下,重启eclipse,右击项目选Export,选择用fatjar导出(可以删掉没用的包,不然导出的jar包很大)3、将导出的hiveudf.jar复制到hdfs上hadoop fs -copyFromLocal hiveudf.jar hiveudf.jar4、进入hive,添加jar,add jar hdfs://localhost:9000/user/root/hiveudf.jar5、创建一个临时函数create temporary function my_lower as "com.example.hive.udf.LowerCase";6、调用select LowerCase(name) from teacher;注:这种方法只能添加临时的函数,每次重新进入hive的时候都要再执行4-6,要使得这个函数永久生效,要将其注册到hive的函数列表添加函数文件$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/udf/UDFLowerCase.java修改$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java文件import org.apache.hadoop.hive.ql.udf.UDFLowerCase;registerUDF(“LowerCase”, UDFLowerCase.class,false);(上面这个方法未测试成功)为了避免每次都有add jar 可以设置hive的"辅助jar路径"在hive-env.sh中 export HIVE_AUX_JARS_PATH=/home/ckl/workspace/mudf/mudf_fat.jar;