hive内置函数有什么用-mile米乐体育

小编给大家分享一下hive内置函数有什么用，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

hive内置函数：1、用户自定义函数对数据进行处理；2、用来解决输入一行输出多行【(on-to-many maping)】的需求；3、用户自定义聚合函数，操作多个数据行，产生一个数据行。

hive内置函数：

定义：

udf(user-defined-function)，用户自定义函数对数据进行处理。

udtf(user-defined table-generating functions) 用来解决 输入一行输出多行(on-to-many maping) 的需求。

udaf(user defined aggregation function)用户自定义聚合函数，操作多个数据行，产生一个数据行。

用法：

　　1、udf函数可以直接应用于select语句，对查询结构做格式化处理后，再输出内容。

　　2、编写udf函数的时候需要注意一下几点：

a）自定义udf需要继承org.apache.hadoop.hive.ql.udf。

b）需要实现evaluate函。

c）evaluate函数支持重载。

hive的本地模式：

　　大多数的hadoop job是需要hadoop提供的完整的可扩展性来处理大数据的。不过，有时hive的输入数据量是非常小的。在这种情况下，为查询出发执行任务的时间消耗可能会比实际job的执行时间要多的多。对于大多数这种情况，hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集，执行时间会明显被缩短。

　　如此一来，对数据量比较小的操作，就可以在本地执行，这样要比提交任务到集群执行效率要快很多。

　　配置如下参数，可以开启hive的本地模式：

hive>sethive.exec.mode.local.auto=true;(默认为false)

当一个job满足如下条件才能真正使用本地模式：

　　　　1.job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128mb)

　　　　2.job的map数必须小于参数：hive.exec.mode.local.auto.tasks.max(默认4)

　　　　3.job的reduce数必须为0或者1

以上是“hive内置函数有什么用”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注恰卡编程网行业资讯频道！