hive的concat、concat_ws和collect_list、collect_set的用法
- concat和concat_ws
- collect_list和collect_set
concat和concat_ws
concat():函数在连接字符串的时候,只要其中一个是NULL,那么将返回NULL。
执行代码: select concat('a','b',null); 执行结果: NULL
concat_ws():函数在连接字符串的时候,只要有一个字符串不是NULL,就不会返回NULL。concat_ws():函数需要指定分隔符。
执行代码1: select concat_ws('-','a','b'); 执行结果: a-b 执行代码2: select concat_ws('-','a','b',null); 执行结果: a-b 执行代码3: select concat_ws('','a','b',null); 执行结果: ab
collect_list和collect_set
他们都是将分组中的某列转为一个数组返回,不同的是collect_list不去重,而collect_set去重。
最终的返回值:
(1)collect_list():有序不去重
(2)collect_set():无序去重
原始数据:
collect_set示例代码:
select t.id, concat_ws(',', collect_set(t.class)) from temp t group by t.id
实际结果:
可以发现,collect_set合并后并不是有序。
collect_list示例代码:
select t.id, concat_ws(',', collect_list(t.class)) from temp t group by t.id
实际结果:
collect_list合并后有序。
在spark_sql中,将collect_list的类型转化为string,只需要使用cast函数,但是在离线平台中,是不支持Array转化为string,所以需要借助:concat_ws。
在聚合字段时,查询时将collect_list前使用concat_ws函数,这样该字段就转化为string了。
concat_ws(',', collect_list(t.class))
若是想使用collect_set使结果有序,可以采用:
select t.id, concat_ws(',', sort_array(collect_set(t.class), false)) from temp t group by t.id
sort_array(e: column, asc: boolean)将array中元素排序(自然排序),默认asc。
实际结果:
猜你喜欢
- 14天前(兰州旅游文化产业发展有限公司)甘肃省兰州市2023年乡村旅游暨A级旅游景区管理工作培训班开班
- 14天前(七尚酒店百度百科)Lohkah七尚酒店首度开创充满新知的闽地研学旅程
- 14天前(天气预报 华为)2025HDC华为天气上新系统级天气智能体,引领更智能的气象服务
- 14天前(新西兰“空降”上海:新西兰旅游局邀请你来“玩真的”!)新西兰“空降”上海:新西兰旅游局邀请你来“玩真的”!
- 14天前(岭南东方大酒店)粤西成势 | 阳江阳春长兴岭南东方酒店正式签约,粤西文旅再添明珠
- 14天前(世茂海峡大厦多高)巴西地产高管齐聚厦门世茂海峡大厦 共探超高层建筑锻造经验
- 14天前(新西兰登陆《我的世界》!全球首个目的地游戏模组震撼上线)新西兰登陆《我的世界》!全球首个目的地游戏模组震撼上线
- 14天前(内蒙古冬季旅游攻略)内蒙古冬日奇遇:携程租车带你策马踏雪
- 14天前(泛舟诗海觅春迹什么意思)泛舟觅桃源,又一头部机构下场文旅赛道
- 14天前(筑格集团有限公司)洲际酒店集团旗下筑格酒店品牌正式亮相大中华区
网友评论
- 搜索
- 最新文章
- (2020广州车展哈弗)你的猛龙 独一无二 哈弗猛龙广州车展闪耀登场
- (哈弗新能源suv2019款)智能科技颠覆出行体验 哈弗重塑新能源越野SUV价值认知
- (2021款全新哈弗h5自动四驱报价)新哈弗H5再赴保障之旅,无惧冰雪护航哈弗全民电四驱挑战赛
- (海南航空现况怎样)用一场直播找到市场扩张新渠道,海南航空做对了什么?
- (visa jcb 日本)优惠面面俱到 JCB信用卡邀您畅玩日本冰雪季
- (第三届“堡里有年味·回村过大年”民俗花灯会活动)第三届“堡里有年味·回村过大年”民俗花灯会活动
- (展示非遗魅力 长安启源助力铜梁龙舞出征)展示非遗魅力 长安启源助力铜梁龙舞出征
- (阿斯塔纳航空公司)阿斯塔纳航空机队飞机数量增至50架
- (北京香港航班动态查询)香港快运航空北京大兴新航线今日首航
- (我在港航“呵护”飞机 每一次安全着陆就是最好的荣誉)我在港航“呵护”飞机 每一次安全着陆就是最好的荣誉
- 热门文章