sparksql报错：expression ‘a.id‘ is neither present in the group by,nor is it an aggregate function.

最新推荐文章于 2024-01-09 19:51:13 发布

原创最新推荐文章于 2024-01-09 19:51:13 发布 · 1.9k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#javascript #开发语言 #ecmascript #spark

大数据学习笔记专栏收录该内容

1 篇文章

订阅专栏

本文讲述了在使用Spark执行SQL时遇到的错误，涉及到groupby操作中的非聚合列处理。作者指出，当按model分组时，如果model相同但id不同，需使用first()函数确保每个分组只有一个model_id。修改后的语句包括了first(a.id)在groupby中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天在运行带有group by的spark时候发生了报错，运行语句如下：

select a.id as model_id,
a.model as model_name,
count(a.model) as total,
sum(b.token) as token
from chatnio_qa as a left join model_count as b on a.model = b.model 
group by(a.model)

这里发生了一个报错：

expression 'a.`id`' is neither present in the group by, nor is it an aggregate function. Add to group by or wrap in first() (or first_value) if you don't care which value you

原因在于使用group by分组的时候是按照a.model来进行分组，此时就可能出现一个分组中存在多个a.id的情况，当a.model相同的时候a.id可能不同，因此我们需要加入一个first函数来指定是a.model分组之后的第一个a.id，修改之后的sparksql语句如下：

select first(a.id) as model_id,
a.model as model_name,
count(a.model) as total,
sum(b.token) as token,
from chatnio_qa as a left join model_count as b on a.model = b.model
group by(a.model)