mongo中的高级查询之聚合操作(distinct,count,group)

最新推荐文章于 2025-06-13 09:23:20 发布

weixin_34348174

最新推荐文章于 2025-06-13 09:23:20 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/mickelfeng/blog/1560257

本文详细介绍了MongoDB中的三个基本聚合函数：count、distinct和group的功能及使用方法，并通过具体的例子展示了这些函数如何帮助开发者更好地管理和分析数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

Mongodb中自带的基本聚合函数有三种：count、distinct和group。下面我们分别来讲述一下这三个基本聚合函数。

（1）count

作用：简单统计集合中符合某种条件的文档数量。

使用方式：db.collection.count(<query>)或者db.collection.find(<query>).count()

参数说明：其中<query>是用于查询的目标条件。如果出了想限定查出来的最大文档数，或者想统计后跳过指定条数的文档，则还需要借助于limit，skip。

举例：

db.collection.find(<query>).limit();

db.collection.find(<query>).skip();

（2）distinct

作用：用于对集合中的文档针进行去重处理

使用方式：db,collection.distinct(field,query)

参数说明：field是去重字段，可以是单个的字段名，也可以是嵌套的字段名；query是查询条件，可以为空；

举例：

db.collection.distinct("user",{“age":{$gt:28}});//用于查询年龄age大于28岁的不同用户名

除了上面的用法外，还可以使用下面的另外一种方法：

db.runCommand({"distinct":"collectionname","key":"distinctfied","query":<query>})

collectionname：去重统计的集合名，distinctfield：去重字段,，<query>是可选的限制条件；

举例：

这两种方式的区别：第一种方法是对第二种方法的封装，第一种只返回去重统计后的字段值集合，但第二种方式既返回字段值集合也返回统计时的细节信息。

（3）group

作用：用于提供比count、distinct更丰富的统计需求，可以使用js函数控制统计逻辑

使用方式：db.collection.group(key,reduce,initial[,keyf][,cond][,finalize])

备注说明：在2.2版本之前，group操作最多只能返回10000条分组记录，但是从2.2版本之后到2.4版本，mongodb做了优化，能够支持返回20000条分组记录返回，如果分组记录的条数大于20000条，那么可能你就需要其他方式进行统计了，比如聚合管道或者MapReduce；

===========================================================

mongo中的高级查询之聚合操作(distinct,count,group)

1.distinct的实现：

db.consumerecords.distinct("userId"):键值去重  类似于mysql中的 select distinct userId from consumerecords

db.consumerecords.distinct("userId",{act:"charge"}):过滤之后去重,类似于mysql中的select distinct userId from consumerecords where act="charge"

db.consumerecords.distinct("userId").length:去重之后求记录数,类似于mysql中的 select count(distinct userId) from consumerecords

2.count的实现

db.consumerecords.count():类似于 mysql中 select count(*) from consumerecords

db.consumerecords.count({act:"charge"}):

类似于mysql中的 select  count(*) from  consumerecords where act="charge"

3.group的实现

(1).分组求和:类似于mysql中的 select act,sum(count) from consumerecords group by act

db.consumerecords.group(
 {
 key:{act:true}, 
 initial:{ct:0},    
 $reduce:function(doc,prev)  
 {
    prev.ct = prev.ct + doc.count    
 }

 }
 )

(2).分组求和,过滤。类似mysql中的select act,sum(count) from consumerecords group by act having act='charge';

db.consumerecords.group(
{
 key:{act:true}, 
 initial:{ct:0},    
 $reduce:function(doc,prev)  
 {
      prev.ct = prev.ct + doc.count    
 },
 condition:{act:"charge"}
}
)

(3).将时间格式化并且按时间分组求count,不推荐使用这种方法。

db.playerlogs.aggregate({$project:{ userId:1,con:{$concat:[{$substr:[{$year:"$start"},0,4]},"0",{$substr:[{$month:"$start"},0,4]},{$substr:[{$dayOfMonth:"$start"},0,4]}]} ,_id:0}},{$group:{_id:"$con",count:{$sum:1}}},{$sort:{con:1}}) ;

group按时间分组(时间格式化)

http://www.tuicool.com/articles/EjUnQz

db.playerlogs.group({

 keyf : function(doc){

    var date = new Date(doc.start);

    var dateKey = ""+date.getFullYear()+"-"+(date.getMonth()+1)+"-"+date.getDate();

    return {'day':dateKey}; 

}, 

 initial : {count:0}, 

 reduce : function Reduce(doc, out) {

    out.count++

}

});

javascriptz中时间的相关函数参考:

http://blog.csdn.net/npp616/article/details/7181730

(4).group 分组方法实现的讲解。

group 的完整语法是。

db.consumerecords.group(
{
 key:{act:true}, 
 initial:{ct:0},    
 $reduce:function(doc,prev)  
 {
              prev.ct = prev.ct + parseInt(doc.count)    
 },
          finalize:function(doc)
　　　　　{
　　　　　  doc.ct=doc.ct +  100
　　　　　},
          condition:{act:"charge"}

 }
 )

参数解释:

key:需要分组的键或是函数(function),group分组实例3中的key就是一个函数值

initial:声明并且初始化变量。每一组共享一个变量值。多个变量之间用逗号隔开

$reduce:循环体,集合中有多少个文档，就会循环多少次。函数(function)中变量doc表示当前文档对象,

prev表示累积处理的结果对象(这个地方可能描述的不是很情况,自己慢慢体会)

finalize:可选参数,可以简单理解为对分组之后的结果的再次处理,doc表示group之后的文档对象(这一步也是一个循环体

condition:可选参数,对已经分组好的结果进行过滤,有点类似于mysql中的having

4.mapReduce:暂缺,要想玩转这个方法需要有很强的JavaScript功能。

据说mapReduce 可以实现很复杂的查询,可以将一个复杂的查询分拆到多个机器上运行,

然后把各个结果集组合起来,形成最终结果。但是很慢。

mapreduce用法大全

http://www.cnblogs.com/yuechaotian/archive/2013/02/22/2922268.html

mapreduce性能调优

http://www.iteye.com/news/28013

数组中去除重复值示例

http://www.cnblogs.com/sosoft/archive/2013/12/08/3463830.html

5.db.runCommand的相关命令.

db.runCommand({distinct:"consumerecords",key:"userId"}):键值去重类似于mysql中的 select distinct userId from consumerecords

db.runCommand({distinct:"consumerecords",key:"userId"}).values.length:去重之后求记录数,类似于mysql中的 select count(distinct userId) from consumerecords

db.runCommand({distinct:"consumerecords",key:"userId",query:{act:"charge"}}):去重之后求记录数,类似于mysql中的 select distinct userId from consumerecords where act="charge"

db.runCommand(

... {

... group:

... {

... ns:"test2", # 集合名

... key:{iname:true}, # 分组字段

... initial:{dd:0}, # 按照来初始化该值

... $reduce:function(doc,prev) # 每个文档循环一遍 doc当前文档 ,prev : 经过$reduce之后 ,function返回的值

... {

... prev.dd=doc.iage+prev.dd #

... }

...