博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
mongodb删除重复数据
阅读量:6950 次
发布时间:2019-06-27

本文共 1114 字,大约阅读时间需要 3 分钟。

  hot3.png

db.t_user_task.aggregate([

  {
    $group: {
      _id: {
        uid: '$uid',
        taskId: '$taskId'
      },
      count: {
        $sum: 1
      },
      dups: {
        $addToSet: '$_id'
      }
    }
  },
  {
    $match: {
      count: {
        $gt: 1
      }
    }
  }
]).forEach(function(doc){
  doc.dups.shift();db.t_user_task.remove({
    _id: {
      $in: doc.dups
    }
  });
})

1.根据uid和taskId分组并统计数量,$group只会返回参与分组的字段,使用$addToSet在返回结果数组中增加_id字段

2.使用$match匹配数量大于1的数据

3.doc.dups.shift();表示从数组第一个值开始删除;作用是踢除重复数据其中一个_id,让后面的删除语句不会删除所有数据

4.使用forEach循环根据_id删除数据

 

$addToSet 操作符只有在值没有存在于数组中时才会向数组中添加一个值。如果值已经存在于数组中,$addToSet返回,不会修改数组。

 

注意:forEach和$addToSet的驼峰写法不能全部写成小写,因为mongodb严格区分大小写mongodb严格区分大小写mongodb严格区分大小写,重要的事情说三遍!

 

db.t_user_task.aggregate([ {$match: { startTime: { $gt: 20180205 }} }, { $group: { _id: {uid: '$uid',taskId: '$taskId'},count: {$sum: 1}, dups: {$addToSet: '$_id'}}},   {$match: {count: {$gt: 1}}}   ])

 

db.t_user_task.aggregate([  { $group: { _id: {uid: '$uid',taskId: '$taskId'},count: {$sum: 1}, dups: {$addToSet: '$_id'}}},   {$match: {count: {$gt: 1}}}   ]).forEach(function(doc){doc.dups.shift();db.t_user_task.remove({_id: {$in: doc.dups}});})

 

163300_Xq2Z_2341969.png

163552_FwPY_2341969.png

163502_ZX85_2341969.png

 

数据量还可以的情况,耐心等待便是

 

 

 

转载于:https://my.oschina.net/zz006/blog/1619154

你可能感兴趣的文章
eclipse提示打不开java虚拟机
查看>>
Google Go TCP 开发
查看>>
Git基础之(十五)——分支管理——分支管理策略
查看>>
【sed 工具的使用】
查看>>
使用PyInstaller将Python程序打包成一个单独的exe文件
查看>>
Hyperledger Fabric 实战(八):couchdb 丰富查询 selector 语法
查看>>
ServiceNow常用角色和分组
查看>>
修改数据库归档模式
查看>>
javascript基础(json数据操作)
查看>>
afinal第一炮
查看>>
NFS客户端在/etc/fstab设置开机挂载后,开机时无法进入系统
查看>>
LINUX 命令手册
查看>>
【二 HTTP编程】2. HTTP路由
查看>>
数据分析的广阔前景
查看>>
Android AlertDialog的一切
查看>>
SRE之道:创造软件系统来维护系统运行
查看>>
Go Get设置代理
查看>>
linux定位异常前后日志信息
查看>>
我的友情链接
查看>>
PHP网站安装程序制作的原理、步骤、注意事项和示例代码
查看>>