MongoDB如何实现MapReduce聚合
Admin 2022-11-23 群英技术资讯 883 次浏览
Mongodb是针对大数据量环境下诞生的用于保存大数据量的非关系型数据库,针对大量的数据,如何进行统计操作至关重要,那么如何从Mongodb中统计一些数据呢?
在Mongodb中,给我们提供了三种用于数据聚合的方式:
(1)简单的用户聚合函数;
(2)使用aggregate进行统计;
(3)使用mapReduce进行统计;
今天我们首先来讲讲mapReduce是如何统计,在后续的文章中,将另起文章进行相关说明。
MapReduce是啥呢?以我的理解,其实就是对集合中的各个满足条件的文档进行预处理,整理出想要的数据然后进行统计得到最终的统计结果。其中map函数用于对集合中的各个满足条件的文档进行预处理,整理出想要的数据。Reduce函数用于对整理出的数据进行处理得到统计结果。Map函数和Reduce函数都是JavaScript函数。
首先,我们先构造一个测试数据集test,使用js脚本往集合中随机插入一组数据,每条记录是哪个人花了多少钱买了什么东西。具体脚本test1.js如下:
<span style=
"font-family:KaiTi_GB2312;"
><span style=
"font-size:18px;"
>
for
( var i=0; i<100; i++){
var rID=Math.floor(Math.random()*10);
var price = parseFloat((Math.random()*10).toFixed(2));
if(rID<3){
db.test.
insert
({
"user"
:
"majing"
,
"sku"
:rID,
"price"
:price});
}
else
if(rID>=3 && rID<5){
db.test.
insert
({
"user"
:
"wufenglei"
,
"sku"
:rID,
"price"
:price});
}
else
if(rID>=5 && rID<8){
db.test.
insert
({
"user"
:
"wufenglei"
,
"sku"
:rID,
"price"
:price});
}
else
{
db.test.
insert
({
"user"
:
"liyonghu"
,
"sku"
:rID,
"price"
:price});
}
}</span></span>
接下来我们通过在控制台执行脚本来向数据库插入具体的数据,具体执行指令如下:
<span style=
"font-family:KaiTi_GB2312;"
><span style=
"font-size:18px;"
>mongo 127.0.0.1:27017/test J:/test1.js</span></span>
执行之后,通过MongoVUE来查看下具体的数据,如下所示,数据已经插入到集合中了:
接下来,我们可以做几个简单的统计操作了。
(1)统计不同用户都买了多少个商品?编写js脚本test2.js,将结果保存到statis1集合中。
<span style=
"font-family:KaiTi_GB2312;"
><span style=
"font-size:18px;"
><span style=
"font-size:18px;"
>map=
function
(){
emit(this.
user
,1);
}
reduce=
function
(
key
,
values
){
var
count
= 0;
values
.forEach(
function
(val){
count
+= val});
return
count
;
}
db.test.mapReduce(map, reduce, {
out
:
"statics1"
});</span></span></span>
按照刚才执行脚本的方式执行test2.js,并查看数据:
从数据库就可以直观看到统计数据了,若想查看某个人如majing购买了多少个商品,直接使用
<span style=
"font-family:KaiTi_GB2312;"
>
<span style=
"font-size:18px;"
>
<span style=
"font-size:18px;"
>
<span style=
"font-family:KaiTi_GB2312;font-size:18px;"
>db.statics1.find({
"_id"
:
"majing"
});
</span>
</span>
</span>
</span>
(2)统计每个用户购买的每个商品的数量情况
脚本test3.js如下所示:
<span style=
"font-family:KaiTi_GB2312;"
><span style=
"font-size:18px;"
><span style=
"font-size:18px;"
>map=
function
(){
emit({
user
:this.
user
,sku:this.sku},1);
}
reduce=
function
(
key
,
values
){
var
count
= 0;
values
.forEach(
function
(val){
count
+= val});
return
count
;
}
db.test.mapReduce(map, reduce, {
out
:
"statics2"
});</span></span></span>
按照刚才执行脚本的方式执行test3.js,并查看数据:
总共返回了10条记录。此时如果我们想查找某个用户购买商品的情况,可以使用下面的查询方法:
<span style=
"font-family:KaiTi_GB2312;"
><span style=
"font-size:18px;"
><span style=
"font-size:18px;"
>db.statics2.find({
"_id.user"
:
"majing"
});</span></span></span>
如果我们想查找某个用户购买某个商品的情况,可以使用下面的查询方法:
(3)统计每个用户购买商品的总量及花费的总金额
脚本test4.js如下所示:
<span style=
"font-family:KaiTi_GB2312;"
><span style=
"font-size:18px;"
><span style=
"font-size:18px;"
>map=
function
(){
emit({
user
:this.
user
},{totalprice:this.price,
count
:1});
}
reduce=
function
(
key
,
values
){
var res = {totalprice:0.00,
count
:1};
values
.forEach(
function
(val){res.totalprice += val.totalprice;res.
count
+=val.
count
;});
return
res;
}
db.test.mapReduce(map, reduce, {
out
:
"statics3"
});</span></span></span>
按照刚才执行脚本的方式执行test4.js,并查看数据:
(4)统计每个用户购买商品的平均价钱
在这个情景下,我们需要用到说道mapReduce里的另一个参数finalize,该参数是一个javascript脚本函数,用于对reduce后的集合进行一个后期处理操作。
执行脚本test5.js,具体如下所示
<span style=
"font-family:KaiTi_GB2312;"
><span style=
"font-size:18px;"
><span style=
"font-size:18px;"
>map=
function
(){
emit({
user
:this.
user
},{totalprice:this.price,
count
:1});
}
reduce=
function
(
key
,
values
){
var res = {totalprice:0.00,
count
:1,average:0};
values
.forEach(
function
(val){res.totalprice += val.totalprice;res.
count
+=val.
count
;});
return
res;
}
finalizeFunc=
function
(
key
,reduceResult){
reduceResult.totalprice=(reduceResult.totalprice).toFixed(2);
reduceResult.average=(reduceResult.totalprice/reduceResult.
count
).toFixed(2);
return
reduceResult;
}
db.test.mapReduce(map, reduce, {
out
:
"statics4"
,finalize:finalizeFunc});</span></span></span>
执行之后查看得到的数据,具体如下所示,显示了总价钱,商品数量和商品单价。
如果想查找某个人的,可以和上面的查询方法一样,使用find()方法进行查询:
<span style=
"font-family:KaiTi_GB2312;"
><span style=
"font-size:18px;"
><span style=
"font-size:18px;"
>db.statics4.find({
"_id.user"
:
"majing"
});</span></span></span>
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。
猜你喜欢
mongodb客户端建表的方法:1、从shell登录mongodb客户端。2、直接使用use命令选择数据库,然后使用insert命令往表中插数据即可自动创建数据库与表。
MongoDB 排序 MongoDB sort() 方法 在 MongoDB 中使用 sort() 方法对数据进行排序,sort() 方法可以通过参数指定排序的字段,并使用 1 和 -1 来指定排序的方式,其中 1 为升序排列,而 -1 是用于降序排列。 语法 sort()方法基本语法如下所示: >db.COLLECTION_NAME.find().sort({KEY:1}) 实例 col 集合中的数据如下: { �..
MongoDB监控工具有哪些?在MongoDB中,有自带两个监控的工具,分别是mongostat和mongotop,很多刚接触MongoDB的朋友可能对于这两个工具的使用不是很了解,对此这篇文章就主要给大家介绍一下关于mongostat和mongotop的使用,感兴趣的朋友可以了解一下。
mongodb数据库创建索引:1、索引命名规范:idx_<构成索引的字段名>。2、如果字段名字过长,可采用字段缩写。3、字段值后面的 1 代表升序;如是 -1 代表 降序。
这篇文章主要介绍了Java操作mongodb的模糊查询和精确查询,使用regex关键字实现模糊查询操作,具体实现代码大家参考下本文
成为群英会员,开启智能安全云计算之旅
立即注册Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008