问题:将猫鼬流转换为数组

我曾与 mongodb 合作过,但对 mongoose ORM 还是很陌生。我试图从集合中获取数据,并且 explain() 输出显示为 50 毫秒。通过 mongoose 获取数据的总时间为 9 秒。这是查询:

Node.find({'dataset': datasetRef}, function (err, nodes){
   // handle error and data here
});

然后我在我查询的字段上应用了索引。 explain() 输出现在显示 4 毫秒。但是通过猫鼬检索数据的总时间没有改变。然后我搜索了一下,发现使用lean()可以帮助在mongoose中读取查询的性能非常接近原生的mongodb

所以我将查询更改为:

Node.find({'dataset': datasetRef})
.lean()
.stream({transform: JSON.stringify})
.pipe(res)

这完全解决了性能问题。但最终结果是这样的 JSON 文档流:

{var11: val11, var12: val12}{var21: val21, var22: val22} ...

如何解析它以形成一个文档数组?还是我根本不应该使用流?在我看来,如果我打算在后端形成数组,那么使用流是没有意义的,因为我将不得不等待所有文档被读入内存。但我也认为在前端解析和创建整个数组可能代价高昂。

在这种情况下,如何在不阻塞网络的情况下获得最佳性能?

更新

我正在尝试使用直通流解决此问题。但是,我还不能在 JSON 对象之间插入逗号。请看下面的代码:

res.write("[");

var through = require('through');
var tr = through(
  function write(data){
    this.queue(data.replace(/\}\{/g,"},{"));
  }
);

var dbStream = db.node.find({'dataset': dataSetRef})
.lean()
.stream({'transform': JSON.stringify});

dbStream.on("end", function(){
    res.write("]");
});

dbStream
.pipe(tr)
.pipe(res);

有了这个,我可以得到开头的“\ [”和结尾的“]”。但是,仍然无法将模式“}{”替换为“},{”。不知道我做错了什么

更新 2

现在想通了为什么替换不起作用。看来,由于我已将转换函数指定为 JSON.stringify,它一次读取一个 JSON 对象,因此永远不会遇到模式}{,因为它从不一次选择多个 JSON 元素。

现在我已经修改了我的代码,并编写了一个自定义转换函数,它执行 JSON.stringify,然后在末尾附加一个逗号。我在这里面临的唯一问题是我不知道它何时是流中的最后一个 JSON 对象。因为我不想在这种情况下附加逗号。目前,一旦遇到结束,我就会附加一个空的 JSON 对象。但不知何故,这看起来不像是一个令人信服的想法。这是代码:

res.write("[");
function transform(data){
    return JSON.stringify(data) + ",";
}

var dbStream = db.node.find({'dataset': dataSetRef})
.lean()
.stream({'transform': transform});

dbStream.on("end", function(){
    res.write("{}]");
});

dbStream
.pipe(res);

解答

我在这里面临的唯一问题是我不知道它何时是流中的最后一个 JSON 对象。

但你知道哪个是第一个。知道这一点,您可以将逗号添加到除第一个对象之外的每个对象之前,而不是附加逗号。为此,请在闭包内设置您的转换函数:

function transformFn(){

    var first = true;

    return function(data) {

        if (first) {

            first = false;
            return JSON.stringify(data);
        }
        return "," + JSON.stringify(data);
    }
}

现在您可以调用该函数并将其设置为您的实际转换。

var transform = transformFn();
res.write("[");
var dbStream = db.node.find({'dataset': dataSetRef})
.lean()
.stream({'transform': transform});

dbStream.on("end", function(){
    res.write("]");
});

dbStream
.pipe(res);