Javascript 如何在使用Node JS将文件保存到Mongo Db之前获取文件的MD5哈希?
如何在使用Node JS将文件保存到Mongo Db之前获取从服务器下载的文件的MD5哈希?。因为我从远程服务器下载了一个文件,然后我直接将请求流传输到gridfs写入流,现在它与MD5数据等一起存储在mongo db上。现在我希望避免保存重复文件,以便它只保存不存在的文件 现在,如何获取下载文件的MD5哈希值,以便将MD5哈希值与数据库中存储的MD5哈希值进行比较。因为在我的示例中,我只是直接将请求流通过管道传输到gridfs写入流 任何想法。谢谢 示例代码Javascript 如何在使用Node JS将文件保存到Mongo Db之前获取文件的MD5哈希?,javascript,node.js,mongodb,mongoose,gridfs,Javascript,Node.js,Mongodb,Mongoose,Gridfs,如何在使用Node JS将文件保存到Mongo Db之前获取从服务器下载的文件的MD5哈希?。因为我从远程服务器下载了一个文件,然后我直接将请求流传输到gridfs写入流,现在它与MD5数据等一起存储在mongo db上。现在我希望避免保存重复文件,以便它只保存不存在的文件 现在,如何获取下载文件的MD5哈希值,以便将MD5哈希值与数据库中存储的MD5哈希值进行比较。因为在我的示例中,我只是直接将请求流通过管道传输到gridfs写入流 任何想法。谢谢 示例代码 请不要再发问了。就我所知,你已经发
请不要再发问了。就我所知,你已经发布了4次相同的问题,回到了我对原始问题的原始评论。无法从流中获取MD5。只有当文件的完整内容在磁盘上本地加载或存储时,或者在处理完文件的所有字节后,才能执行此操作。这只能在之后发生,而不能在之前发生。那么,关于如何避免在mongo grid fs中存储DUP,有什么想法吗?除了已经告诉您的之外?不可以。如果需要MD5,则必须加载完整的文件。使用
pipe()
无法完成此操作。如果你真的需要,请补充你原来的问题。你不能一直发布同一个问题。那么你的意思是我需要先将文件下载到磁盘?不必是磁盘。请不要重新发布问题。就我所知,你已经发布了4次相同的问题,回到了我对原始问题的原始评论。无法从流中获取MD5。只有当文件的完整内容在磁盘上本地加载或存储时,或者在处理完文件的所有字节后,才能执行此操作。这只能在之后发生,而不能在之前发生。那么,关于如何避免在mongo grid fs中存储DUP,有什么想法吗?除了已经告诉您的之外?不可以。如果需要MD5,则必须加载完整的文件。使用pipe()
无法完成此操作。如果你真的需要,请补充你原来的问题。你不能一直发布同一个问题。那么你的意思是我需要先将文件下载到磁盘?不必下载到磁盘
var gfs = Grid(db, mongo);
var download = function (url, dest, filename callback) {
const file = filename
const fileStorage = gfs.createWriteStream({ filename: file});
request.get(url)
.on('error', function (err) { console.log(err) })
.pipe(fileStorage)
.on('close', callback);
};
final_list.forEach(function (str) {
var filename = str.split('/').pop();
console.log('Downloading ' + filename);
download(str, filename, function () { console.log('Finished Downloading' + "" + filename) });
});