在WebExtensions(JavaScript、Firefox)中读取LZ4压缩文本文件(mozlz4)
我正在将Firefox附加SDK扩展移植到WebExtensions。以前我可以访问浏览器的搜索引擎,但现在我不能,因此一位有帮助的用户建议我尝试阅读search.json.mozlz4文件,该文件包含所有已安装的引擎。但是,这个文件是json,采用LZ4压缩,并且是Mozilla的,带有一个自定义的幻数“mozLz40\0” 在此之前,您可以使用它读取使用LZ4压缩的文本文件,包括mozlz4文件:在WebExtensions(JavaScript、Firefox)中读取LZ4压缩文本文件(mozlz4),javascript,file,firefox-addon-webextensions,lz4,Javascript,File,Firefox Addon Webextensions,Lz4,我正在将Firefox附加SDK扩展移植到WebExtensions。以前我可以访问浏览器的搜索引擎,但现在我不能,因此一位有帮助的用户建议我尝试阅读search.json.mozlz4文件,该文件包含所有已安装的引擎。但是,这个文件是json,采用LZ4压缩,并且是Mozilla的,带有一个自定义的幻数“mozLz40\0” 在此之前,您可以使用它读取使用LZ4压缩的文本文件,包括mozlz4文件: let bytes = OS.File.read(path, { compression: "
let bytes = OS.File.read(path, { compression: "lz4" });
let content = new TextDecoder().decode(bytes);
(虽然我找不到关于“compression”字段的文档,但它可以工作)
现在,使用WebExtensions,我能想到的读取文件的最佳方法是
var reader = new FileReader();
reader.readAsText(file);
reader.onload = function(ev) {
let content = ev.target.result;
};
这不会以任何方式处理压缩。处理LZ4,但它是针对node.js的,所以我不能使用它。[编辑:它也可以独立工作]。但是,即使我删除了自定义的幻数处理,我也无法让它解压缩文件,而相比之下,这段Python代码的工作原理与预期一致:
import lz4
file_obj = open("search.json.mozlz4", "rb")
if file_obj.read(8) != b"mozLz40\0":
raise InvalidHeader("Invalid magic number")
print(lz4.block.decompress(file_obj.read()))
如何在JS中做到这一点?经过多次尝试和错误,我终于能够在WebExtension中读取并解码search.json.mozlz4文件。您可以使用,尽管您只需要一个函数-
uncompress
(别名为decodeBlock
,用于外部访问)-因此我将其重命名为decodeLz4Block
,并将其包含在此处,但略有更改:
// This method's code was taken from node-lz4 by Pierre Curto. MIT license.
// CHANGES: Added ; to all lines. Reformated one-liners. Removed n = eIdx. Fixed eIdx skipping end bytes if sIdx != 0.
function decodeLz4Block(input, output, sIdx, eIdx)
{
sIdx = sIdx || 0;
eIdx = eIdx || input.length;
// Process each sequence in the incoming data
for (var i = sIdx, j = 0; i < eIdx;)
{
var token = input[i++];
// Literals
var literals_length = (token >> 4);
if (literals_length > 0) {
// length of literals
var l = literals_length + 240;
while (l === 255) {
l = input[i++];
literals_length += l;
}
// Copy the literals
var end = i + literals_length;
while (i < end) {
output[j++] = input[i++];
}
// End of buffer?
if (i === eIdx) {
return j;
}
}
// Match copy
// 2 bytes offset (little endian)
var offset = input[i++] | (input[i++] << 8);
// 0 is an invalid offset value
if (offset === 0 || offset > j) {
return -(i-2);
}
// length of match copy
var match_length = (token & 0xf);
var l = match_length + 240;
while (l === 255) {
l = input[i++];
match_length += l;
}
// Copy the match
var pos = j - offset; // position of the match copy in the current output
var end = j + match_length + 4; // minmatch = 4
while (j < end) {
output[j++] = output[pos++];
}
}
return j;
}
然后,您可以在附加设置页面中添加一个HTML按钮,让用户搜索并选择search.json.mozlz4(在WebExtensions中,没有用户的干预,您不能简单地打开文件系统中的任何文件):
我希望这对某人有帮助。我确实花了很多时间来解决这个简单的问题 谢天谢地,我弄错了,node-lz4实际上也可以独立工作,实现
require
以避免包装。但是,它似乎无法处理特定的mozlz4格式,该格式具有自定义的lz4幻数(即使从数据和相应的检查中删除幻数)。我用这些更新了问题。
function readMozlz4File(file, onRead, onError)
{
let reader = new FileReader();
reader.onload = function() {
let input = new Uint8Array(reader.result);
let output;
let uncompressedSize = input.length*3; // size estimate for uncompressed data!
// Decode whole file.
do {
output = new Uint8Array(uncompressedSize);
uncompressedSize = decodeLz4Block(input, output, 8+4); // skip 8 byte magic number + 4 byte data size field
// if there's more data than our output estimate, create a bigger output array and retry (at most one retry)
} while (uncompressedSize > output.length);
output = output.slice(0, uncompressedSize); // remove excess bytes
let decodedText = new TextDecoder().decode(output);
onRead(decodedText);
};
if (onError) {
reader.onerror = onError;
}
reader.readAsArrayBuffer(file); // read as bytes
};
<input name="selectMozlz4FileButton" type="file" accept=".json.mozlz4">
let button = document.getElementsByName("selectMozlz4FileButton")[0];
button.onchange = function onButtonPress(ev) {
let file = ev.target.files[0];
readMozlz4File(file, function(text){
console.log(text);
});
};