C# 使用DeflateStream时避免复制压缩数据
假设我们已经给出了一个API函数f(streams),将流中包含的二进制数据放入数据库。我想使用f将一个文件放入数据库,但我想提前压缩数据。因此,我认为我可以做到以下几点:C# 使用DeflateStream时避免复制压缩数据,c#,deflatestream,C#,Deflatestream,假设我们已经给出了一个API函数f(streams),将流中包含的二进制数据放入数据库。我想使用f将一个文件放入数据库,但我想提前压缩数据。因此,我认为我可以做到以下几点: var fileStream= File.OpenRead(path); using(var dstream = new DeflateStream(fileStream, CompressionLevel.Optimal)) f(dstream); 但它似乎只将DeflateStream写入流fileStream,
var fileStream= File.OpenRead(path);
using(var dstream = new DeflateStream(fileStream, CompressionLevel.Optimal))
f(dstream);
但它似乎只将DeflateStream
写入流fileStream
,而在压缩时不从中读取。在我发现的所有示例中,流的CopyTo
方法用于压缩或解压缩。但这意味着在将压缩数据传递给f
之前,我必须在内存中保留一份压缩数据的副本,例如:
var memoryStream = new MemoryStream();
using(var fileStream= File.OpenRead(path))
using(var dstream = new DeflateStream(memoryStream, CompressionLevel.Optimal)) {
fileStream.CopyTo(dstream);
memoryStream.Seek(0, SeekOrigin.Begin);
f(memoryStream);
}
有没有办法避免使用MemoryStream
更新
为了一些评论员的坚持,我添加了一个完整的示例:
using System;
using System.IO;
using System.IO.Compression;
public class ThisWouldBeTheDatabaseClient {
public void f(Stream s) {
// some implementation I don't have access to
// The only thing I know is that it reads data from the stream in some way.
var buffer = new byte[10];
s.Read(buffer,0,10);
}
}
public class Program {
public static void Main() {
var dummyDatabaseClient = new ThisWouldBeTheDatabaseClient();
var dataBuffer = new byte[1000];
var fileStream= new MemoryStream( dataBuffer ); // would be "File.OpenRead(path)" in real case
using(var dstream = new DeflateStream(fileStream, CompressionLevel.Optimal))
dummyDatabaseClient.f(dstream);
}
}
f
的虚拟实现中的读取操作引发异常:InvalidOperationException:不支持从压缩流读取。在结束评论中的讨论时,我假设使用DeflateStream
不可能实现所需的行为,但在第三方库中有其他选择 DeflateStream只是一个包装器,需要一个用于压缩数据的流。因此,您必须使用两条流
有没有办法避免使用MemoryStream
对
您需要一个流来存储临时数据而不消耗(太多)内存。您可以使用一个临时文件来代替使用MemoryStream
对于懒惰的人(首先像我一样),让我们创建一个类,它的行为大部分类似于MemoryStream
public class TempFileStream : FileStream
{
public TempFileStream() : base(
path: Path.GetTempFileName(),
mode: FileMode.Open,
access: FileAccess.ReadWrite,
share: FileShare.None,
bufferSize: 4096,
options: FileOptions.DeleteOnClose | FileOptions.Asynchronous | FileOptions.Encrypted | FileOptions.RandomAccess)
{
}
}
这里的重要部分是FileOptions.DeleteOnClose
,它将在处理流时删除临时文件
然后使用它
using (var compressedStream = new TempFileStream())
{
using (var deflateStream = new DeflateStream(
stream: compressedStream,
compressionLevel: CompressionLevel.Optimal,
leaveOpen: true))
using (var fileStream = File.OpenRead(path))
{
fileStream.CopyTo(deflateStream);
}
f(compressedStream);
}
DeflateStream
只是一个包装器,需要一个用于压缩数据的流。因此,您必须使用两条流
有没有办法避免使用MemoryStream
对
您需要一个流来存储临时数据而不消耗(太多)内存。您可以使用一个临时文件来代替使用MemoryStream
对于懒惰的人(首先像我一样),让我们创建一个类,它的行为大部分类似于MemoryStream
public class TempFileStream : FileStream
{
public TempFileStream() : base(
path: Path.GetTempFileName(),
mode: FileMode.Open,
access: FileAccess.ReadWrite,
share: FileShare.None,
bufferSize: 4096,
options: FileOptions.DeleteOnClose | FileOptions.Asynchronous | FileOptions.Encrypted | FileOptions.RandomAccess)
{
}
}
这里的重要部分是FileOptions.DeleteOnClose
,它将在处理流时删除临时文件
然后使用它
using (var compressedStream = new TempFileStream())
{
using (var deflateStream = new DeflateStream(
stream: compressedStream,
compressionLevel: CompressionLevel.Optimal,
leaveOpen: true))
using (var fileStream = File.OpenRead(path))
{
fileStream.CopyTo(deflateStream);
}
f(compressedStream);
}
你可以用这个。它的DeflateStream
允许您动态读取压缩数据,这正是您想要的
以下是一个基于鲁福爵士的完整示例:
using System;
using System.IO;
using SharpCompress.Compressors;
using SharpCompress.Compressors.Deflate;
using System.Linq;
public class Program
{
public static void Main()
{
var dataBuffer = Enumerable.Range(1, 50000).Select(e => (byte)(e % 256)).ToArray();
using (var dataStream = new MemoryStream(dataBuffer))
{
// Note: this refers to SharpCompress.Compressors.Deflate.DeflateStream
using (var deflateStream = new DeflateStream(dataStream, CompressionMode.Compress))
{
ConsumeStream(deflateStream);
}
}
}
public static void ConsumeStream(Stream stream)
{
// Let's just prove we can reinflate to the original data...
byte[] data;
using (var decompressed = new MemoryStream())
{
using (var decompressor = new DeflateStream(stream, CompressionMode.Decompress))
{
decompressor.CopyTo(decompressed);
}
data = decompressed.ToArray();
}
Console.WriteLine("Reinflated size: " + data.Length);
int errors = 0;
for (int i = 0; i < data.Length; i++)
{
if (data[i] != (i + 1) % 256)
{
errors++;
}
}
Console.WriteLine("Total errors: " + errors);
}
}
现在不会引发异常,它将提供压缩数据。您可以使用它。它的DeflateStream
允许您动态读取压缩数据,这正是您想要的
以下是一个基于鲁福爵士的完整示例:
using System;
using System.IO;
using SharpCompress.Compressors;
using SharpCompress.Compressors.Deflate;
using System.Linq;
public class Program
{
public static void Main()
{
var dataBuffer = Enumerable.Range(1, 50000).Select(e => (byte)(e % 256)).ToArray();
using (var dataStream = new MemoryStream(dataBuffer))
{
// Note: this refers to SharpCompress.Compressors.Deflate.DeflateStream
using (var deflateStream = new DeflateStream(dataStream, CompressionMode.Compress))
{
ConsumeStream(deflateStream);
}
}
}
public static void ConsumeStream(Stream stream)
{
// Let's just prove we can reinflate to the original data...
byte[] data;
using (var decompressed = new MemoryStream())
{
using (var decompressor = new DeflateStream(stream, CompressionMode.Decompress))
{
decompressor.CopyTo(decompressed);
}
data = decompressed.ToArray();
}
Console.WriteLine("Reinflated size: " + data.Length);
int errors = 0;
for (int i = 0; i < data.Length; i++)
{
if (data[i] != (i + 1) % 256)
{
errors++;
}
}
Console.WriteLine("Total errors: " + errors);
}
}
现在,这不会引发异常,并将提供压缩数据。您提供的代码无法编译-在不同的位置缺少括号和大括号。请提供一个(我还强烈建议您即使在单个语句if/using/etc语句中也使用大括号)注意,这些编辑仍然没有创建一个新的。我们不能复制、粘贴、编译、运行和查看问题。@JonSkeet我认为你对这个问题太苛刻了。它看起来非常清楚,并且不能包含最少的示例,因为它不是关于工作不正确的代码,而是关于如何以某种方式编写代码以实现指定目标(避免缓冲到额外的
内存流
).DeflateStream表示未压缩流数据,而包装流表示压缩流数据。-是的,您总是需要另一个流进行压缩(这里是MemoryStream)。如果您担心内存消耗,请将FileStream与临时文件一起使用—您提供的代码将无法编译—在不同的位置缺少括号和大括号。请提供一个(我还强烈建议您即使在单个语句if/using/etc语句中也使用大括号)注意,这些编辑仍然没有创建一个新的。我们不能复制、粘贴、编译、运行和查看问题。@JonSkeet我认为你对这个问题太苛刻了。它看起来非常清楚,并且不能包含最少的示例,因为它不是关于工作不正确的代码,而是关于如何以某种方式编写代码以实现指定目标(避免缓冲到额外的内存流
).DeflateStream表示未压缩流数据,而包装流表示压缩流数据。-是的,您总是需要另一个流进行压缩(这里是MemoryStream)。如果您担心内存消耗,请将FileStream与临时文件一起使用,以及为什么使用FileOption.Encrypted
?只是出于偏执:o)我认为有一种更好的方法,即使用内置DeflateStream
的替代方法。根本不需要临时文件。我强烈怀疑SharpCompress
中的DeflateStream
会起作用。如果OP提供了一个,我们会看到…@JonSkeet在简短地看了SharpCompress之后,deflatestStream也需要一个流-它没有解决主要问题:使用MemoryStream时处理内存消耗感谢鲁福爵士的回答,但是Jon Skeet建议使用SharpCompress更接近我想要的解决方案。我真的很感谢你花时间回答我的问题。为什么FileOption.Encrypted
?只是出于偏执:o)我认为有一个更好的方法来解决这个问题,那就是使用内置的DeflateStream
的替代品。根本不需要临时文件。我强烈怀疑SharpCompress
中的DeflateStream
会起作用。如果OP提供了一个,我们会看到…@JonSkeet在短暂查看SharpCompress后,DeflateStream需要一个str