Python 从async.subprocess.PIPE读取

Python 从async.subprocess.PIPE读取,python,subprocess,pipe,python-asyncio,Python,Subprocess,Pipe,Python Asyncio,我使用这段代码创建一个异步子窗口,然后从stdout获取消息 return asyncio.create_subprocess_exec(*_cmd, stdout=asyncio.subprocess.PIPE, limit=2 ** 32, stderr=asyncio.subprocess.PIPE, loop=loop) 一切都很好,我从管道中读取的是2k jpg 2 fps,图像字节大小是11059200,但读取时的最大大小总是8192,所以我尝试了一次 data = await

我使用这段代码创建一个异步子窗口,然后从stdout获取消息

return asyncio.create_subprocess_exec(*_cmd, stdout=asyncio.subprocess.PIPE, limit=2 ** 32, stderr=asyncio.subprocess.PIPE, loop=loop)
一切都很好,我从管道中读取的是2k jpg 2 fps,图像字节大小是11059200,但读取时的最大大小总是8192,所以我尝试了一次

data = await  p.stdout.read(n=height * width * 3)
看起来还可以

start22018-06-12T19:44:30.902742+08:00
完2018-06-12T19:44:30.909693+08:00
2018-06-12T19:44:30.916675+08:00

如果管道是转换大文件,进程将无法立即处理数据,因此程序总是中断

我想知道,为什么从管道接收的数据包是awlay8192,我可以像正常的Subprocess.pipe.read(bufsize=width*height*3)一样读取吗? 对这个问题有什么好的建议吗

图像字节大小为11059200,但读取时的最大大小始终为8192

最多读取指定的字节数,但返回的字节数可以少于底层系统调用返回的字节数。这通常是一个特性,因为它允许您在数据到达时处理数据,同时仍然强制执行一次存储在内存中的数据量上限

在您的代码中,您希望等待整个图像准备就绪,您可以通过调用而不是
read

print("start1" + str(arrow.now()))
loop_size = int(height * width * 3 / 8192 + 1)
print(loop_size)
list = [await  p.stdout.read(n=height * width * 3) for _ in range(loop_size)]
print("start2" + str(arrow.now()))
data = b"".join(list)
print("end" + str(arrow.now()))

如果您仍在等待全部加入,那么使用wait有什么意义?您可以禁用二进制文件的缓冲,但如果不改变程序结构,我不确定这是否有多重要。@jedwards
await
仍然有意义,因为它允许在数据不可用时运行其他协程。代码写得不正确,因为无法保证数据将以8192字节块的形式到达;我的回答提供了一个正确的选择。@user4815162342实际上,我在windows10上尝试过,数据块大小始终是8192,并且数据可以解析为图像。这里没有争论,我的观点是不能保证它们的大小始终是8192。这类事情可能会受到asyncio或写入管道的程序的实现细节的影响。是的,你是对的。在我问这个问题之前,我尝试了这个api。它总是抛出IncompleReadError,但是现在看起来不错。好吧。也许我添加了一些代码可以让它工作。@user4999758
incompletedreaderror
如果在生成整个消息之前关闭管道,将引发。也许你的图像尺寸计算有缺陷?
data = await p.stdout.readexactly(height * width * 3)