能够从sh脚本（而不是python脚本）实时获取stdout/stderr（在python中）。

我遇到了一种奇怪的行为。我有一个简单的函数来执行命令（shell=True）并捕获输出，同时将其实时打印到屏幕上（curtsy of）

我制作了两个虚拟脚本来测试这个。第一个使用纯shell脚本（/bin/sh）向stdout和stderr写入一些行。第二种方法使用shell脚本调用python来执行相同的过程

在第一种情况下（sh），我按预期捕获所有输出，但在第二种情况下（python），首先捕获所有stderr，然后才捕获stdout的部分，但不是全部。这是怎么回事

这是我的剧本

import subprocess
import sys
import select

def tee_command(sh_script):
    proc = subprocess.Popen(sh_script,
                            stdout=subprocess.PIPE, stderr=subprocess.PIPE,
                            shell=True, universal_newlines=True)
    def getfd(s):
        # import six
        # if six.PY3:
        #     return s.buffer
        # else:
        return s.fileno()
    stdout = []
    stderr = []
    while True:
        reads = [getfd(proc.stdout), getfd(proc.stderr)]
        ret = select.select(reads, [], [])

        for fd in ret[0]:
            if fd == getfd(proc.stdout):
                read = proc.stdout.readline()
                sys.stdout.write('stdout: ' + str(read))
                sys.stdout.flush()
                stdout.append(read)
            if fd == getfd(proc.stderr):
                read = proc.stderr.readline()
                sys.stdout.write('stderr: ' + str(read))
                sys.stdout.flush()
                stderr.append(read)

        if proc.poll() is not None:
            break

    print('stdout:\n', ''.join(stdout))
    print('stderr:\n', ''.join(stderr))

from textwrap import dedent

sh_script = dedent(
    r'''
    for i in `seq 1 50`;
    do
        sleep .1
        >&1 echo "O$i"
        if [ "$(($i % 5))" = "0" ]; then
            >&2 echo "E$i"
        fi
    done
    ''').lstrip()
tee_command(sh_script)

sh_script = dedent(
    r'''
    python -c "
    import sys
    import time
    for i in range(100):
        time.sleep(.1)
        sys.stdout.write('O{}\n'.format(i))
        if i % 5 == 0:
            sys.stderr.write('E{}\n'.format(i))
    "
    ''').lstrip()
tee_command(sh_script)

第一个案例产生

stdout: O1
stdout: O2
stdout: O3
stdout: O4
stdout: O5
stderr: E5
stdout: O6
stdout: O7
stdout: O8
stdout: O9
stdout: O10
stderr: E10
stdout: O11
stdout: O12
stdout: O13
stdout: O14
stdout: O15
stderr: E15
stdout: O16
stdout: O17
stdout: O18
stdout: O19
stdout: O20
stderr: E20
stdout: O21
stdout: O22
stdout: O23
stdout: O24
stdout: O25
stderr: E25
stdout: O26
stdout: O27
stdout: O28
stdout: O29
stdout: O30
stderr: E30
stdout: O31
stdout: O32
stdout: O33
stdout: O34
stdout: O35
stderr: E35
stdout: O36
stdout: O37
stdout: O38
stdout: O39
stdout: O40
stderr: E40
stdout: O41
stdout: O42
stdout: O43
stdout: O44
stdout: O45
stderr: E45
stdout: O46
stdout: O47
stdout: O48
stdout: O49
stdout: O50
stderr: E50
stdout: stderr: stdout:
 O1
O2
O3
O4
O5
O6
O7
O8
O9
O10
O11
O12
O13
O14
O15
O16
O17
O18
O19
O20
O21
O22
O23
O24
O25
O26
O27
O28
O29
O30
O31
O32
O33
O34
O35
O36
O37
O38
O39
O40
O41
O42
O43
O44
O45
O46
O47
O48
O49
O50

stderr:
 E5
E10
E15
E20
E25
E30
E35
E40
E45
E50

但第二个案例写道：

stderr: E0
stderr: E5
stderr: E10
stderr: E15
stderr: E20
stderr: E25
stderr: E30
stderr: E35
stderr: E40
stderr: E45
stderr: E50
stderr: E55
stderr: E60
stderr: E65
stderr: E70
stderr: E75
stderr: E80
stderr: E85
stderr: E90
stderr: E95
stdout: O0
stdout: O1
stdout: O2
stdout: O3
stdout: O4
stdout: O5
stdout: O6
stdout: O7
stdout: O8
stdout: O9
stdout: O10
stdout: O11
stdout: O12
stdout: O13
stdout: O14
stdout: O15
stdout: O16
stdout: O17
stdout: O18
stdout: O19
stdout: O20
stdout: O21
stdout: O22
stdout: O23
stdout: O24
stdout: O25
stdout: O26
stdout: O27
stdout: O28
stdout: O29
stdout: O30
stdout: O31
stdout: O32
stdout: O33
stdout: O34
stdout: O35
stdout: O36
stdout: O37
stdout: O38
stderr: stdout:
 O0
O1
O2
O3
O4
O5
O6
O7
O8
O9
O10
O11
O12
O13
O14
O15
O16
O17
O18
O19
O20
O21
O22
O23
O24
O25
O26
O27
O28
O29
O30
O31
O32
O33
O34
O35
O36
O37
O38

stderr:
 E0
E5
E10
E15
E20
E25
E30
E35
E40
E45
E50
E55
E60
E65
E70
E75
E80
E85
E90
E95

---

我在Ubuntu 16.04上运行Python 3.5，这是因为bash标准输出是行缓冲的，而Python有固定长度的缓冲区。如果更改，请添加对python脚本的

flush

调用：

for i in range(100):
    time.sleep(.1)
    sys.stdout.write('O{}\n'.format(i))
    sys.stdout.flush()
    if i % 5 == 0:
        sys.stderr.write('E{}\n'.format(i))
"
''').lstrip()

然后，您将看到两个内部脚本的预期结果相同

Python为stderr执行行缓冲，因此stderr总是被打印出来

---

当内部python脚本终止时，将刷新完整的标准输出缓冲区，但方法

tee\u命令

会逐行从进程标准输出读取数据。因此，如果proc.poll（）检测到子进程退出，它可能会读取一行，然后忽略其余的行

太好了。在

proc.poll（）之后添加刷新并检查行不是无的

就像一个符咒。非常感谢。是否存在控制已执行程序如何进行缓冲的方法，或者这完全取决于程序？程序控制其缓冲。如何影响python程序缓冲，请参见。