Python 使用QThread将动态创建的QImage帧转换为ffmpeg标准

我正在尝试使用ffmpeg创建视频文件，使用在单独线程上动态创建的帧

虽然我可以创建这些帧并将它们存储在磁盘/内存中，但我希望避免这种情况，因为帧的数量/大小可能很高，并且可以使用不同的格式或选项创建许多“作业”。但是，同样重要的是，我想更好地理解这背后的逻辑，因为我承认我对线程/处理实际上是如何工作的还不是很了解

现在我正在尝试在QThread对象中创建QProcess，然后在进程启动后立即运行映像创建线程，但它似乎不起作用：没有创建任何文件，我甚至没有从标准错误中获得任何输出（但我知道我应该这样做，因为如果我不使用线程，我可以获得它）

不幸的是，由于我对QProcess如何处理线程和管道（以及所有可能的ffmpeg选项）知之甚少，我真的不明白如何实现这一点

除了获得创建的输出文件外，预期的结果是能够启动编码（同时可能对更多编码进行排队），同时保持UI响应并获得当前处理状态的通知

import re
from PyQt5 import QtCore, QtGui, QtWidgets

logRegExp = r'(?:(n:\s+)(?P<frame>\d+)\s).*(?:(pts_time:\s*)(?P<time>\d+.\d*))'

class Encoder(QtCore.QThread):
    completed = QtCore.pyqtSignal()
    frameDone = QtCore.pyqtSignal(object)
    def __init__(self, width=1280, height=720, frameCount=100):
        super().__init__()
        self.width = width
        self.height = height
        self.frameCount = frameCount

    def start(self):
        self.currentLog = ''
        self.currentData = bytes()
        self.process = QtCore.QProcess()
        self.process.setReadChannel(self.process.StandardError)
        self.process.finished.connect(self.completed)
        self.process.readyReadStandardError.connect(self.stderr)
        self.process.started.connect(super().start)
        self.process.start('ffmpeg', [
            '-y', 
            '-f', 'png_pipe', 
            '-i', '-', 
            '-c:v', 'libx264', 
            '-b:v', '800k', 
            '-an', 
            '-vf', 'showinfo',
            '/tmp/test.h264', 
        ])

    def stderr(self):
        self.currentLog += str(self.process.readAllStandardError(), 'utf-8')
        *lines, self.currentLog = self.currentLog.split('\n')
        for line in lines:
            print('STDERR: {}'.format(line))
            match = re.search(logRegExp, line)
            if match:
                data = match.groupdict()
                self.frameDone.emit(int(data['frame']))

    def run(self):
        font = QtGui.QFont()
        font.setPointSize(80)
        rect = QtCore.QRect(0, 0, self.width, self.height)
        for frame in range(1, self.frameCount + 1):
            img = QtGui.QImage(QtCore.QSize(self.width, self.height), QtGui.QImage.Format_ARGB32)
            img.fill(QtCore.Qt.white)
            qp = QtGui.QPainter(img)
            qp.setFont(font)
            qp.setPen(QtCore.Qt.black)
            qp.drawText(rect, QtCore.Qt.AlignCenter, 'Frame {}'.format(frame))
            qp.end()
            img.save(self.process, 'PNG')
        print('frame creation complete')


class Test(QtWidgets.QWidget):
    def __init__(self):
        super().__init__()
        layout = QtWidgets.QVBoxLayout(self)
        self.startButton = QtWidgets.QPushButton('Start')
        layout.addWidget(self.startButton)

        self.frameLabel = QtWidgets.QLabel()
        layout.addWidget(self.frameLabel)

        self.process = Encoder()
        self.process.completed.connect(lambda: self.startButton.setEnabled(True))
        self.process.frameDone.connect(self.frameLabel.setNum)
        self.startButton.clicked.connect(self.create)

    def create(self):
        self.startButton.setEnabled(False)
        self.process.start()


import sys
app = QtWidgets.QApplication(sys.argv)
test = Test()
test.show()
sys.exit(app.exec_())

---

好处：我在Linux上，我不知道它在Windows上是否有不同的工作方式（我想它在MacOS上也会有类似的工作方式），但无论如何，我想知道是否有不同之处，以及如何处理它们。

事实证明，我部分是对的，部分是错的

ffmpeg有多个级别和数量的内部缓冲，这取决于输入/输出格式、过滤器和编解码器：我只是没有创建足够的帧来观察这种情况

与QProcess的交互应该发生在创建QProcess的线程中

因此，数据不能从不同的线程直接写入写入通道，因此必须使用信号

写入所有数据时，必须关闭写入通道（从其同一线程），以确保编码完成 考虑到上述情况，我只使用线程创建图像，然后使用保存的每个图像的QByteArray发出信号；最后，在图像创建完成后，我等待实际完成（基于

showinfo

filter输出），以便线程在该点实际被视为完成。在多个作业的情况下，可以使用一些优化来排队进一步创建映像，但考虑到这可能不会大大提高性能，我更喜欢当前的方法

这是修改后的代码，我用不同的格式进行了测试，它似乎可以按预期工作

import re
from PyQt5 import QtCore, QtGui, QtWidgets

logRegExp = r'(?:(n:\s+)(?P<frame>\d+)\s).*(?:(pts_time:\s*)(?P<time>\d+.\d*))'

class Encoder(QtCore.QThread):
    completed = QtCore.pyqtSignal()
    frameDone = QtCore.pyqtSignal(object)
    imageReady = QtCore.pyqtSignal(object)
    def __init__(self):
        super().__init__()
        self.imageReady.connect(self.writeImage)
        self.queue = []

        self.process = QtCore.QProcess()
        self.process.setReadChannel(self.process.StandardError)
        self.process.finished.connect(self.processQueue)
        self.process.readyReadStandardError.connect(self.stderr)
        self.process.started.connect(self.start)

    def addJob(self, width=1280, height=720, frameCount=500, format='h264', *opts):
        self.queue.append((width, height, frameCount, format, opts))
        if not self.process.state():
            self.processQueue()

    def writeImage(self, image):
        self.process.write(image)
        self.imageCount += 1
        if self.imageCount == self.frameCount:
            self.process.closeWriteChannel()

    def processQueue(self):
        if not self.queue:
            return
        self.currentLog = ''
        self.lastFrameWritten = -1
        self.imageCount = 0
        self.width, self.height, self.frameCount, format, opts = self.queue.pop(0)
        args = [
            '-y', 
            '-f', 'png_pipe', 
            '-i', '-',
        ]
        if opts:
            args += [str(o) for o in opts]
        args += [
            '-an', 
            '-vf', 'showinfo',
            '/tmp/test.{}'.format(format), 
        ]
        self.process.start('ffmpeg', args)

    def stderr(self):
        self.currentLog += str(self.process.readAllStandardError(), 'utf-8')
        *lines, self.currentLog = self.currentLog.split('\n')
        for line in lines:
            match = re.search(logRegExp, line)
            if match:
                data = match.groupdict()
                self.lastFrameWritten = int(data['frame'])
                self.frameDone.emit(self.lastFrameWritten + 1)
            else:
                print(line)

    def run(self):
        font = QtGui.QFont()
        font.setPointSize(80)
        rect = QtCore.QRect(0, 0, self.width, self.height)
        for frame in range(1, self.frameCount + 1):
            img = QtGui.QImage(QtCore.QSize(self.width, self.height), 
                QtGui.QImage.Format_ARGB32)
            img.fill(QtCore.Qt.white)
            qp = QtGui.QPainter(img)
            qp.setFont(font)
            qp.setPen(QtCore.Qt.black)
            qp.drawText(rect, QtCore.Qt.AlignCenter, 'Frame {}'.format(frame))
            qp.end()
            ba = QtCore.QByteArray()
            buffer = QtCore.QBuffer(ba)
            img.save(buffer, 'PNG')
            self.imageReady.emit(ba)
        while self.lastFrameWritten < self.frameCount - 1:
            self.sleep(.5)
        self.completed.emit()


class Test(QtWidgets.QWidget):
    def __init__(self):
        super().__init__()
        layout = QtWidgets.QVBoxLayout(self)
        self.startButton = QtWidgets.QPushButton('Start')
        layout.addWidget(self.startButton)

        self.frameLabel = QtWidgets.QLabel()
        layout.addWidget(self.frameLabel)

        self.encoder = Encoder()
        self.encoder.completed.connect(lambda: self.startButton.setEnabled(True))
        self.encoder.frameDone.connect(self.frameLabel.setNum)
        self.startButton.clicked.connect(self.create)

    def create(self):
        self.startButton.setEnabled(False)
        self.encoder.addJob()


if __name__ == '__main__':
    import sys
    app = QtWidgets.QApplication(sys.argv)
    test = Test()
    test.show()
    sys.exit(app.exec_())

重新导入
从PyQt5导入QtCore、QtGui、QtWidgets
logRegExp=r'（？：（n:\s+（-P\d+）\s）。*（？：（pts\u-time:\s*）（-P\d+。-d*））
类编码器（QtCore.QThread）：
已完成=QtCore.pyqtSignal（）
frameDone=QtCore.pyqtSignal（对象）
imageReady=QtCore.pyqtSignal（对象）
定义初始化（自）：
super（）。\uuuu init\uuuuu（）
self.imageReady.connect（self.writeImage）
self.queue=[]
self.process=QtCore.QProcess（）
self.process.setReadChannel（self.process.StandardError）
self.process.finished.connect（self.processQueue）
self.process.readyReadStandardError.connect（self.stderr）
self.process.start.connect（self.start）
def addJob（self，宽度=1280，高度=720，帧数=500，格式=h264'，*选项）：
self.queue.append（（宽度、高度、帧数、格式、选项））
如果不是self.process.state（）：
self.processQueue（）
def writeImage（自我、图像）：
self.process.write（图像）
self.imageCount+=1
如果self.imageCount==self.frameCount：
self.process.closeWriteChannel（）
def processQueue（自）：
如果不是自队列：
返回
self.currentLog=“”
self.lastFrameWrited=-1
self.imageCount=0
self.width、self.height、self.frameCount、format、opts=self.queue.pop（0）
args=[
“-y”，
“-f”、“png_管道”，
“-i”、“-”，
]
如果选择：
args+=[str（o）表示选项中的o]
args+=[
“-安”，
“-vf”、“showinfo”，
“/tmp/test.{}”.format（format），
]
self.process.start（'ffmpeg'，args）
def标准差（自身）：
self.currentLog+=str（self.process.readAllStandardError（），'utf-8'）
*行，self.currentLog=self.currentLog.split（'\n'）
对于行中的行：
匹配=重新搜索（logRegExp，第行）
如果匹配：
data=match.groupdict（）
self.lastFrameWrite=int（数据['frame']）
self.frameDone.emit（self.lastFrameWrited+1）
其他：
打印（行）
def运行（自）：
font=QtGui.QFont（）
font.setPointSize（80）
rect=QtCore.QRect（0，0，self.width，self.height）
对于范围内的帧（1，self.frameCount+1）：
img=QtGui.QImage（QtCore.QSize（self.width，self.height），
QtGui.QImage.Format_ARGB32）
img.填充（QtCore.Qt.白色）
qp=QtGui.QPainter（img）
qp.setFont（字体）
qp.setPen（QtCore.Qt.black）
drawText（rect，QtCore.Qt.AlignCenter，'Frame{}'。格式（Frame））
qp.end（）
ba=QtCore.QByteArray（）
buffer=QtCore.QBuffer（ba）
img.save（缓冲区'PNG'）
self.imageReady.emit（ba）
self.lastFrameWriteimport re
from PyQt5 import QtCore, QtGui, QtWidgets

logRegExp = r'(?:(n:\s+)(?P<frame>\d+)\s).*(?:(pts_time:\s*)(?P<time>\d+.\d*))'

class Encoder(QtCore.QThread):
    completed = QtCore.pyqtSignal()
    frameDone = QtCore.pyqtSignal(object)
    imageReady = QtCore.pyqtSignal(object)
    def __init__(self):
        super().__init__()
        self.imageReady.connect(self.writeImage)
        self.queue = []

        self.process = QtCore.QProcess()
        self.process.setReadChannel(self.process.StandardError)
        self.process.finished.connect(self.processQueue)
        self.process.readyReadStandardError.connect(self.stderr)
        self.process.started.connect(self.start)

    def addJob(self, width=1280, height=720, frameCount=500, format='h264', *opts):
        self.queue.append((width, height, frameCount, format, opts))
        if not self.process.state():
            self.processQueue()

    def writeImage(self, image):
        self.process.write(image)
        self.imageCount += 1
        if self.imageCount == self.frameCount:
            self.process.closeWriteChannel()

    def processQueue(self):
        if not self.queue:
            return
        self.currentLog = ''
        self.lastFrameWritten = -1
        self.imageCount = 0
        self.width, self.height, self.frameCount, format, opts = self.queue.pop(0)
        args = [
            '-y', 
            '-f', 'png_pipe', 
            '-i', '-',
        ]
        if opts:
            args += [str(o) for o in opts]
        args += [
            '-an', 
            '-vf', 'showinfo',
            '/tmp/test.{}'.format(format), 
        ]
        self.process.start('ffmpeg', args)

    def stderr(self):
        self.currentLog += str(self.process.readAllStandardError(), 'utf-8')
        *lines, self.currentLog = self.currentLog.split('\n')
        for line in lines:
            match = re.search(logRegExp, line)
            if match:
                data = match.groupdict()
                self.lastFrameWritten = int(data['frame'])
                self.frameDone.emit(self.lastFrameWritten + 1)
            else:
                print(line)

    def run(self):
        font = QtGui.QFont()
        font.setPointSize(80)
        rect = QtCore.QRect(0, 0, self.width, self.height)
        for frame in range(1, self.frameCount + 1):
            img = QtGui.QImage(QtCore.QSize(self.width, self.height), 
                QtGui.QImage.Format_ARGB32)
            img.fill(QtCore.Qt.white)
            qp = QtGui.QPainter(img)
            qp.setFont(font)
            qp.setPen(QtCore.Qt.black)
            qp.drawText(rect, QtCore.Qt.AlignCenter, 'Frame {}'.format(frame))
            qp.end()
            ba = QtCore.QByteArray()
            buffer = QtCore.QBuffer(ba)
            img.save(buffer, 'PNG')
            self.imageReady.emit(ba)
        while self.lastFrameWritten < self.frameCount - 1:
            self.sleep(.5)
        self.completed.emit()


class Test(QtWidgets.QWidget):
    def __init__(self):
        super().__init__()
        layout = QtWidgets.QVBoxLayout(self)
        self.startButton = QtWidgets.QPushButton('Start')
        layout.addWidget(self.startButton)

        self.frameLabel = QtWidgets.QLabel()
        layout.addWidget(self.frameLabel)

        self.encoder = Encoder()
        self.encoder.completed.connect(lambda: self.startButton.setEnabled(True))
        self.encoder.frameDone.connect(self.frameLabel.setNum)
        self.startButton.clicked.connect(self.create)

    def create(self):
        self.startButton.setEnabled(False)
        self.encoder.addJob()


if __name__ == '__main__':
    import sys
    app = QtWidgets.QApplication(sys.argv)
    test = Test()
    test.show()
    sys.exit(app.exec_())