Ffmpeg UDP接收器需要在UDP发送器之前启动

我正试图将一个摄像头运行Raspian Buster的覆盆子Pi0w视频发送到运行Ubuntu18.04的机器上。我正在使用ffmpeg在raspi端使用硬件对h264进行编码，然后通过UDP通过

gst-launch-1.0

发送数据。问题是，如果我启动raspi流，然后启动接收器，接收器将永远无法连接。如果我启动接收器，然后启动raspi流，那么它们会完美连接

Raspi编码和发送命令：

ffmpeg-f video4linux2-帧速率30-视频大小1280x720-i/dev/video0-c:v h264\u omx-b:v 2000k-f avi管道：1 | gst-launch-1.0--gst debug=3 fdsrc！udpsink主机=192.168.1.142端口=8090

接收、解码和显示命令：

gst-launch-1.0 udpsrc端口=8090！队列h264parse！avdec_h264！xImageSink sync=false

我查看了

udpsink

和

udpsrc

属性，并尝试在没有运气的情况下处理

缓冲区大小

、

块大小

和

同步

。我还尝试使用python中的

ffmpeg

，看看问题是否出在接收器端，问题完全相同

import cv2

cap = cv2.VideoCapture('udp://127.0.0.1:8090',cv2.CAP_FFMPEG)
if not cap.isOpened():
    print('VideoCapture not opened')
    exit(-1)

while True:
    ret, frame = cap.read()

    if not ret:
        print('frame empty')
        break

    cv2.imshow('image', frame)

    if cv2.waitKey(1)&0XFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

最后，我可能只编写一个小协议，如果没有数据包通过，我可以切换发送者，但我希望UDP能够更好地处理连接

---

这个问题似乎很简单：但没有解决我的问题，因为我没有任何gstreamer/ffmpeg的阻塞能力

如果希望随机访问，则需要定期发送SPS/PPS数据。如果不这样做，这些数据只会在一开始就被发送。该信息对于解码H.264流至关重要。考虑在<代码> UdpSink < /C>之前添加<代码> H264PARSE < /代码>，并配置它的“代码>配置间隔属性。

< P>您是在正确的轨道上。下面是（稍加修改的）您的

ffmpeg

命令

ffmpeg -f video4linux2 -video_size 1280x720 -i /dev/video0 -c:v h264_omx -b:v 2000k -an -f mpegts udp://192.168.1.142:8090?pkt_size=1316

这是包装成视频。 注意，我在末尾添加了

pkt_size=1316

，通过发送相同的数据包大小来强制ffmpeg进行UDP传输。这将有助于接收器赶上，而不会溢出

要通过UDP接受、解复用和解析MPEG TS，可以使用GStreamer命令

gst-launch-1.0 udpsrc port=8090 \
! queue max-size-buffers=10000000 max-size-time=5000000000 max-size-bytes=20000000 \
! tsdemux name=demux \
demux.video_0_0100 ! queue ! h264parse ! avdec_h264 ! autovideosink

其中，

demux.video\u 0\u 0100

通过其PID（作为基本流的视频ID）从MPEG TS获取解复用视频。在接收方，您可以通过命令找到输入流的所有细节，包括PID

gst-discoverer-1.0 -v -t 20 udp://0.0.0.0:8090

---

所以我尝试了

ffmpeg-f video4linux2-video_大小1280x720-I/dev/video0-c:v h264_omx-b:v 2000k-f avi管道：1 | gst-launch-1.0--gst debug=3 fdsrc！H264解析配置间隔=1！发送方上的udpsink host=192.168.1.142端口=8090

，现在如果首先启动接收器，它甚至不会连接。从ffmpeg到gstreamer的管道数据是否存在问题？我还尝试使用ffmpeg发送udp-like

ffmpeg-f video4linux2-video_size 1280x720-I/dev/video0-c:v h264_omx-b:v 2000k-an-f mpegtsudp://192.168.1.142:8090

但帧现在已完全损坏。我很久没有尝试发送原始数据了。也许您想尝试将流封装到RTP中。一般来说，最好使用其中一种网络协议，而不是发送原始数据。