Video FFmpeg合成、多层和过滤器_Video_Ffmpeg_Blending_Webm

Video FFmpeg合成、多层和过滤器

video ffmpeg

Video FFmpeg合成、多层和过滤器,video,ffmpeg,blending,webm,Video,Ffmpeg,Blending,Webm,这对FFmpeg来说是个新鲜事。我们希望使用FFmpeg作为AR项目的重要部分目前，我们发现这对我们来说并不容易我们想用FFmpeg来创作这些足迹我们有5层，想把它们和特定的模式混合在一起，就像后期效果一样层1/[A.webm]视频，vp9编解码器，具有透明背景，必须添加为[正常模式] 第2层/[B.mp4]视频，带有黑色背景的光学光斑，必须添加为[屏幕模式] 第3层/[C.mp4]视频，一些带有浅背景的运动图形，必须添加为[叠加模式] layer-4/[BG.MP4]，背景内容，必须

这对FFmpeg来说是个新鲜事。我们希望使用FFmpeg作为AR项目的重要部分

目前，我们发现这对我们来说并不容易

我们想用FFmpeg来创作这些足迹

我们有5层，想把它们和特定的模式混合在一起，就像后期效果一样

层1/[A.webm]视频，vp9编解码器，具有透明背景，必须添加为[正常模式]
第2层/[B.mp4]视频，带有黑色背景的光学光斑，必须添加为[屏幕模式]
第3层/[C.mp4]视频，一些带有浅背景的运动图形，必须添加为[叠加模式]
layer-4/[BG.MP4]，背景内容，必须添加为[正常模式]

在我们混合了这4个之后（如预合成，使用混合过滤器），我们想添加另一个层-5/[icon.png]，这是一个特殊的图标

第5层需要覆盖预合成。我们必须在特殊位置覆盖它（使用覆盖过滤器？）

原因[icon.png]可能会频繁更改。我们想在4层混合后处理这个问题

但在第一步，当我们在混合过滤器中为第1层设置正常模式时，第1层[A.webm]失去了透明背景，它给了我们一个黑色背景，它阻挡了所有其他东西。混合过滤器无法处理vp9 webm的alpha通道？当我们将第一层的模式设置为屏幕模式时，半透明的东西不是我们需要的

你能给我们一些命令来实现上面的混合吗

真正有效的命令对于我们的FFmpeg初始化非常有用

ffmpeg -c:v libvpx-vp9 -i transparent.webm -i bg.mp4 -filter_complex "[0:v]format=yuva420p [a]; [1:v]format=yuv420p [b]; [a][b]blend=all_mode='normal':shortest=1:all_opacity=1,format=yuv420p" output.mp4 >log
ffmpeg version 4.1.4 Copyright (c) 2000-2019 the FFmpeg developers
  built with Apple LLVM version 10.0.1 (clang-1001.0.46.4)
  configuration: --prefix=/usr/local/Cellar/ffmpeg/4.1.4_1 --enable-shared --enable-pthreads --enable-version3 --enable-avresample --cc=clang --host-cflags='-I/Library/Java/JavaVirtualMachines/adoptopenjdk-12.0.1.jdk/Contents/Home/include -I/Library/Java/JavaVirtualMachines/adoptopenjdk-12.0.1.jdk/Contents/Home/include/darwin' --host-ldflags= --enable-ffplay --enable-gnutls --enable-gpl --enable-libaom --enable-libbluray --enable-libmp3lame --enable-libopus --enable-librubberband --enable-libsnappy --enable-libtesseract --enable-libtheora --enable-libvorbis --enable-libvpx --enable-libx264 --enable-libx265 --enable-libxvid --enable-lzma --enable-libfontconfig --enable-libfreetype --enable-frei0r --enable-libass --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenjpeg --enable-librtmp --enable-libspeex --enable-videotoolbox --disable-libjack --disable-indev=jack --enable-libaom --enable-libsoxr
  libavutil      56. 22.100 / 56. 22.100
  libavcodec     58. 35.100 / 58. 35.100
  libavformat    58. 20.100 / 58. 20.100
  libavdevice    58.  5.100 / 58.  5.100
  libavfilter     7. 40.101 /  7. 40.101
  libavresample   4.  0.  0 /  4.  0.  0
  libswscale      5.  3.100 /  5.  3.100
  libswresample   3.  3.100 /  3.  3.100
  libpostproc    55.  3.100 / 55.  3.100
[libvpx-vp9 @ 0x7f8876008600] v1.8.0
    Last message repeated 1 times
Input #0, matroska,webm, from 'transparent.webm':
  Metadata:
    encoder         : Chrome
  Duration: N/A, start: 0.000000, bitrate: N/A
    Stream #0:0(eng): Video: vp9 (Profile 0), yuva420p(tv), 640x360, SAR 1:1 DAR 16:9, 60 fps, 60 tbr, 1k tbn, 1k tbc (default)
    Metadata:
      alpha_mode      : 1
Input #1, mov,mp4,m4a,3gp,3g2,mj2, from 'bg.mp4':
  Metadata:
    major_brand     : isom
    minor_version   : 512
    compatible_brands: isomiso2avc1mp41
    encoder         : Lavf57.83.100
  Duration: 00:00:04.00, start: 0.000000, bitrate: 728 kb/s
    Stream #1:0(und): Video: h264 (Constrained Baseline) (avc1 / 0x31637661), yuv420p, 640x360, 725 kb/s, 25 fps, 25 tbr, 12800 tbn, 50 tbc (default)
    Metadata:
      handler_name    : VideoHandler
[libvpx-vp9 @ 0x7f8877806600] v1.8.0
Stream mapping:
  Stream #0:0 (libvpx-vp9) -> format
  Stream #1:0 (h264) -> format
  format -> Stream #0:0 (libx264)
Press [q] to stop, [?] for help
[libvpx-vp9 @ 0x7f8877806600] v1.8.0
[libx264 @ 0x7f8877817200] using SAR=1/1
[libx264 @ 0x7f8877817200] using cpu capabilities: MMX2 SSE2Fast SSSE3 SSE4.2 AVX FMA3 BMI2 AVX2
[libx264 @ 0x7f8877817200] profile High, level 3.1
[libx264 @ 0x7f8877817200] 264 - core 155 r2917 0a84d98 - H.264/MPEG-4 AVC codec - Copyleft 2003-2018 - http://www.videolan.org/x264.html - options: cabac=1 ref=3 deblock=1:0:0 analyse=0x3:0x113 me=hex subme=7 psy=1 psy_rd=1.00:0.00 mixed_ref=1 me_range=16 chroma_me=1 trellis=1 8x8dct=1 cqm=0 deadzone=21,11 fast_pskip=1 chroma_qp_offset=-2 threads=6 lookahead_threads=1 sliced_threads=0 nr=0 decimate=1 interlaced=0 bluray_compat=0 constrained_intra=0 bframes=3 b_pyramid=2 b_adapt=1 b_bias=0 direct=1 weightb=1 open_gop=0 weightp=2 keyint=250 keyint_min=25 scenecut=40 intra_refresh=0 rc_lookahead=40 rc=crf mbtree=1 crf=23.0 qcomp=0.60 qpmin=0 qpmax=69 qpstep=4 ip_ratio=1.40 aq=1:1.00
Output #0, mp4, to 'output.mp4':
  Metadata:
    encoder         : Lavf58.20.100
    Stream #0:0: Video: h264 (libx264) (avc1 / 0x31637661), yuv420p, 640x360 [SAR 1:1 DAR 16:9], q=-1--1, 60 fps, 15360 tbn, 60 tbc (default)
    Metadata:
      encoder         : Lavc58.35.100 libx264
    Side data:
      cpb: bitrate max/min/avg: 0/0/0 buffer size: 0 vbv_delay: -1
frame=  239 fps=113 q=-1.0 Lsize=     232kB time=00:00:03.93 bitrate= 482.5kbits/s dup=1 drop=2 speed=1.86x
video:228kB audio:0kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: 1.586669%
[libx264 @ 0x7f8877817200] frame I:1     Avg QP:20.55  size:  5385
[libx264 @ 0x7f8877817200] frame P:62    Avg QP:24.42  size:  2373
[libx264 @ 0x7f8877817200] frame B:176   Avg QP:31.31  size:   456
[libx264 @ 0x7f8877817200] consecutive B-frames:  1.3%  0.8%  2.5% 95.4%
[libx264 @ 0x7f8877817200] mb I  I16..4: 18.6% 68.4% 13.0%
[libx264 @ 0x7f8877817200] mb P  I16..4:  1.6%  4.0%  0.7%  P16..4: 14.8%  7.0%  4.5%  0.0%  0.0%    skip:67.5%
[libx264 @ 0x7f8877817200] mb B  I16..4:  0.2%  0.0%  0.0%  B16..8: 17.4%  2.5%  0.4%  direct: 0.5%  skip:78.9%  L0:53.1% L1:40.4% BI: 6.6%
[libx264 @ 0x7f8877817200] 8x8 transform intra:60.1% inter:60.4%
[libx264 @ 0x7f8877817200] coded y,uvDC,uvAC intra: 16.6% 27.4% 10.7% inter: 3.0% 2.2% 0.1%
[libx264 @ 0x7f8877817200] i16 v,h,dc,p: 56% 37%  6%  2%
[libx264 @ 0x7f8877817200] i8 v,h,dc,ddl,ddr,vr,hd,vl,hu: 40%  6% 48%  1%  1%  1%  1%  1%  1%
[libx264 @ 0x7f8877817200] i4 v,h,dc,ddl,ddr,vr,hd,vl,hu: 35% 22% 23%  3%  3%  4%  3%  4%  3%
[libx264 @ 0x7f8877817200] i8c dc,h,v,p: 57% 20% 21%  2%
[libx264 @ 0x7f8877817200] Weighted P-Frames: Y:0.0% UV:0.0%
[libx264 @ 0x7f8877817200] ref P L0: 69.3% 12.8% 13.6%  4.3%
[libx264 @ 0x7f8877817200] ref B L0: 92.9%  5.9%  1.1%
[libx264 @ 0x7f8877817200] ref B L1: 96.1%  3.9%
[libx264 @ 0x7f8877817200] kb/s:467.59

分享您尝试的完整日志。

ffmpeg-c:v libvpx-vp9-i transparent.webm-i bg.mp4-filter_complex“[0:v]format=yuva420p[a]；[1:v]format=yuv420p[b]；[a][b]blend=all_mode='normal]：shortest=1:all_opacity=1，format=yuv420p”输出。mp4

我们只需尝试一下这个命令就可以在bg.mp4上添加一个透明的webm，已使用命令完成合成。但是透明的webm失去了alpha通道，webm变成了带有黑色bg的视频，阻挡了下层bg.mp4。不支持vp9 webm？对于其他层，我们甚至不知道如何在一个命令中组合它们。你能给我们举个例子吗？谢谢~@GyanWe刚刚更新了问题，补充了我们所做的。希望您的帮助~谢谢~@GyanWill明天早上查看。非常感谢~如果我们使用overlay，它就可以了。我们希望[blend=all_mode='normal']可以与[overlay]相同。但看起来只有overlay可以处理vp9 webm的alpha通道。层被混合（合成），然后让字幕和日志覆盖在它上面，这样可以让事情变得清晰。因此，我们首先使用混合模式，而不是使用叠加。我们很荣幸您的命令可以实现我们在问题中遇到的混合和叠加。感谢~@GyanShare您的尝试的完整日志。

ffmpeg-c:v libvpx-vp9-i transparent.webm-i bg.mp4-filter_complex“[0:v]format=yuva420p[a]；[1:v]format=yuv420p[b]；[a][b]blend=all_mode='normal]：shortest=1:all_opacity=1，format=yuv420p”输出。mp4