如何在Swift中从本地视频文件中获取帧?
我需要从本地视频文件中获取帧,以便在播放视频之前对其进行处理。我已经试过使用Avassetrader和VideoOutput [编辑]这是我从中使用的代码如何在Swift中从本地视频文件中获取帧?,swift,video,avfoundation,avplayer,ios11,Swift,Video,Avfoundation,Avplayer,Ios11,我需要从本地视频文件中获取帧,以便在播放视频之前对其进行处理。我已经试过使用Avassetrader和VideoOutput [编辑]这是我从中使用的代码 我认为Avassetrader应该有效。你试了什么?你看过苹果公司的这个示例代码吗 您可以看看VideoToolbox: 但要注意:这离硬件解压器很近,而且记录的地形也很少。根据您想要进行的处理,OpenCV可能是一个选项,尤其是在您检测或跟踪帧中的对象时。如果您的需求更简单,那么将OpenCV与swift结合使用可能会有点过分—请参见下文
我认为Avassetrader应该有效。你试了什么?你看过苹果公司的这个示例代码吗 您可以看看VideoToolbox:
但要注意:这离硬件解压器很近,而且记录的地形也很少。根据您想要进行的处理,OpenCV可能是一个选项,尤其是在您检测或跟踪帧中的对象时。如果您的需求更简单,那么将OpenCV与swift结合使用可能会有点过分—请参见下文 你可以打开一个视频,一帧一帧地读,在帧上做你的工作,然后再显示-记住需要高效以避免延迟显示 基本的代码结构非常简单——这是一个python示例,但相同的原则适用于支持的语言
将numpy导入为np
进口cv2
cap=cv2.VideoCapture('vtest.avi')
while(cap.isOpened()):
ret,frame=cap.read()
//在这个例子中,在这个框架上做你想做的任何工作
//从教程中,图像是从一种颜色转换而来的
//空间到另一个
灰色=cv2.CVT颜色(边框,cv2.COLOR\u BGR2GRAY)
//这将显示结果帧
cv2.imshow(“帧”,灰色)
如果cv2.waitKey(1)&0xFF==ord('q'):
打破
第1章释放()
cv2.destroyAllWindows()
更多信息请点击此处:
一个警告是,将OpenCV与swift结合使用需要一些额外的努力-这是一个很好的例子,但它会不断发展,因此如果您决定这样做,它值得搜索:我发现了问题所在!这是与我的执行。我发布的代码是正确的。谢谢大家请介绍您尝试的内容。请提供您尝试运行的视频文件类型和代码。这将帮助其他人找到解决方案。我用我使用的代码编辑了这篇文章。此代码来自
let asset = AVAsset(URL: inputUrl)
let reader = try! AVAssetReader(asset: asset)
let videoTrack = asset.tracksWithMediaType(AVMediaTypeVideo)[0]
// read video frames as BGRA
let trackReaderOutput = AVAssetReaderTrackOutput(track: videoTrack, outputSettings:[String(kCVPixelBufferPixelFormatTypeKey): NSNumber(unsignedInt: kCVPixelFormatType_32BGRA)])
reader.addOutput(trackReaderOutput)
reader.startReading()
while let sampleBuffer = trackReaderOutput.copyNextSampleBuffer() {
print("sample at time \(CMSampleBufferGetPresentationTimeStamp(sampleBuffer))")
if let imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) {
// process each CVPixelBufferRef here
// see CVPixelBufferGetWidth, CVPixelBufferLockBaseAddress, CVPixelBufferGetBaseAddress, etc
}
}