Tensorflow 什么是VGISH_model.ckpt和VGISH_pca_params.npz

Tensorflow 什么是VGISH_model.ckpt和VGISH_pca_params.npz,tensorflow,artificial-intelligence,feature-extraction,Tensorflow,Artificial Intelligence,Feature Extraction,我试图理解音频分类的一些方面,并通过“vggish_model.ckpt”和“vggish_pca_params.npz”来理解。我正在努力对这两个方面有一个很好的理解。它们是tensorflow或google音频集的一部分吗?为什么在构建音频功能时需要使用它们?我看不到关于它们的任何文档 与AudioSet一起发布的预先计算的功能是来自深网的“嵌入”,该深网经过训练,可以预测来自配乐的视频级别标签(请参阅)。通过PCA对嵌入层进行进一步的降维处理;包括此处理是为了使功能与中发布的功能兼容。因此

我试图理解音频分类的一些方面,并通过“vggish_model.ckpt”和“vggish_pca_params.npz”来理解。我正在努力对这两个方面有一个很好的理解。它们是tensorflow或google音频集的一部分吗?为什么在构建音频功能时需要使用它们?我看不到关于它们的任何文档

与AudioSet一起发布的预先计算的功能是来自深网的“嵌入”,该深网经过训练,可以预测来自配乐的视频级别标签(请参阅)。通过PCA对嵌入层进行进一步的降维处理;包括此处理是为了使功能与中发布的功能兼容。因此,vggish_model.ckpt给出了用于计算mel谱图面片嵌入的VGG样深度CNN的权重,vggish_pca_params.npz给出了pca变换的基础

发布的唯一内容是这些预先计算的嵌入特性。如果您基于这些特征训练模型,然后希望使用它对新输入进行分类,则必须将新输入转换到同一域,因此必须使用VGISH_模型和VGISH_pca_参数

如果音响设备包含波形,则不需要这些。但YouTube的服务条款不允许下载和重新分发用户的内容