12C / 卢志成
TAPE 07项目记录 / 多模态识别

音频与视觉,放在一起比较

围绕姓名识别构建音频、视觉与加权融合流程,用同一组测试样本对比方案并分析误差。

多模态音视频姓名识别系统 · 核心开发2026.02 — 2026.04
80 条测试样本对比音频、视觉及加权融合识别流程
  1. 01音频特征
  2. 02视觉特征
  3. 03加权融合
  4. 04比较与误差分析

音频与视觉两条路径

使用 Librosa / MFCC、TensorFlow CNN 以及 OpenCV / Block-DCT 构建识别流程。

将音频、视觉及加权融合方案放在一起比较,完成识别原型。

在 80 条测试样本上比较

在 80 条测试样本上对比识别效果并分析误差。

形成可复现实验报告与识别原型,使方案选择能够回到具体样本与实验过程。