2023年8月3日，英国萨里大学王文武教授受中国科学技术大学信息学院、语音及语言信息处理国家工程研究中心杜俊副教授的邀请，在中科大高新区信智楼C301会议室做了题为“Audio-Text Cross Modal Generation”（音频-文本交叉模态生成）的精彩报告。本次报告由杜俊副教授主持，中科大信息学院部分感兴趣的师生聆听了此次报告会。

报告会上，王文武教授介绍了四个目前热门且具有挑战性的音频-文本交叉模态任务，分别是声音识别、音频转文本、文本转音频和音频-文本学习。他逐一讲解了这些任务的问题描述、现有方法、目前仍存在的问题和他的团队所使用的方法。

针对声音识别任务，王教授介绍了一个用于音频模式识别的大规模预训练的音频神经网络框PANNs。这一框架可以从大量无标签数据中学习语音表示，可迁移至其他数据集，已经在多个比赛中取得了优异的成绩。

对于音频转文本任务，王教授介绍了其中一个应用场景——自动音频字幕制作（AAC），旨在根据音频片段生成自然语言描述。他列举了现有的一些解决该问题的框架，并提到了该任务目前存在的一些问题。接着他提出，可以使用基于条件生成式对抗网络（C-GAN）的音频字幕对抗训练框架，以鼓励多样性。另外，字幕特征空间正则化方法对模型性能也有正向提升。

接着，王教授介绍了他的团队在文本转音频任务上的杰出工作——AudioLDM。该模型的主要创新是直接端到端地生成原始语音波形，简化了流程，且生成质量显著提高，被广泛应用于制作相册、游戏和3D动画等。

对于音频-文本学习任务，王教授提出可以联系大型语言模型（LLMs）为音频语言多模态学习创建新数据集。此外，他还概括了其他音频/语音/音乐和图像/视频的相关工作。

最后，王教授展望了以上几个领域未来进一步工作和优化的方向，并耐心聆听、解答了现场师生的提问。本次报告会在探讨与掌声中圆满结束。

【个人介绍】

 王文武（Wenwu Wang），英国萨里大学信号处理与机器学习教授、萨里以人为本人工智能研究所AI研究员。他的研究聚焦信号处理、机器学习与感知、人工智能、机器听觉（聆听）及统计异常检测领域，合作发表相关论文400余篇。研究成果获多项国际奖项，包括2022年IEEE信号处理学会青年作者最佳论文奖、ICAUS 2021最佳论文奖、DCASE 2020及2023评委奖、DCASE 2019及2020可复现系统奖、LVA/ICA 2018最佳学生论文奖。 他现任IEEE/ACM音频语音与语言处理汇刊副主编（2020-2025）。2023-2024年担任IEEE信号处理学会机器学习信号处理技术委员会主席及该学会技术方向理事会理事，并任IEEE信号处理学会信号处理理论与方法技术委员会委员（2021-2026）。IEEE信号处理汇刊高级区域编辑（2019-2023）与副主编（2014-2018）。他参与组织INTERSPEECH 2022、IEEE ICASSP 2019与2024、IEEE MLSP 2013与2024及IEEE SSP 2009等会议。