Amphion–音频、音乐和语音生成的工具包

Amphion是什么？

香港中文大学（深圳）武执政副教授带领的团队联合上海 AI 实验室等，于2023年12月18日开源了音频、音乐和语音生成工具包 Amphion v0.1版本。除了文字转语音功能，Amphion 还可以将一首歌的声音换成另一个歌手的声音，支持声音转换、歌声合成、文本到音频、文本到音乐等功能，歌声转换目前支持迈克尔·杰克逊、泰勒·斯威夫特、王菲、那英、李健等歌手的声音。该工具包支持多种模型和架构，如 FastSpeech2、VITS、Vall-E、NaturalSpeech2 等，用于不同的音频生成任务。

Amphion支持多种生成任务，包括但不限于：

– TTS: 文本到语音

– SVS: 歌声合成

– VC: 声音转换

– SVC: 歌声转换

– TTA: 文本到音频

– TTM: 文本到音乐

除了具体的生成任务，Amphion还包含了多种声码器和评估指标。声码器是产生高质量音频信号的重要模块，而评估指标是保证生成任务的一致性的关键。