文本到音频

AudioLCM是一个基于PyTorch实现的文本到音频生成模型，它通过潜在一致性模型来生成高质量且高效的音频。该模型由Huadai Liu等人开发，提供了开源的实现和预训练模型。它能够将文本描述转化为接近真实的音频，具有重要的应用价值，尤其是在语音合成、音频制作等领域。

Make-An-Audio 2是一种基于扩散模型的文本到音频生成技术，由浙江大学、字节跳动和香港中文大学的研究人员共同开发。该技术通过使用预训练的大型语言模型(LLMs)解析文本，优化了语义对齐和时间一致性，提高了生成音频的质量。它还设计了基于前馈Transformer的扩散去噪器，以改善变长音频生成的性能，并增强时间信息的提取。此外，通过使用LLMs将大量音频标签数据转换为音频文本数据集，解决了时间数据稀缺的问题。