跳转到内容
logo logo 知识库

AI 音乐 | 3.2 资讯

作者：叮当不是机器猫 ｜分享AI音乐动态，探索AI与音乐的无限可能！

公众号：智音Brook 2024-03-02 21:40 广东

原文：https://mp.weixin.qq.com/s/q1TqyzJao8Z2YJYVK2s_VQ

目录

Voice-Swap 推出 Stem-Swap，可重塑混音曲目的人声

SALMONN：语音音频语言音乐开放神经网络

LAIVE：AI 生成器乐曲目、歌词和人声一体

Combobulator：用AI合成技术重塑音乐创作界限

Vocs AI：您的免费人工智能语音生成器和转换器

Voice-Swap 推出 Stem-Swap，可重塑混音曲目的人声

链接：https://www.voice-swap.ai/

Voice-Swap 推出了 Stem-Swap 工具，允许用户从完全混音的曲目中轻松快速地更改人声。这个基于浏览器的工具可以将歌曲分成四部分，隔离人声，并将其转换为其他歌手的声音。用户可以从授权歌手名单中选择新声音，并下载完整混音或各个音轨。这一功能预计将开启前所未有的创意和合作新途径。

SALMONN：语音音频语言音乐开放神经网络

论文：https://arxiv.org/abs/2310.13289

演示：https://huggingface.co/spaces/fffiloni/SALMONN-7B-gradio

SALMONN 是一种集成了语音和音频编码器的多模态大型语言模型（LLM），旨在理解和处理包括语音、音频事件和音乐在内的一般音频输入。该模型通过双编码器结构，结合语音识别、自动语音翻译、音频信息基础的问题回答、情感识别、说话人验证和音乐及音频描述等任务进行训练，以提高在这些领域的性能。

SALMONN 利用了大量公开可用的数据集进行训练，包括 LibriSpeech、GigaSpeech、WavCaps、AudioCaps 和 Clotho 等，这些数据集覆盖了语音识别和音频描述等多种任务。

SALMONN 在一系列语音和音频基准任务上进行了评估，包括自动语音识别、音频描述、情感识别和音乐描述等。实验结果显示，SALMONN 能够在这些任务上达到竞争性的性能，并在未训练的任务上展现出通用听力能力。

结果表明，SALMONN 成功地将语音、音频事件和音乐的理解能力整合到一个单一的模型中，展现了向具备通用听力能力的人工智能迈进的一步。此外，通过激活调整阶段，SALMONN 能够缓解任务过拟合问题，并激活跨模态的突现能力，如基于音频的故事讲述和语音音频共同推理等能力。

LAIVE：AI 生成器乐曲目、歌词和人声一体

链接：https://www.laive.io/

LAIVE 是利用 AI 技术一次性生成音乐、歌词、主唱等的创作平台，使用者可以选择自己喜欢的类型和情调，上传参考音源，AI 可以通过分析生成音乐。并且可以选择主唱和修改歌词，目前为开放测试阶段。

输入下面的促销代码可获得 50 代币（入口在个人资料），令牌有效期为输入代码后的 30 天，促销码失效日期为 4 月 17 日。

促销代码：LAIVEcreator

Combobulator：用 AI 合成技术重塑音乐创作界限

链接：https://datamindaudio.ai/

DataMind Audio 推出了 Combobulator 插件，这是一个基于 AI 的效果插件，利用神经网络通过样式转移的过程重新合成输入音频，从而使用你自己的声音重现其他艺术家的风格。DataMind 表示，这使你能够通过合成基于输入信号和神经网络中的信息的新音频来 “像演奏乐器一样演奏另一个艺术家的大脑”。

Vocs AI：您的免费人工智能语音生成器和转换器

链接：https://www.vocs.ai/

Vocs AI 提供了一个免费的 AI 语音生成和转换工具。操作步骤如下：

  • 上传一段清晰的无伴奏人声录音。（wav 或 mp3 格式，更推荐 wav）
  • 从超过 20 名才华横溢的 AI 歌手、说唱歌手、叙述者、角色和配音艺术家中选择，将你的原始无伴奏声音转换成 AI 虚拟艺术家的声音。
  • 点击 “转换”，Vocs AI 的语音技术将把你上传的音频转换成 AI 版本的原声。
  • 下载你转换后的音频。

Vocs AI 强调，输入音频的质量将直接影响 AI 人声转换的输出质量。因此，最好在进行 AI 转换之前，确保你的原始人声听起来正如你所希望的那样。

参考资料

https://musictech.com/news/gear/voice-swap-stem-swap/

https://x.com/MusicTechMag/status/1763625310325735916?s=20

https://x.com/fffiloni/status/1757086330738065747?s=20

https://x.com/Djgirinnft/status/1759986146506092633?s=20

https://www.musicradar.com/news/datamind-audio-combobulator?utm_source=pocket_saves

https://x.com/Deep_In_Depth/status/1763794507991019626?s=20

https://www.linkedin.com/posts/craigfechter_youtube-musicproduction-musicproducer-activity-7169429010962198529-c8-M?utm_source=share&utm_medium=member_desktop

我是尾巴

感谢您观看至此处，如果文章对您有帮助，点个赞、在看、转发三连支持一波！您的支持是我最大的动力！

叮当不是机器猫

您的支持是我最大的动力

喜欢作者