跳转到内容
logo logo 知识库

AI 音乐 | 3.28 资讯

作者：叮当不是机器猫 ｜分享AI音乐动态，探索AI与音乐的无限可能！

公众号：智音Brook 2024-03-21 19:30 广东

原文：https://mp.weixin.qq.com/s/RqDsxOpHCvWrRghBI60PPg

目录

2024 年 6 款最佳 AI 人声消除器

使用序列模型的音乐到舞蹈的语言翻译

音乐中基于音频的情感分析的探索和应用

用于音乐恢复的基于扩散的生成均衡器

Suno V3：每 10 秒改变 1 种流派的歌曲

2024 年 6 款最佳 AI 人声消除器

AI 人声消除器是一种能够自动检测并去除音频文件中人声的工具。与传统视频编辑平台上的人声移除方法相比，AI 人声消除器操作简便且效率更高，避免了音质受损的问题。它不仅在音乐制作中大有作为，还能广泛应用于影视后期制作、语音分析和转录等领域，为音频处理提供了一种高效且不失质量的解决方案。

AudiFab AI Audio Splitter

链接：https://www.audifab.com/applee-music-converter.html

AudiFab AI 音频分离器是 AudiFab 应用程序内的一个免费工具，它运用人工智能技术将任何歌曲中的音乐分离成两个文件：人声和伴奏。与其它免费工具相比，通过 AudiFab AI 音频分离器得到的音频质量更为上乘。您可以在 AudiFab > 工具中找到 AudiFab AI 音频分离器。该工具支持 Windows 和 Mac 系统。

EaseUS Vocal Remover

链接：https://multimedia.easeus.com/vocal-remover/

EaseUS 在线人声消除器是一款专为网络用户设计的免费工具。作为市面上最佳的人声消除器之一，它允许用户从音频文件中提取人声和伴奏。使用起来非常简单——只需将歌曲拖放到 EaseUS 网站，然后耐心等待即可。

Lalal AI

链接：https://www.lalal.ai/

Lalal AI 人声消除器能够在分离人声、乐器、鼓点、贝斯、钢琴、电吉他、木吉他和合成器音轨的同时，毫不费力地保持音频质量。这款基于网络的工具支持批量处理，适用于个人和商业用途，包括业务整合和联盟计划。此外，它还包含一个声音清洁器，可以消除音轨中不需要的噪音和杂音，使其成为制作卡拉 OK 歌曲的理想工具。

MazMazika

链接：https://www.mazmazika.com/vocalremover

MazMazika 能够从 YouTube 或 SoundCloud 的链接以及本地的 MP3 或 WAV 文件中移除人声。这款免费工具最初是作为在线 AI 人声消除器设计的，现已发展成为首款在线 AI 音轨分离器。它允许用户将歌曲分解为多达五种不同的声音源：人声、鼓点、贝斯、钢琴以及其他声音。使用时只需在网站上复制并粘贴您的 YouTube 或 SoundCloud 链接，选择您需要的声音源（例如人声、鼓点等），点击 “处理” 即可下载生成的 ZIP 文件。

Vocal Remover and Isolation

链接：https://vocalremover.org/

VocalRemover 提供了一个免费的在线分离人声和音乐的服务。这些服务支持广泛的常见音频格式，包括 MP3、OGG、WAV 和 MP4。使用时点击 “浏览文件” 按钮上传您的歌曲，等待音频处理完成后，您将获得一条纯人声音轨和一条伴奏音乐音轨。

PhonicMind Vocal Remover

链接：https://phonicmind.com/

PhonicMind 支持从音轨中移除鼓点、贝斯和其他乐器，并且提供更优越的音质。此外，PhonicMind 与更多设备兼容，允许用户从 App Store（iPhone 用户）和 Google Play Store（Android 用户）下载。

使用序列模型的音乐到舞蹈的语言翻译

论文：https://arxiv.org/abs/2403.15569

代码：https://github.com/meowatthemoon/MDLT

MDLT（Music to Dance as Language Translation）的原理是将音乐理解为一种源语言，而舞蹈则是目标语言，通过这种视角，我们可以利用先进的序列模型来学习音乐与舞蹈之间的映射关系。

MDLT 的实现基于两种强大的架构：Transformer 和 Mamba。Transformer 架构以其多头注意力机制和位置编码而闻名，它能够捕捉序列数据中的复杂模式。而 Mamba 架构则以其线性可扩展性和高效的序列处理能力而著称。MDLT 通过这两种架构的变体，能够从现有的音乐-舞蹈配对数据集中学习，并生成与音乐节奏和风格相匹配的舞蹈动作。

在实践中，MDLT 首先从音乐中提取特征，然后将这些特征与舞蹈姿势进行匹配。这个过程涉及到将人类舞蹈姿势转换为机器人关节角度的复杂映射，但 MDLT 通过精心设计的数据准备和同步过程，成功地将这一挑战转化为可管理的任务。通过在 AIST++ 和 PhantomDance 数据集上的实验，MDLT 展示了其在不同音乐流派中生成高质量舞蹈编排的能力。

这种方法不仅新颖，而且实用，它为自动生成舞蹈编排提供了一种全新的解决方案，这在游戏、电影和其他娱乐领域有着广泛的应用前景。

音乐中基于音频的情感分析的探索和应用

论文：https://arxiv.org/abs/2403.17379代码：https://github.com/etashj/Exploring-and-Applying-Audio-Based-Sentiment-Analysis

音乐中基于音频的情感分析是一种新兴的研究领域，它利用先进的计算技术和机器学习算法来解读和理解音乐中所表达的情感。这种分析不仅能够识别和分类音乐的情感内容，还能够预测音乐随时间变化的情感轨迹，为音乐的情感体验提供了一种全新的量化方法。

技术实现

  • 音频特征提取：使用如梅尔频谱图（Mel Spectrogram）等技术从原始音频信号中提取有用的特征，这些特征能够捕捉音乐的节奏、音高、和声和音色等元素。
  • 情感模型训练：利用长短期记忆（LSTM）网络等递归神经网络模型，根据提取的音频特征和已知的情感标签进行训练，学习音乐情感的模式。
  • 情感预测：训练好的模型可以对未知音乐片段进行情感预测，输出情感维度（如唤醒度和愉悦度）的量化值。
  • 无缝音乐过渡：通过预测音乐片段的情感变化，可以确保在播放列表中的歌曲转换时，情感体验的连贯性和平滑性。

应用领域包括

  • 音乐治疗：音乐治疗是一个快速发展的领域，基于音频的情感分析可以帮助治疗师选择或创造适合特定情绪状态的音乐，以促进放松、减轻焦虑或提升情绪。
  • 情感驱动的音乐推荐：流媒体服务和音乐播放器可以利用情感分析来构建更智能的播放列表，根据用户的情绪变化自动调整音乐选择，从而提供更加个性化的听觉体验。
  • 音乐创作辅助：作曲家和音乐制作人可以利用情感分析工具来评估他们作品的情感影响，指导他们在创作过程中做出调整，以更好地传达预期的情感信息。
  • 情感研究：心理学家和社会学家可以使用基于音频的情感分析来研究音乐如何影响人的情感和行为，以及不同文化和个人如何解释音乐中的情感。

用于音乐恢复的基于扩散的生成均衡器

论文：https://arxiv.org/abs/2403.18636代码：https://github.com/eloimoliner/BABE2演示：http://research.spa.aalto.fi/publications/papers/dafx-babe2/

在数字音频修复领域，历史音乐录音的恢复一直是一个挑战性的任务，尤其是对于那些由于物理媒介的限制和长期的播放与存储而质量受损的录音。为了解决这一问题，研究人员开发了 BABE-2（Blind Audio Bandwidth Extension 2），这是一种基于扩散模型的音频修复方法，旨在提升低质量音乐录音的质量，特别是历史上的重要录音。

BABE-2 的核心是一个优化算法，它同时执行两个关键任务：估计滤波器退化的幅度响应和生成恢复后的音频。这个过程涉及到对历史录音的详细分析，以及对音频数据的逐步重建。通过这种方式，BABE-2 能够显著提升录音的质量，使其更接近现代音频标准。

在实验中，BABE-2 在恢复历史钢琴录音方面表现出色，与之前的版本相比有了显著的提升。此外，该方法在恢复著名歌唱家恩里科·卡鲁索和内莉·梅尔巴的作品时也取得了令人印象深刻的结果。这些成果表明，BABE-2 在实际恢复历史音乐方面具有显著的潜力。

尽管 BABE-2 在音乐修复方面取得了显著的进步，但仍有一些局限性需要未来的研究来解决。例如，该方法目前不适用于处理非线性退化，如谐波失真。此外，对于源分离的预处理步骤，如乐器和人声的分离，也需要进一步的研究来优化。

Suno V3：每 10 秒改变 1 种流派的歌曲

参考资料

https://x.com/anvaudifab/status/1772506749175464274?s=20

https://x.com/ArxivSound/status/1772475627142066206?s=20

https://x.com/ArxivSound/status/1772836873217425779?s=20

https://x.com/ArxivSound/status/1773199286802542984?s=20

https://x.com/suno_ai_/status/1773007869450883265?s=20

我是尾巴

感谢您观看至此处，如果文章对您有帮助，点个赞、在看、转发三连支持一波！您的支持是我最大的动力！

叮当不是机器猫

您的支持是我最大的动力

喜欢作者