跳转到内容
logo logo 知识库

AI 音乐 | 2.22 资讯

作者：叮当不是机器猫 ｜分享AI音乐动态，探索AI与音乐的无限可能！

公众号：智音Brook 2024-02-22 21:31 广东

原文：https://mp.weixin.qq.com/s/5RV5zIMk-q3x2H1NjQ9ytA

目录

通过音乐 AI 计算捕捉创造力

走向音频语言建模——概述

通过扩散模型的时变反演进行音乐风格迁移

Nendo AI：让人又爱又恨的AI音频平台

RipX DAW：混音师的理想选择

通过音乐 AI 计算捕捉创造力

在加州大学圣迭戈分校（UC San Diego）的 Jacob School of Engineering、音乐系和 Qualcomm 研究所共同发布的研究报告中，一项创新性的研究展示了如何通过计算方法捕捉和量化音乐创造力。该研究通过分析音乐演奏中的信息流动，提出了一种新颖的评估音乐共创活动中创造性的方法。利用 Multitrack Music Transformer，研究团队不仅成功地测量了音乐声部间的互动量，而且还与专业音乐家的评估进行了对比，从而验证了其量化方法的准确性和有效性。这项研究的成果为理解人类与 AI 在音乐创作中的互动提供了新的视角，同时也为未来音乐 AI 的发展和应用奠定了理论基础，开启了音乐创造力量化评估的新篇章。

走向音频语言建模——概述

论文：https://arxiv.org/abs/2402.13236

本文提供了神经音频编解码器模型和基于编解码器的语言模型（LMs）的全面系统概述。研究人员发现，编解码器作为将连续音频转换为离散代码的合适工具，可以用来开发音频语言模型。文章详细分析了六种代表性的开源神经编解码器模型，覆盖了它们的训练方法、实现设置和训练数据，并扩展分析了十一种不同的基于编解码器的语言模型，探讨了它们如何利用编解码器和可应用的任务。

神经音频编解码器：最初引入是为了压缩音频数据以减少传输延迟。这些编解码器将音频转换为编解码器代码，然后进行传输，接收方使用编解码器解码器根据接收到的代码重建音频。

音频语言模型（LMs）：利用神经编解码器将连续音频转换为离散代码，开发出音频语言模型，实现了多种高性能神经音频编解码器模型和音频 LMs。

理想编解码器和通用音频语言模型：理想的编解码器应在保持内容的同时保留副语言和与说话者相关的信息，而通用音频语言模型应能够跨各种音频类型（如语音、音乐和一般音频）泛化，涵盖广泛的应用范围。

通过扩散模型的时变反演进行音乐风格迁移

论文：https://arxiv.org/abs/2402.13763

演示：https://lsfhuihuiff.github.io/MusicTI/

代码：https://github.com/lsfhuihuiff/MusicTI_AAAI2024

本文介绍了一种音乐风格转换方法，该方法有效捕捉音乐属性，使用最少的数据实现。引入了一种新颖的时间变化文本反演模块，以在不同层次上精确捕获 mel-频谱图特征。在推理过程中，提出了一种减少偏差的风格化技术，以获得稳定的结果。实验结果表明，该方法可以转换特定乐器的风格，以及将自然声音融入到旋律中。

音乐风格转换：音乐风格转换指的是将给定音频片段的风格转移到另一个音频上，而不改变其旋律。

深度学习在音乐风格转换中的应用：近年来，基于深度学习的音乐风格转换已成为热门研究话题。文中提到的方法可以实现具体音色到特定乐器的风格化，以及多对多的音乐风格转换，但主要限制在训练数据中呈现的有限风格集上。

时间变化文本反演：为了避免在风格化过程中引入风格音频的内容，提出了时间变化的文本反演模块，该模块使文本嵌入从风格 mel-频谱图的纹理转移到结构，随着时间步的增加而变化。

Nendo AI：让人又爱又恨的 AI 音频平台

链接：https://okio.ai/

代码：https://github.com/okio-ai/nendo-platform

Nendo AI 音频平台正式推出，面向专业人士，释放声音智能和生成能力。官网使用 499 美元/月起，开源项目需 24G 以上的显存。

具体功能如下：

  • 引入强大 AI 功能，简化大规模音频文件的搜索和发现。
  • 生成式 AI 改变音频交互，融合资产管理与创作。
  • 集成先进 AI 工具，简化语音/音乐的生成和转换。
  • 支持开发/使用自定义应用，用于即兴演奏和探索新音乐组合。

RipX DAW：混音师的理想选择

链接：https://hitnmix.com/

RipX DAW 是一款改变音频工作可能性的产品，它不像传统的 DAW（如 Logic Pro、Cubase 或 Live），没有尝试模仿混音台或一套外置效果器，而是专注于以全新的方式操纵声音。你可以加载任何音频文件到 DAW 中，并将其转换为专有的 Rip 格式，选择性提取不同类型的声音，如人声、鼓声、贝斯等，或简单地分离出干声并快速移动到一个文件夹，目前提供 21 天的免费试用期。

#参考资料

https://today.ucsd.edu/story/capturing-creativity-with-computation

https://x.com/csteinmetz1/status/1760228448188944787?s=20

https://x.com/ArxivSound/status/1760531052148228512?s=20

https://x.com/okio_ai/status/1760347430237634852?s=20

https://musictech.com/reviews/digital-audio-workstations/hitnmix-ripx-daw-review/

我是尾巴

感谢您观看至此处，如果文章对您有帮助，点个赞、在看、转发三连支持一波！您的支持是我最大的动力！

叮当不是机器猫

您的支持是我最大的动力

喜欢作者