跳转到内容

张吃吃:AI歌手| ACE Studio入门教程及工作流分享

🚅

张吃吃Joy 2024-02-21 21:10

原文地址:https://mp.weixin.qq.com/s/TUPOPL8MJsJsCElFqty1LQ

在第一届AI春晚,我策划的音乐节目《人间烟火的味道》,使用的是ACE Studio的茶鸢翻唱,不少朋友听到后想学习,于是写一篇教程,分享我平时使用ACE的方法。

一、ACE简介

ACE Studio是由时域科技开发的歌声合成软件,其技术基础是SVS(Singing Voice Synthesis),即将乐谱(MIDI)和歌词(音素集)等信息转换为歌声。

官网下载地址:https://www.acestudio.ai/

官方使用手册:https://ec26ubh65w.feishu.cn/docx

官方手册对软件的操作介绍的很清楚,在具体操作有不明白的可以直接查看ACE官方使用手册。而本篇教程则偏向于工作流介绍,包括前期素材准备、工作流推荐、使用技巧等,大家可以结合起来看噢。

二、小白快速上手

1、名词解释

(针对零乐理基础用户,音乐达人可跳过)

干声 没有伴奏也没有效果器的人声

MIDI 可以理解为给计算机看的乐谱,包含歌曲每个音的音高、节奏信息

变调 歌曲升调或降调,1个key=1个半音。

BPM 歌曲的速度,数字表示一分钟多少拍。

2、推荐工作流

干声转换-选择歌手-微调

由于ACE有一个非常方便的功能:干声转换,也就是将人声音频转MIDI,这比手动输入一个个音符要好用太多啦!我在使用ACE制作的歌曲,大部分都是通过干声转换来获取MIDI初稿的。当然AI识别的音高、节奏、发音会有误差,所以接下来的工作主要是修复这些识别错误的瑕疵。其实,只需要干声转换-选择歌手-微调三个步骤,一首AI演唱的歌曲就做好了。小白快速上手篇会细讲这三个步骤,如果有更高的要求,比如需要个性化声线或更自然的演唱效果,可以参考后面的进阶篇。

3、实操步骤

第一步:准备音频素材

使用干声转换,我们需要在软件中分别导入人声干声和伴奏[文件-导入-导入音频],放在两个轨道上。干声是用来转成MIDI做AI演唱的。如下图所示:

注意,如果是男歌女唱或者女歌男唱,请在导入前先进行变调后再导入(不会变调的看下方工具推荐)。通常女声比男声高5个key左右,不绝对,大家根据听感测试调整即可。

有两个工具我在进行前期音频素材准备时较常用:

TME Studio

腾讯音乐开发的AI音频工具箱,其中我最常用的是音频分离,可用于将人声和伴奏从歌曲中提取出来。

地址:https://y.qq.com/tme_studio/index.html#/editor

Vocalremover

包含音频分离、变调、BPM查询等功能,我使用较多的是变调和BPM查询。建议在准备素材阶段,就将音频调整到所需调,并获取到BPM。

地址:https://vocalremover.org/zh/key-bpm-finder

第二步:干声转换

在转换之前,有一个很重要的动作:请先将工程BPM设置为与歌曲一致,就是界面顶部这个东东,前面是BPM后面是拍数,请把BPM修改为上述操作获取到的数字,这一步是为了后续微调的时候方便音符对齐节奏:

设置完成后,将音频轨道的文件拖入到空白的歌手轨道,即可进行干声转换。

第三步:选择歌手

软件左侧有歌手可以选择,长按拖动到歌手轨道的头像处即可切换歌手。

第四步:微调

完成歌手选择后,我们需要一边试听,一边对转换出来的MIDI进行微调,微调基本都在下方钢琴卷帘中完成,以下几点是微调过程中需要考虑的:

1)歌词发音:AI识别的发音有可能不准确,听到识别错误的,双击音符修改为正确的拼音即可。

2)音准:在听的过程中,如果发现有音高不准,点击音符按键盘上下键即可调高或者调低。如果音准偏差小于1key,就需要点击钢琴卷帘上方工具栏的音高画笔,画出音符的音高线。

3)节奏:在听的过程中,如果发现节奏不准,可将音符拖动到对其节奏线。

但我并不会把所有音符都拖到对齐节奏线,因为人在真实演唱中,本来就会有一点点节奏错位,这种微小的错位在普通听众听来是自然的,甚至有些风格会故意为之。当然这个关乎主观审美和作品表达需要,没有对错。

第五步:导出

完成发音、音高、节奏的瑕疵修复后,歌声完成度其实就已经很高了,用来当作品发布完全没问题。

点击文件-导出音频,即可将歌曲渲染导出。如果是用于做视频,建议格式选mp3,这样文件体积较小。如果是为了发行到QQ音乐之类的平台,格式建议选wav。

三、进阶技巧

1、自定义声线合成

除了使用软件自带歌手,ACE Studio也支持自定义声线,可以听听我合成的虚拟歌手季言的声音:

在软件中,点击左上方的[轨道面板],即可使用声线合成功能。

ACE Studio将歌手声线分为音色和唱法两个部分,可以分别调整混合比例。

关于声线种子的选择,我有以下建议:

如果需要男声的唱法更细腻一些,可以加入偏硬朗的女声声线,比如长歌。

如果需要增加更多胸腔共鸣,可以加入美声歌手Barber的声线。

如果需要声音更可爱,可以加入童声声线,比如绮萱、嗒啦啦。

如果需要听起来更有唱功,可以加入唱功好的雀河。(没错,AI也是有唱功的)

其实就是需要什么样的特质,就添加拥有此特质的种子就行。建议在合成声线之前,脑子里要有想要的声音雏形然后按需添加种子,会比随机添加要高效得多。

2、让人声更自然的技巧

如何让人声演唱听起来更自然?其实我最常使用的方法是微调音高线,本质上其实就是“装饰音”。

一首歌如果每一个音都按本来的音高唱,听起来会很机械化。人在真实演唱的时候,常常会有个别音,是从前一个字的音滑过去的。还是拿《人间烟火的味道》举例,比如“骑着单车路过的少年”这句,大家注意“单”这个音,音高是#A。但是看MIDI,却是从G滑到#A的,这样处理会让这个字听起来更加人性化。具体哪些音需要这样做,就靠听感了。

还有个技巧是把一个音中间再拆成几个音最后落回来,就是类似R&B常说的转音。

比如“最温暖的依靠”这句词,“依”字的音从#A到C又回到#A。

3、情感参数

钢琴卷帘最下方有一个可以折叠展开的情感参数调节面板。包括呼吸、气声、假声、张力、力度、共振峰几个参数。除非有特殊设计或必须通过参数来修瑕疵,我一般都不使用,因为AI自动生成的已经非常自然了,手动修改很容易修改得不自然。

如果需要调整,请从左往右按顺序调整,因为左侧参数修改后会联动影响右侧的。下面是官方对这几个参数的介绍:

呼吸:用来控制歌手在何处换气

气声:演唱时气息含量

假声:演唱时假声含量

张力:演唱时声带的紧张/松弛程度

力度:演唱时的力量大小

共振峰:每个时刻的共振峰偏移

四、商用条件

使用ACE Studio创作的作品如需商用,根据所使用的歌手,分两种情况:

免费授权

软件中大部分歌手订阅工具后均可免费授权,但需要署名。如需申请授权书,在歌手处点击“查看授权许可”进行操作即可。填写信息后,官方会自动发送授权书到您邮箱。

第三方授权

部分歌手需要联系版权方获取授权,目前需要第三方授权的歌手有洛天依、言和、乐正绫、乐正龙牙,这些歌手需前往vsinger.com申请商用授权。

以上就是关于ACE Studio歌声合成的简易工作流介绍,希望对大家有帮助,祝各位创作愉快!