ACE Studio AI Violin这项创新技术利用先进的人工智能算法，可模拟出极其逼真的小提琴演奏，通过深度学习海量的小提琴演奏样本，精准模拟出各种演奏技巧，如颤音、滑音、拨弦等，使生成的音符充满情感与表现力。无论是激昂的古典乐章，还是灵动的流行旋律，AI 小提琴都能完美演绎，满足不同音乐风格的创作需求。

Midifan对ACE Studio AI Violin采用的AI算法和音色生成方式非常感兴趣，所以我们也第一时间采访到了ACE Studio的团队，让他们深入揭发这个神奇黑科技背后的秘密。

这是全球首个将基于AI的虚拟歌姬人声引擎应用到传统声学乐器的虚拟乐器嘛？这个想法简直是乍一听完全是出人意料但仔细一想却又在情理之中，太绝妙了！当初是如何想到用这种跨界的方式来打造虚拟乐器的？

其实准确来说，我们并不是将AI歌声引擎应用在小提琴上——AI歌声模型和AI小提琴模型虽然在技术原理上是类似的，但它们是不同的模型（或者说不同的引擎）。它们是相互独立的。

为什么会想要做AI小提琴呢？最早是一些用户首先提出了这个设想——既然AI模型能很好地还原歌声，那么也一定能很好地还原乐器吧，尤其是那些传统音源表现不太好的弦乐。

知道很多用户都有这样的需求之后，我们就开始关注这件事。后来，偶然发现日本的一个名叫melisma的产品推出了AI小提琴，输入musicxml文件，输出小提琴演奏，效果很棒。这让我们确信，用AI模型来合成弦乐（甚至更多其他乐器）是完全可行的。

一旦确信这件事能做，值得做，那么把它做出来就只是时间问题了。

所以，并不是什么天赐的灵感让我们推出了世界上从来不曾存在过的AI小提琴模型，而是用户的反馈与建议、其他同行们各自在自己领域内的努力与突破，共同推动我们做了这件事。我们不是首创，我们只是很幸运地已经有了很多用户，能在AI小提琴推出的第一时间就让更多人看到它。

ACE Studio AI Violin使用的引擎跟你们的AI Voices引擎底层逻辑和实现完全一样嘛？目前是否有针对小提琴进行优化？

最底层的逻辑是一样的，都是对于录音进行标注，投喂给模型去学习。但是，实现上是有很多不同的，比如数据结构就会有很多不一样——歌声有歌词，有元音辅音，乐器就没有；但乐器会有演奏法，有polyphonic，这些在歌声里也是没有的。我们不是在歌声模型的基础上做了一个针对小提琴的优化，而是重新单独训练了乐器模型。

可否透露一下目前云端的ACE Studio AI Violin声库有多大嘛？另外比如本地生成一段一分钟的弦乐独奏需要传输多少容量的数据？本地体验到的延迟如何？回放过的片段是否会存在本地不用重复获取？

AI乐器模型和传统的sample library完全不是一个概念和实现方式，计算它的大小似乎没有什么意义，没有可比性。

要在ACE Studio内生成一段一分钟的弦乐独奏，那么上传的是1分成长的MIDI，下载的是合成的音频结果。

目前AI小提琴的渲染速度要比歌声快很多，而且因为采用了新的渲染架构，能做到改了多少渲染多少。我们也一直在努力向无感延迟的方向靠拢，比如我们下一代的歌声模型就讲采用半本地渲染的架构，从按下播放到听到渲染结果的时间将大大缩短，这项技术也将很快运用到乐器模型上。

ACE Studio AI Violin是经由很多高质量小提琴独奏歌曲来进行机器学习的嘛？可否透露一下大概的数量级？比如多少首独奏乐曲？一共多长时间？

是的，我们请专业乐手录制了很多高质量的演奏数据。对于每一个乐器，目前我们需要采集60分钟左右的录音——目前有3把AI小提琴，它们来自三位不同的演奏者，各自录制了约60分钟的训练数据，大多是古典作品乐段。

AI Voices的人声来源自然是歌手跟ACE Studio签约或自己主动上传得到的，咱们这些小提琴乐曲的主要来源是否方便透露？

除了我们主动邀约，也有很多艺术家或者厂商主动来联系合作。目前我们正在和十多位艺术家以及三家音源厂商达成了签约合作，一共有80多个乐器正在推进当中，包含了strings，brass，woodwinds，guitar，中国民乐，以及一些小众的世界民族乐器。在这些AI乐器上架后，我们将会基于各个模型的使用量，向他们长期提供收益分成。

不少合作的演奏者愿意公开自己的身份，用户们可以在ACE Studio中看到艺术家的名字和个人网站，比如现在已发布的Gabriele Boschi。还有很多AI乐器在制作中，未来大家可以陆续在ACE Studio中看到这些AI乐器和背后的艺术家署名。

AI乐曲机器学习的合法性是目前公众和音乐人关注的焦点，咱们所有训练的小提琴乐曲的来源是否合规合法？

是的，我们使用的训练数据都获得了演奏者的授权，我们为演奏者支付录音费用，并提供收入分成。

ACE Studio AI Violin是否也能很好的重现小提琴合奏呢？你们也有训练合奏乐曲嘛？还是这个AI乐器天然就可以做出很好的合奏？

做合奏有两种技术方案——

方案一是像我们的“AI合唱模式”一样，在一条轨道上挂载多个solo音源（对于合唱模式来说是多个AI歌手，对于合奏来说就是多个AI solo乐器），然后通过room effect来调整它们的相对位置。这个方案唯一的缺陷是同时要渲染多个乐器轨道，渲染耗时会相对大一些。

方案二是直接录制ensemble弦乐组，训练ensemble模型。目前我们正在与一位好莱坞的作曲家合作，由奥斯卡获奖电影背后的顶级乐团Budapest Scoring Orchestra负责ensemble的数据录制。同时也有其他弦乐采样音源的厂商也有意向参与ensemble模型的制作。

用户在本地有多大自由度来自己重写AI自动生成的演奏法和各种细致的可调参数？

AI乐器的可调参数将会包括力度、颤音和该乐器专属的演奏法。我们打造AI乐器模型的初衷就是希望能够摆脱繁琐的演奏法控制，让AI根据上下文像一个真正的乐手一样自己理解应该如何演奏，但同时你也可以指定具体音符的演奏表现。比如在Violin中，AI可以很自然的知道在连贯的长音上用legato，互相间隔空隙的音符用staccato，极短的小音符用pizzcato。

ACE Studio AI Violin现在只能在ACE Studio里使用嘛？将来是否有可能做成独立的插件让用户可以在自己喜爱的DAW里使用？如果不能的话ACE Studio将来是否有可能支持ARA技术以将ACE Studio的编辑器直接跟DAW整合？

是的，目前只能在ACE Studio里面使用，或者通过ACE Bridge plugin（支持VST3/AU/AAX）与DAW被调用。支持ARA plugin在我们的开发计划之内，有了ARA plugin之后，基本上可以做到和独立插件一致的使用体验。

ACE Studio目前所有虚拟乐器在国内都有本地的服务器嘛？AI Violin是否也有针对国内消费者的订阅制定价？

ACE Studio要提供全球化服务并保证云端渲染速度，必然要全球化部署服务器，我们在中国大陆、北美、日本、欧洲等主要市场都进行了服务器部署。用户朋友们可以放心，无论在国内，还是去其他国家旅行出差，都是可以正常使用ACE Studio的服务的。

关于定价，AI violin以及未来更新的乐器是包含在艺术家和艺术家Pro的会员权益内的，只要购买了这两档会员，就无需额外为AI violin付费。

ACE Studio作为一个非常成功的出海项目，现在似乎越来越着重国外市场，让很多国内的忠实用户有一些担忧。咱们未来如何服务好国内的忠实用户？

首先要说明的是，我们并没有更看重哪一个市场——所有用户都是平等的，我们都应该做好服务。但是为什么国内用户会产生这种担忧呢？我也跟一些用户讨论过这个问题。我觉得本质上是一些变化都让用户感到不适应，而这些变化又与两个因素直接相关——一是用户的全球化，二是用户数量的增加。

用户全球化（目前百分之80的用户分布在欧美），意味着我们需要处理越来越多“非本土”的问题——比如，针对不同国家和地区，需要设置不同的商业策略、不同的运营支持方案等等——但同时又要保证整个系统相对简洁、统一、高效。

用户数量增长，意味着我们需要更普世的方案，才能帮助更多用户解决他们的问题。

举个具体例子，2年前的ACE Studio没有客户支持体系，那时候我们是在各个QQ群中解答用户遇到的问题。这是一件非常有价值的事，但是当用户数量快速增长，它显然就不再可行了——QQ群的信息密度低，很难快速定位到用户的问题，新建QQ群的速度也赶不上新用户把群填满的速度。再加上，新用户中还有很多外国人，他们根本用不了QQ。那么，为了保证每个提问的用户都能获得解答，我们只能找一种可能不是大家最习惯的、但是一定可用的方式——搭建邮件客服体系。

对于国内用户来说，发邮件问问题这件事儿本身确实让人不适应，甚至收到的回答可能还是中英双语（一些客服同学是英语母语者，他们只能用英语回答然后用AI翻译成中文），就更奇怪了。它确实不是最理想的方案，但是是以我们现阶段的人力物力，能最大程度上保证“有问必答”的方案。

回到未来如何服务好国内用户的问题——这是一个需要持续优化的，没法一次性给出究极答案的问题。我们也在一边与用户们沟通，一边努力补齐短板和尝试新的解决方案。用户朋友们可以随时通过邮件客服或者企微客服进行咨询或提供反馈，对于个案的问题（比如：某项功能如何使用）我们的客服同学会逐一解答，对于共性问题（比如：希望有中文版使用说明）我们也都会汇总并且进行优先级评估，逐个解决。

ACE Studio AI Violin 官网：https://acestudio.ai/zh/ai-violin/

部分图片来自DTMstation：https://www.dtmstation.com/archives/72437.html