谷歌“狂飙”在生成式AI赛道最新模型可凭文字、图片“创作”音乐
2024-11-22
机器人“ChatGPT”的研发者OpenAI则推出过Jukebox。 MusicLM有何独到之处？
它其实是一个分层的序列到序列（Sequence-to-Sequence）模型。根据人工智能科学家KeunwooChoi的说法，MusicLM结合了MuLan+AudioLM和MuLan+w2b-Bert+Soundstream等多个模型，可谓集大成者。
其中，AudioLM模型可视作MusicLM的前身，MusicLM就是利用了AudioLM的多阶段自回归建模作为生成条件，可以通过文本描述，以24kHz的频率生成音乐，并在几分钟内保持这个频率。
相较而言，MusicLM的训练数据更多。研究团队引入了首个专门为文本-音乐生成任务评估数据MusicCaps来解决任务缺乏评估数据的问题。MusicCaps由专业人士共建，涵盖5500个音乐-文本对。
基于此，谷歌用280000小时的音乐数据集训练出了MusicLM。
谷歌的实验表明，MusicLM在音频质量和对文本描述的遵守方面都优于以前的模型。
不过，MusicLM也有着所有生成式AI共同的风险——技术不完善、素材侵权、道德争议等。
对于技术问题，比方说当要求MusicLM生成人声时，技术上可行，但效果不佳，歌词乱七八糟、意义不明的情况时有发生。MusicLM也会“偷懒”——起生成的音乐中，约有1%直接从训练集的歌曲中复制。
另外，由AI系统生成的音乐到底算不算原创作品？可以受到版权保护吗？能不能和“人造音乐”同台竞技？相关争议始终未有一致见解。
这些都是谷歌没有对外发布MusicLM的原因。“我们承认该模型有盗用创意内容的潜在风险，我们强调，需要在未来开展更多工作来应对这些与音乐生成相关的风险。”谷歌发布的论文写道。