На днях Google поделилась прогрессом разработки новой программы, способной синтезировать звук с помощью технологий машинного обучения. Новый проект Magenta – дочерней компании Google – получил название NSynth (или Neutral Synthesizer).
Сперва в программу необходимо загрузить семплы звучания тех или иных инструментов (органов, флейт, басов и так далее). Затем они анализируются посредством машинного обучения, и на основе полученных данных компьютер может синтезировать новые звуки. Результат анализа каждого инструмента по отдельности похож на искаженную цифровую обработку оригинального семпла. Однако, NSynth способен объединять семплы двух разных инструментов в один, тем самым формируя звук, никогда не существовавший ранее.
Например, загрузив в программу семплы звучания клавикорда и электрооргана, пользователь сможет совмещать инструменты между собой в любом соотношении, при желании придавая синтезируемому звуку либо больше ноток клавикорда, либо больше электрооргана, либо же выдерживая баланс между инструментами. Это не похоже на игру двух инструментов в унисон; искусственный интеллект не накладывает звук клавикорда на звук органа. Взамен, компьютер проводит математический анализ нот, издаваемых обоими инструментами, а затем объединяет их характеристики в единое и неделимое целое. Подобные манипуляции возможны с любыми музыкальными инструментами (от скрипки до балалайки), сочетание которых позволит производить тысячи новых доселе не слышанных звуков.
Идея NSynth заключается в расширении палитры звуков и инструментов, доступной современным музыкантам. И можно себе представить, какое разнообразие оттенков и стилей привнесет внедрение искусственного интеллекта в творческий процесс производства музыки. Ознакомиться с первыми отзвуками грядущей революции можно ниже. Первыми акустическими симбионтами, произведенными новым ИИ, стали сочетания флейты и баса, баса и органа, а также органа и флейты. Больше примеров доступно для прослушивания здесь.