Компанія Google анонсувала нову модель штучного інтелекту Magenta RealTime, здатну генерувати музичні композиції на льоту. На відміну від традиційних ШІ-інструментів, які створюють трек цілком, ця нейромережа працює з короткими фрагментами (до 2 секунд), що дозволяє миттєво коригувати звучання.
Magenta RT являє собою 800-мільйонну нейромережу, навчену на великій бібліотеці інструментальної музики обсягом 190 тисяч годин. Технологія аналізує останні 10 секунд звучання і миттєво реагує на команди користувача, дозволяючи змінювати жанр, набір інструментів або темп виконання без зупинки генерації. Якість вихідного аудіосигналу досягає професійного рівня — 48 кГц у стереоформаті.
Розробники зробили модель максимально доступною: вихідний код опублікований на GitHub, а вагові коефіцієнти можна завантажити з Google Cloud Storage. Для швидкого ознайомлення з технологією підготовлено демо-додаток, який працює навіть на безкоштовних обчислювальних ресурсах TPU.
Творці моделі проводять паралель між Magenta RT і живим музичним виконанням. Система відкриває можливості для імпровізації, порівнянної з джазовою сесією або діджей-сетом. Технологія знайде застосування в створенні саундтреків для ігор, інтерактивних арт-інсталяцій і експериментальних музичних проектів, де важлива миттєва реакція на зміни.
Незважаючи на вражаючі можливості, система має ряд обмежень. Модель працює виключно з інструментальною музикою і найкраще справляється із західними музичними жанрами через особливості навчальної вибірки. Також присутня невелика затримка реакції — близько 1,25 секунди при зміні стильових параметрів.
У найближчих планах розробників — реалізація функції тонкого налаштування під індивідуальні переваги користувачів, оптимізація для роботи на менш потужних пристроях і створення нових версій системи зі зменшеною затримкою реакції.
Наша мета — не замінити музикантів, а надати їм принципово нові інструменти для творчості, — зазначають представники команди Magenta.
Для тих, хто хоче випробувати технологію на практиці, доступний демо-додаток в Google Colab, а повна версія моделі доступна для завантаження на платформі Hugging Face.
