Adobe відкрила всім користувачам Firefly три інструменти для роботи зі звуком. Сервіс тепер створює музику для відео, озвучує текст і генерує звукові ефекти.
Firefly підбиратиме музику під відео
Одне з головних нововведень дозволяє отримати готовий музичний супровід без пошуку композицій у сторонніх бібліотеках. Firefly може проаналізувати відео та запропонувати музику, яка відповідає його змісту й настрою.
Користувач також може сам описати бажаний результат і налаштувати тривалість, темп та енергійність композиції. Після цього Firefly запропонує чотири варіанти на вибір.
Питання прав на музику залишається проблемою для авторів. В опитуванні Adobe та Berklee College of Music 43,2% учасників назвали юридичні та авторські ризики головною перешкодою. Ще 38,9% вказали вартість ліцензій.
Adobe додала озвучення та звукові ефекти
Другий інструмент перетворює готовий сценарій на голосове озвучення. Для цього можна використовувати мовну модель самої Adobe або ElevenLabs.
Автор може окремо вказувати потрібну вимову та виразність для певних частин тексту. Це дозволяє точніше налаштувати звучання готового запису.
«Звук зазвичай додають останнім, але саме його люди помічають першим», — заявила Adobe.
Третя нова можливість створює звукові ефекти. Користувач може описати потрібний звук текстом або записати його приблизний варіант власним голосом. Firefly використає такий запис як зразок.
Компанія хоче зібрати роботу зі звуком в одному середовищі, щоб авторам не доводилося переходити між різними сервісами. Нові можливості розраховані на відео для соцмереж, відеоблоги, короткометражні фільми, навчальні ролики та уривки подкастів.
З якими ШІ-моделями працює Firefly
Модель може одночасно працювати з відео, звуком, зображеннями та текстовими запитами. Користувач може передати їй ці матеріали, а потім послідовно вносити зміни у відео через діалог.
Незадовго до цього Adobe також додала Runway Aleph 2.0 і Kling 2.0. У Firefly вже доступні моделі Google, Kling AI, Luma AI, OpenAI, Runway та самої Adobe.
