Microsoft подала патентну заявку на систему штучного інтелекту, здатну змінювати мовлення людей у прямих відеотрансляціях, повідомляє Patentlyze. Технологія також передбачає редагування обличчя та рухів губ відповідно до змінених слів.
Як працюватиме технологія Microsoft
Запатентована система передбачає використання ШІ-агентів для автоматичного редагування відео та звуку майже в реальному часі. Вони зможуть визначати окремі слова у мовленні, видаляти їх або замінювати іншими.
Одночасно алгоритми змінюватимуть зображення обличчя та рухи рота людини, щоб вони відповідали відредагованому мовленню. Система також коригуватиме сусідні фрагменти відео й аудіо для плавного переходу між словами.
Система змінюватиме мовлення відповідно до налаштувань або вподобань глядача. Тому різні люди зможуть дивитися одну трансляцію, але чути різні версії сказаного.
У патентній заявці технологію описують як інструмент удосконалення відео доповненої реальності майже в реальному часі. Один із можливих сценаріїв — автоматичний переклад виступів іншими мовами.
Що зможе змінювати ШІ
Microsoft пропонує використовувати систему для виправлення помилок у мовленні та видалення зайвих слів. Зокрема, ШІ зможе прибирати слова-паразити, запинки й повторення.
Також технологія зможе виправляти неправильно вимовлені слова та нечітке мовлення, а також видаляти або замінювати образливі чи недоречні вислови.
Редагування може стосуватися й регіональних особливостей мови. Наприклад, у документі згадуються розмовне звертання y’all та ідіома bite the bullet.
Система зможе змінювати авторські терміни й окремі характерні для промовця вислови. Для підбору слів на заміну патент допускає використання результатів інтернет-пошуку.
Потенційні сценарії застосування охоплюють лекції, презентації, телевізійні програми та спортивні трансляції. Серед прикладів також наведені церемонії нагородження, ігрові й кулінарні шоу.
Однак можливість персоналізованого редагування створює ризик відмінностей між оригінальними словами промовця та версією, яку почує глядач. Це особливо важливо для трансляцій, де точність висловлювань має значення.
Як зберігатимуть оригінальні записи
Патент передбачає можливість збереження початкових відео- та аудіозаписів без змін. Вони можуть використовуватися як оригінальна версія події для перевірки достовірності відредагованого матеріалу. Такий механізм дозволить порівнювати слова промовця з версією, яку сформував штучний інтелект.
Технологія також порушує питання про межі персоналізації інформації. Якщо система змінюватиме висловлювання відповідно до вподобань глядача, зміст переглянутої трансляції може відрізнятися від початкового.
Microsoft не надала оперативного коментаря на запит журналістів.
