Українські науковці навчили штучний інтелект імітувати голос іншої людини

Подробиці з посиланням на ВВС розповідає Еспресо.TV.

Працює дана технологія наступним чином. Для початку потрібні дві аудіодоріжки: на одній — запис Вашого голосу, на іншій — запис актора, який слово в слово повторює вимовлений Вами текст.

На цьому етапі програма тренується: порівнює обидва записи і виявляє, чим один голос відрізняється від іншого.

Тепер, коли штучний інтелект розуміє різницю, він здатен перетворювати голос актора на ваш — який би текст той не зачитував.

Аби програма спрацювала ефективно, їй потрібно проаналізувати принаймні годину запису цільового голосу — того, який треба зімітувати. З високою ймовірністю за цей час вона почує достатнє різноманіття слів та звукосполучень, проаналізує особливості цільового голосу та зрозуміє, як їх варто відтворювати.

Що це за голоси, каже засновник проекту Олександр Сердюк, немає значення: низький голос можна перетворити на високий, чоловічий на жіночий, а дитячий на дорослий.

«На ринку є два основні підходи до синтезування голосу. Більшість продуктів працює за принципом text to speech, коли голос генерується з тексту. Ми принципово від них відрізняємось: Respeecher синтезує потрібний голос з голосу іншої людини», — пояснює Сердюк.

«Такий підхід більш ефективний. Коли ти генеруєш голос із тексту, твої можливості дуже обмежені. Ти не маєш змоги контролювати емоційне забарвлення голосу і результат виходить дещо механічним. У нас цю проблему вирішує актор, який може підібрати потрібні інтонації.

Окрім того, інструменти, які синтезують голос із тексту, подекуди потребують до 20 годин запису цільового голосу — саме стільки їм потрібно, аби натренувати штучний інтелект. Нам достатньо години", — розповідає Сердюк.