VALL E Нейросеть

VALL E Нейросеть – сервис для Windows, представляющий собой алгоритм на основе искусственного интеллекта. Модель создана с целью качественной и правдоподобной имитации человеческой речи. Для обучения использовались образцы записи голоса семи тысяч англоговорящих людей.

Генерация голоса

По сравнению с традиционными синтезаторами речи, данная нейронная сеть использует совершенно иной принцип преобразования текста в голос. Алгоритм способен подмечать такие особенности, как тембр и эмоциональная окраска. По этой причине ему удается с высокой точностью имитировать речь после прослушивания всего лишь трехсекундного образца записи.

На официальном сайте доступны образцы работы нейронной сети. Есть возможность прослушать аудиозаписи и сравнить их с обычными синтезаторами речи. Также представлены озвученные фрагменты текста с различной эмоциональной окраской. Нейросеть способна произносить одну и ту же фразу с радостью, гневом, злостью, отвращением и так далее.

Тестирование

Стоит отметить, что в отличие от Stable Diffusion, разработчики данного алгоритма не публиковали его исходный код в открытом доступе. По этой причине самостоятельно сгенерировать речь на основе образца записи не получится. Закрытость нейросети связана с опасениями по поводу того, что разработкой могут воспользоваться злоумышленники.

Особенности

• демонстрационные образцы сгенерированной речи доступны бесплатно;
• сервис от Microsoft представляет собой нейронную сеть, обученную на образцах голосов реальных людей;
• алгоритм умеет передавать не только тембр, но и эмоции;
• исходный код не публикуется в открытом доступе во избежание злоупотреблений;
• приложение совместимо с актуальными версиями Windows.