Последние комментарии

  • Макс Бараник19 августа, 12:40
    Ты не знаешь, что такое моральный износ, оправдываешь янки, что они не могут сделать даже копию РД180, а я тупой? Пер...А что, если бы люди никогда не летали на Луну?
  • Алексей АК19 августа, 12:37
    Слушай ,малыш...извени ,но ты не годишся мне в собеседники , ты немного туповат.До свидания.А что, если бы люди никогда не летали на Луну?
  • Макс Бараник19 августа, 12:31
    Устаревание (употребляется также образное выражение «моральный износ») — ситуация, ограничивающая полноценное использ...А что, если бы люди никогда не летали на Луну?

Компьютер научили читать по губам

Кадр из фильма «2001: Космическая Одиссея»

2001: A Space Odyssey / Metro-Goldwyn-Mayer, Stanley Kubrick Productions

 

Ученые из университета Ист-Англии создали систему машинного обучения, которая умеет читать по губам. Работа была представленана конференции ICASSP в Шанхае, детали исследования редакция N+1 выяснила у одного из авторов исследования Хелен Бир (Helen Bear).

Система, созданная программистами следит за речью человека при помощи видеокамеры.Для обучения ее классификаторов авторы работы использовали скрытую марковскую модель, а также разработали новый метод, который будет потенциально применим для нейросетей. 

Чтобы научить систему читать по губам, исследователи разделили речь на две составляющие: фонемы и виземы, которые являются визуальным эквивалентом фонем. Основная сложность заключалась в том, что фонем в речи больше, чем визем, поэтому ученые создали двухуровневую иерархическую структуру.

Сначала они обучали классификаторы соотносить виземы с различными звуками, в качестве материала для обучения используя записи речи людей. Затем, ученые увеличивали количество классификаторов. Например, если виземе V1 соответствуют фонемы P1, P2 и P3, то в системе должно существовать три копии виземы V1. После этого классификаторы обучались второй раз, после чего система уже могла распознавать речь.

Работоспособность системы специалисты проверяли на двух моделях. Первая подразумевала «языковую» модель, то есть распознавание непрерывной речи, а вторая — «фонемную» модель. В обоих случаях процент успеха пока достаточно невелик — слова система распознает с точностью до 10-15 процентов, фонемы — до 25 процентов. Тем не менее, ученые замечают, что это значительное продвижение по сравнению с прошлыми результатами.

В будущем исследователи планируют усовершенствовать свою технологию, которая сможет найти применение для таких ситуаций, когда голоса на записи плохо различимы или отсутствует или испорчена аудиодорожка. «Потенциально, система чтения по губам может быть применена для различных целей, от развлечения до расследования преступлений» — замечает один из авторов работы.

Ранее британские исследователи во главе с Эндрю Симпсоном (Andrew Simpson) из Университета Суррея создали искусственную нейроннуюсеть, вычленяющую голос из посторонних шумов. Эта задача является первым шагом к решению проблемы так называемого «эффекта вечеринки».

Кристина Уласович

https://cont.ws/post/234593

Популярное

))}
Loading...
наверх