Последние комментарии

  • Геннадий Иванов25 августа, 7:20
    Человек стал жить дольше, поскольку переложил на машины труд, который он раньше должен был выполнять сам, для выживания.Ученые назвали главную причину высокой продолжительности жизни
  • Владимир Петров25 августа, 4:20
    Вопрос заголовка достаточно прост! И ответ на него тоже достаточно прост! Так что не за чем придумывать проблемы! Чёр...Десять предположений о том, что случится, если вы попадете в Черную дыру
  • kay-alex24 августа, 14:18
    А доживут ли они с их геополитикой до 2050-го?К 2050 ветер и солнце обеспечат 92% энергопотребностей ЕС, — Bloomberg

Компьютер научили читать по губам

Кадр из фильма «2001: Космическая Одиссея»

2001: A Space Odyssey / Metro-Goldwyn-Mayer, Stanley Kubrick Productions

 

Ученые из университета Ист-Англии создали систему машинного обучения, которая умеет читать по губам. Работа была представленана конференции ICASSP в Шанхае, детали исследования редакция N+1 выяснила у одного из авторов исследования Хелен Бир (Helen Bear).

Система, созданная программистами следит за речью человека при помощи видеокамеры.Для обучения ее классификаторов авторы работы использовали скрытую марковскую модель, а также разработали новый метод, который будет потенциально применим для нейросетей. 

Чтобы научить систему читать по губам, исследователи разделили речь на две составляющие: фонемы и виземы, которые являются визуальным эквивалентом фонем. Основная сложность заключалась в том, что фонем в речи больше, чем визем, поэтому ученые создали двухуровневую иерархическую структуру.

Сначала они обучали классификаторы соотносить виземы с различными звуками, в качестве материала для обучения используя записи речи людей. Затем, ученые увеличивали количество классификаторов. Например, если виземе V1 соответствуют фонемы P1, P2 и P3, то в системе должно существовать три копии виземы V1. После этого классификаторы обучались второй раз, после чего система уже могла распознавать речь.

Работоспособность системы специалисты проверяли на двух моделях. Первая подразумевала «языковую» модель, то есть распознавание непрерывной речи, а вторая — «фонемную» модель. В обоих случаях процент успеха пока достаточно невелик — слова система распознает с точностью до 10-15 процентов, фонемы — до 25 процентов. Тем не менее, ученые замечают, что это значительное продвижение по сравнению с прошлыми результатами.

В будущем исследователи планируют усовершенствовать свою технологию, которая сможет найти применение для таких ситуаций, когда голоса на записи плохо различимы или отсутствует или испорчена аудиодорожка. «Потенциально, система чтения по губам может быть применена для различных целей, от развлечения до расследования преступлений» — замечает один из авторов работы.

Ранее британские исследователи во главе с Эндрю Симпсоном (Andrew Simpson) из Университета Суррея создали искусственную нейроннуюсеть, вычленяющую голос из посторонних шумов. Эта задача является первым шагом к решению проблемы так называемого «эффекта вечеринки».

Кристина Уласович

https://cont.ws/post/234593

Популярное

))}
Loading...
наверх