Последние комментарии

  • Александр Здоровцов
    Пробивное напряжение двух последовательно включённых конденсаторов повышается примерно в 2 раза при условии, что конд...Вся правда о регулировке яркости светодиодных ламп: диммеры, драйверы и теория
  • Алекс Мар
    Ну-вот, напомнилось мне, что если кондёры включены последовательно, то ёмкость уменьшается, а пробивное напряжение по...Вся правда о регулировке яркости светодиодных ламп: диммеры, драйверы и теория
  • Александр Здоровцов
    Сыночек, в сети амплитудное напряжение 314В при действующем 220В и около 340В при 240В. А конденсатор включённый посл...Вся правда о регулировке яркости светодиодных ламп: диммеры, драйверы и теория

Компьютер научили читать по губам

Кадр из фильма «2001: Космическая Одиссея»

2001: A Space Odyssey / Metro-Goldwyn-Mayer, Stanley Kubrick Productions

 

Ученые из университета Ист-Англии создали систему машинного обучения, которая умеет читать по губам. Работа была представленана конференции ICASSP в Шанхае, детали исследования редакция N+1 выяснила у одного из авторов исследования Хелен Бир (Helen Bear).

Система, созданная программистами следит за речью человека при помощи видеокамеры.Для обучения ее классификаторов авторы работы использовали скрытую марковскую модель, а также разработали новый метод, который будет потенциально применим для нейросетей. 

Чтобы научить систему читать по губам, исследователи разделили речь на две составляющие: фонемы и виземы, которые являются визуальным эквивалентом фонем. Основная сложность заключалась в том, что фонем в речи больше, чем визем, поэтому ученые создали двухуровневую иерархическую структуру.

Сначала они обучали классификаторы соотносить виземы с различными звуками, в качестве материала для обучения используя записи речи людей. Затем, ученые увеличивали количество классификаторов. Например, если виземе V1 соответствуют фонемы P1, P2 и P3, то в системе должно существовать три копии виземы V1. После этого классификаторы обучались второй раз, после чего система уже могла распознавать речь.

Работоспособность системы специалисты проверяли на двух моделях. Первая подразумевала «языковую» модель, то есть распознавание непрерывной речи, а вторая — «фонемную» модель. В обоих случаях процент успеха пока достаточно невелик — слова система распознает с точностью до 10-15 процентов, фонемы — до 25 процентов. Тем не менее, ученые замечают, что это значительное продвижение по сравнению с прошлыми результатами.

В будущем исследователи планируют усовершенствовать свою технологию, которая сможет найти применение для таких ситуаций, когда голоса на записи плохо различимы или отсутствует или испорчена аудиодорожка. «Потенциально, система чтения по губам может быть применена для различных целей, от развлечения до расследования преступлений» — замечает один из авторов работы.

Ранее британские исследователи во главе с Эндрю Симпсоном (Andrew Simpson) из Университета Суррея создали искусственную нейроннуюсеть, вычленяющую голос из посторонних шумов. Эта задача является первым шагом к решению проблемы так называемого «эффекта вечеринки».

Кристина Уласович

https://cont.ws/post/234593

Загрузка...

Популярное в

))}
Loading...
наверх