Алексей ПриходькоАлексей Приходько — единственный глухой программист в мире, который работает над созданием автоматического переводчика жестов на письменный язык. Искусственный интеллект переводит язык людей с наршениями слуха и управляет компьютером при помощи жестов, рассказали в пресс-службе НГТУ.
Алексей Приходько уже создал прототип системы, которая переводит на уровне азбуки глухих (видео). На выделенные средства Алексей планирует обучить систему другим компонентам грамматики русского жестового языка (РЖЯ), чтобы довести программу до готового продукта для широкого использования среди глухих. Среди главных задач наполнение базы жестов РЖЯ, разработка алгоритмического и программного обеспечения распознавания траекторий движения и конфигураций отдельных компонентов жестов глухих, которые будут заданы в форме видеофайлов, и создание мобильной версии программы.
Система ориентирована на глухих граждан России, всех заинтересованных сторон в использовании русского жестового языка, в том числе и зарубежных пользователей. На первом этапе реализации тестирование программы будет проводиться в Институте социальных технологий Новосибирского государственного технического университета НЭТИ. Сроки реализации проекта — с 1 марта 2020 года по 28 февраля 2022 года.
Инженер кафедры автоматизированных систем управления НГТУ НЭТИ Алексей Приходько — единственный в мире глухой программист и эксперт по разработке системы для перевода РЖЯ.
«Я — исполнитель, я же — и разработчик. Представьте, если бы я занимался пианино, я не смог бы ремонтировать его, настраивать, потому что я его не слышу. То же самое и человек, который не знает жестового языка. Технически ему очень сложно работать над этим, потому что он не может учитывать всю специфику этой лингвистики», — утверждает Алексей Приходько.
Основная функция программы, над которой работает Алексей, — перевод. Система работает по аналогии с мозгом человека. При помощи камеры программа распознает картинку и фиксирует жесты, изображение переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод. Помимо встроенной функции переводчика, система способна управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши.
Безмаркерная система, которую использует в системе Алексей, при помощи специальных камер накладывает виртуальную «сетку» на получаемое изображение. На этой «сетке» программные алгоритмы находят опорные точки, по которым определяются жесты. Далее система обрабатывает данные и после воспроизводит заданные действия: перевод или управление.
Для автора разработки русский жестовый язык — родной. Он и его семья — глухие. Алексей не слышит с детства, но это не помешало ему стать экспертом в программировании. Целеустремленность и математические способности помогли Алексею Приходько не только получить высшее образование в НГТУ НЭТИ и стать одним из самых успешных аспирантов университета, но и пройти стажировку в Германии по приглашению Гамбургского университета, одержать победу на хакатоне федерального проекта «Россия — страна возможностей», получить грант фонда Владимира Потанина, а также выступить в роли спикера на IT-конференции в Мюнхене и разработать прототип компьютерного переводчика РЖЯ.
В управление информационной политики НГТУ напомнили, что в октябре 2019 года состоялась встреча инженера НГТУ НЭТИ Алексея Приходько и президента России Владимира Путина. Молодой ученый рассказал президенту о своем проекте — программе-переводчике русского жестового языка.
