21 февраля были определены победители конкурса на предоставление грантов Президента Российской Федерации. Грант в размере 10 млн рублей выиграл инженер кафедры автоматизированных систем управления НГТУ НЭТИ Алексей Приходько. Алексей Приходько — единственный глухой программист в мире, который работает над созданием автоматического переводчика жестов на письменный язык. Искусственный интеллект переводит язык людей с нарушениями слуха и управляет компьютером при помощи жестов.
Алексей Приходько уже создал прототип системы, которая переводит на уровне азбуки глухих (видео). На выделенные средства Алексей планирует обучить систему другим компонентам грамматики русского жестового языка (РЖЯ), чтобы довести программу до готового продукта для широкого использования среди глухих. Среди главных задач наполнение базы жестов РЖЯ, разработка алгоритмического и программного обеспечения распознавания траекторий движения и конфигураций отдельных компонентов жестов глухих, которые будут заданы в форме видеофайлов, и создание мобильной версии программы.
Система ориентирована на глухих граждан России, всех заинтересованных сторон в использовании русского жестового языка, в том числе и зарубежных пользователей. На первом этапе реализации тестирование программы будет проводиться в Институте социальных технологий Новосибирского государственного технического университета НЭТИ. Сроки реализации проекта — с 1 марта 2020 года по 28 февраля 2022 года.
Инженер кафедры автоматизированных систем управления НГТУ НЭТИ Алексей Приходько — единственный в мире глухой программист и эксперт по разработке системы для перевода РЖЯ. «Я — исполнитель, я же — и разработчик. Представьте, если бы я занимался пианино, я не смог бы ремонтировать его, настраивать, потому что я его не слышу. То же самое и человек, который не знает жестового языка. Технически ему очень сложно работать над этим, потому что он не может учитывать всю специфику этой лингвистики», — утверждает Алексей Приходько.
Основная функция программы, над которой работает Алексей, — перевод. Система работает по аналогии с мозгом человека. При помощи камеры программа распознает картинку и фиксирует жесты, изображение переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод. Помимо встроенной функции переводчика, система способна управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши.
Безмаркерная система, которую использует в системе Алексей, при помощи специальных камер накладывает виртуальную «сетку» на получаемое изображение. На этой «сетке» программные алгоритмы находят опорные точки, по которым определяются жесты. Далее система обрабатывает данные и после воспроизводит заданные действия: перевод или управление.
Для автора разработки русский жестовый язык — родной. Он и его семья — глухие. Алексей не слышит с детства, но это не помешало ему стать экспертом в программировании. Целеустремленность и математические способности помогли Алексею Приходько не только получить высшее образование в НГТУ НЭТИ и стать одним из самых успешных аспирантов университета, но и пройти стажировку в Германии по приглашению Гамбургского университета, одержать победу на хакатоне федерального проекта «Россия — страна возможностей», получить грант фонда Владимира Потанина, а также выступить в роли спикера на IT-конференции в Мюнхене и разработать прототип компьютерного переводчика РЖЯ.
Напоминаем, что в октябре 2019 года состоялась встреча инженера НГТУ НЭТИ Алексея Приходько и президента России Владимира Путина. Молодой ученый рассказал президенту о своем проекте — программе-переводчике русского жестового языка.
Справка
Фонд является единым оператором грантов Президента Российской Федерации на развитие гражданского общества. Всего на конкурс поступило 9 308 проектов от 7 946 некоммерческих организаций. Гранты на общую сумму 4 092 млн рублей получат 2 017 организаций из всех 85 регионов страны.
Путин дал глухому инженеру НГТУ НЭТИ 10 млн рублей на создание компьютерного переводчика жестового языкаНовосибирский государственный технический университет (nstu.ru), 26.02.2020
Путин дал глухому инженеру из Новосибирска 10 млн рублей на создание языка жестовПрецедент (precedent.tv), 26.02.2020
Путин дал глухому инженеру НГТУ НЭТИ 10 млн рублей на создание компьютерного переводчика жестового языка с искусственным интеллектомМеждународный промышленный портал (promvest.info), 26.02.2020
Президентский грант в размере 10 млн рублей получил глухой инженер НГТУ НЭТИНИА Новосибирск (54rus.org), 26.02.2020
Глухой инженер НГТУ НЭТИ получил от Президента 10 млн рублей на создание компьютерного переводчика жестового языка с искусственным интеллектомПульс кадровой индустрии (hrpuls.ru), 26.02.2020
Путин дал глухому инженеру НГТУ НЭТИ 10 млн рублей на создание компьютерного переводчика жестового языкаInformio.ru, 26.02.2020
Пульс дня НовосибирскаЧестное слово (chslovo.com), 27.02.2020
Путин дал глухому инженеру НГТУ НЭТИ 10 млн рублей на создание компьютерного переводчика жестового языкаПортал машиностроения (mashportal.ru), 27.02.2020
Путин дал 10 млн глухому сибирскому программисту на переводчик жестовHOLME SPACE (holme.ru), 28.02.2020
Путин дал 10 млн глухому сибирскому программисту на переводчик жестовНовосибирские новости (nscn.ru), 28.02.2020
Глухой программист из Новосибирска получил от Президента 10 млн рублейНовости регионов России (skoronovosti.ru), 28.02.2020
Путин дал 10 млн глухому сибирскому программисту на переводчик жестовМосковский Комсомолец # Новосибирск (novos.mk.ru), 27.02.2020
Путин дал 10 млн глухому сибирскому программисту на переводчик жестовSeldon.News (news.myseldon.com), 27.02.2020
Президентский грант в размере 10 млн рублей выиграл глухой инженер НГТУ НЭТИДепартамент образования Новосибирской области (minobr.nso.ru), 27.02.2020
Единственный в мире глухой программист из Новосибирска разработал переводчик жестового языкаКомсомольская правда (nsk.kp.ru), 27.02.2020
Единственный в мире глухой программист из Новосибирска разработал переводчик жестового языкаSeldon.News (news.myseldon.com), 27.02.2020
Глухой программист из Новосибирска получил от Президента 10 млн рублейAtas.info, 27.02.2020
Новосибирский инженер получил президентский грант на электронный переводчик с языка жестовРадио Юнитон (uniton.ru), 27.02.2020
Новосибирец получил от президента 10 млн на переводчик жестового языкаThe world news (theworldnews.net), 27.02.2020
Глухой программист из Новосибирска получит 10 млн рублей от ПутинаЯндекс.Новости (yandex.ru/news), 27.02.2020
Глухой инженер НГТУ НЭТИ получил грант от президента на создание компьютерного переводчика жестового языка с искусственным интеллектомСПб.Собака.ru (sobaka.ru), 27.02.2020
Новосибирец получил от президента 10 млн на переводчик жестового языкаИА Regnum, 27.02.2020
Новосибирец получил от президента 10 млн на переводчик жестового языкаSeldon.News (news.myseldon.com), 27.02.2020
Глухой программист из Новосибирска получит 10 млн рублей от ПутинаКоммерсантъ # Красноярск.ru, 27.02.2020
Глухой программист из Новосибирска получил 10 млн рублей от ПутинаRuNews24 (runews24.ru), 27.02.2020
Глухой программист из Новосибирска получил 10 млн рублей от ПутинаSeldon.News (news.myseldon.com), 27.02.2020
Глухой программист получил президентский грант на переводчик с жестовогоОфициальный сайт г. Новосибирск (nsknews.info), 26.02.2020
Инженер НГТУ НЭТИ получил 10 млн рублей на создание компьютерного переводчика жестового языкаInfopro54.ru, 26.02.2020
Инженер НГТУ НЭТИ получил 10 млн рублей на создание компьютерного переводчика жестового языкаSeldon.News (news.myseldon.com), 26.02.2020
Путин выделил глухому программисту из Новосибирска 10 млн рублей на компьютерный переводчик жестовOm1.ru, 26.02.2020
Глухой программист получил президентский грант на переводчик с жестовогоНовости Новосибирска (novosibirsk-news.net), 26.02.2020
Десять миллионов рублей дал Путин новосибирскому глухому инженеруGorsite.ru, 26.02.2020
Глухой программист из НЭТИ получил 10 миллионов от ПутинаНовая Сибирь (newsib.net), 26.02.2020
Путин дал 10 миллионов глухому программисту из НовосибирскаНовосибирский городской сайт (ngs.ru), 26.02.2020
Путин выделил глухому программисту из Новосибирска 10 млн рублей на компьютерный переводчик жестовGorodskoyportal.ru/omsk, 26.02.2020