Фото: УК «Ломоносов Капитал»
Ученые из Новосибирска разработали программное обеспечение для перевода звучащей речи на язык жестов. Используя приложение, слабослышащие инвалиды смогут общаться с обычными людьми.
Резидент IT-инкубатора новосибирского Академпарка ООО «Сурдофон», работающее в составе УК «Ломоносов Капитал», создало устройство для перевода звучащей речи на язык жестов. Разработанная учеными программа сначала распознает звучащую речь, затем анализирует ее смысл и переводит на язык глухонемых. После чего анимационная кукла-аватар жестами показывает прозвучавший текст на экране монитора. Это решает основную проблему, с которой каждый день сталкиваются инвалиды по слуху, — как понять то, что им говорят окружающие.
Над решением этой задачи работали многие ученые. Но только новосибирским инноваторам удалось создать первый в мире работоспособный продукт.
Аналогов у нашего программного обеспечения, насколько нам известно, нет. В свое время был запущен проект по созданию компьютерного сурдопереводчика, который финансировала IBM. В нем принимали участие и российские специалисты. Но идея развития не получила. Последние известия о проекте были в 2007 году, и с тех пор о нем ничего не слышно. Думаю, они споткнулись о ключевую проблему, которую нужно было решить для реализации этой идеи, — как перевести смысл звучащей речи на язык жестов. Ее решение — технологическое ядро всех наших дальнейших разработок. Работа с семантическим блоком была самым сложным этапом. У нашей программы есть своя стратегия перевода — среди возможных вариантов она выбирает оптимальный. И делает это именно по правилам языка глухонемых, а не так, как обычно переводят на язык жестов: кто-то произнес какое-то слово — его показали. Люди, которые говорят на жестовом языке, не понимают такую речь.
Уже через полгода создатели планируют вывести революционный продукт на рынок. С его помощью может быть решен целый спектр более чем актуальных проблем.
Самый очевидный вариант использования программы — создать плагин для телестудий. Телередакторы смогут загружать письменный текст передач, программа будет переводить его на язык жестов, а виртуальный сурдоперводчик в углу экрана телевизора переведет текст для зрителей с ограниченными возможностями.
Подавляющее большинство каналов на отечественном телевидении не утруждает себя сурдопереводом. И в итоге лишенные возможности слышать люди оказываются в информационном вакууме. Разве справедливо, что они не могут узнать, что им хочет сказать президент России?
Инновационная разработка откроет инвалидам по слуху доступ на публичные лекции и выступления. Текст, который лектор или политик произносит в микрофон, после программной обработки можно будет синхронно выводить на большой экран. Что особенно важно, дети с ограниченными возможностями смогут не только полноценно воспринимать уроки в коррекционной школе, но даже посещать обычную школу.
То, как у нас сейчас проходят уроки в коррекционных школах для детей, лишенных слуха, — огромная проблема. Учителя не знают языка глухонемых, в классах работают сурдопереводчики. Грамотных специалистов катастрофически не хватает, возникают трудности перевода. В результате дети не могут понять, что им говорит учитель. О каком качестве обучения может идти речь? С таким образованием они не то что русский язык, даже язык жестов зачастую выучить нормально не могут.
На следующем этапе создатели программы по сурдопереводу планируют создать desktop-приложение, которое позволит инвалидам по слуху пользоваться интернет-радио.
Одним из наиболее социально значимых результатов использования программы может стать установка в госучреждениях специальных коммуникаторов. Государственные служащие, к которым обращается инвалид по слуху, смогут с его помощью донести до него всю нужную информацию. Госслужащие будут произносить нужный текст в коммуникатор, а виртуальный переводчик на большом экране коммуникатора перескажет на языке глухонемых все, что они говорят. Это поможет решить поставленную государством стратегическую задачу – сделать государственные услуги доступными для всех слоев населения.
Сегодня инвалиды по слуху вынуждены при каждом обращении в государственное учреждение брать с собой сурдопереводчика. Максимум, на что они способны самостоятельно, – это отнести какую-нибудь справку. А вот с врачами, нотариусами, работниками ЖКХ, сотрудниками милиции, прокуратуры, суда, регистрационной палаты люди с ограниченными возможностями без посторонней помощи объясниться не могут. На сегодняшний день каждый инвалид по слуху по закону имеет право на 40 часов бесплатных услуг сурдопереводчика в год. Иметь-то он имеет, но вот только сурдопереводчиков на всех не хватает. Да и что такое 40 часов? Это очень мало. Приходится просить о помощи родственников, друзей. А если человек одинок? Или семья состоит из двух инвалидов по слуху? Что им тогда делать? Если новосибирская разработка поможет решить эту наболевшую проблему, то я считаю, ее создателям надо Нобелевскую премию дать!
По замыслу разработчиков программы, финальным этапом станет создание мобильного приложения для смартфона. Установив его, человек, лишенный слуха, сможет принять звонок – он будет преобразован в видеоизображение.
Вот такие фантастические перспективы открывает изобретение ООО «Сурдофон». И это только в первом приближении – с началом коммерческого использования программы наверняка появится множество новых идей, как и где ее применить.
Все идеи и технологии, использованные при разработке программного обеспечения по переводу на язык жестов, принадлежат российским ученым.
Единственное программное обеспечение, которое разработано не нами – это открытый сервис Google по переводу звучащей русской речи в письменную. Если раньше с ним возникали проблемы, то теперь оно работает все лучше и лучше. Ошибок при переводе устной речи в письменную практически нет. Все остальные разработки – наше ноу-хау. И главной проблемой было, разумеется, создание программного обеспечения для перевода письменного текста в язык жестов. Это наша главная ценность, то, на чем базируются все последующие разработки. Ведь в чем здесь сложность? Нужно сохранить семантику предложений и одновременно вычленить наиболее значимую информацию, чтобы минимизировать количество движений аватара-переводчика. Анализ текста основан на принципах математической лингвистики и состоит из трех основных этапов. Первый – синтаксический, на котором анализируется структура предложения. Второй – морфологический, когда вычленяются корни слов. Третий — сопоставление корней со словарем словоформ языка глухонемых, который на данный момент включает в себя порядка 110 000 слов, поиск аналогов в словаре жестов. Огромные сложности при переводе создает то, что русский разговорный язык и язык жестов основаны на совершенно разных принципах. У них разный синтаксис. Когда мы говорим, мы можем употреблять слова практически в любом порядке. А в языке жестов порядок слов жестко закреплен.
Много времени и усилий ушло у новосибирских ученых и на создание виртуального сурдопереводчика. Первоначально использовалась готовая компьютерная кукла, но как выяснилось, она не совсем подходила для перевода на язык глухонемых.
Готовая виртуальная кукла-переводчик была недостаточно управляемой. Поэтому мы создали собственного аватара, который может работать на разной скорости, у него более проработанные жесты, и особенно пальцы. Это очень важно при передаче языка глухонемых. Потом нам пришлось работать над совершенствованием системы нотаций – системы описания жестов. Таких систем несколько, мы использовали Гамбургскую Систему Нотаций (HamNoSys). Оказалось, этого языка описания пока не хватает, чтобы передать реальные жесты живого переводчика. Поэтому мы поставили цель расширить систему нотаций и достигли ее.
Видео
Видео: НГС Новости на YouTube
Новосибирский сурдопереводчик
Над решением этих задач работает целая команда специалистов из разных областей, более 20 человек. Самой идее создания программного обеспечения по сурдопереводу уже 10 лет, но до ноября прошлого года работа продвигалась медленно. И только в ноябре этого года, после того как было создано ООО «Сурдофон» и компания получила возможность работать в новосибирском Академпарке, наступил переломный момент. Менее чем за год новосибирские ученые прошли путь от начальных математических разработок до действующего прототипа программы.
Уже полгода опытный образец программы тестируется в НГТУ на факультете социальной реабилитации, разработчики вносят в программу необходимые изменения в соответствии с замечаниями специалистов. Впереди – большое будущее, ведь программа легко может быть адаптирована для любого из мировых языков.
Прислала
Анна Екимова
Очень и очень нужно изобретение. Инвалидам еще и лекции можно с помощью него слушать.
Прислал
Антон Макаров
Да, это облегчит им жизнь однозначно. Молодцы, что сделали такой сурдопереводчик.
Андрей Сазонов
Анна Екимова
Антон Макаров
Георгий Георгиев
Арт Сирожеев
5 комментариев к материалу. Показать отмеченные редакциейвсе