Kyzylorda-news.kz Google DeepMind представила модель SL2T (sign-language-to-text), которая переводит язык жестов в текст в реальном времени, сообщается в блогн компании.
Технология интегрирована в Gboard и Live Transcribe на смартфонах Pixel 11.
До сих пор развитие ИИ в основном было сосредоточено на распознавании устной речи. При этом более 200 языков жестов, которыми пользуются около 70 млн глухих и слабослышащих людей по всему миру, оставались значительно менее охваченными такими технологиями.
С помощью SL2T пользователи смогут «печатать» жестами, искать информацию в интернете, набирать сообщения и документы, а также обращаться к ИИ-ассистенту Gemini. В Live Transcribe можно будет отвечать собеседнику жестами вместо набора текста.
Пока технология поддерживает только американский жестовый язык (ASL) и переводит его на английский. В Google планируют постепенно расширять список языков и устройств.
Языки жестов имеют собственную грамматику и используют не только движения рук, но и мимику, положение головы и тела. Поэтому их автоматический перевод значительно сложнее простого распознавания отдельных жестов.
SL2T обучали на более чем 100 тыс. часов видеоданных, охватывающих свыше 50 языков жестов. При работе система анализирует не само видео, а координаты ключевых точек тела. Это позволяет передавать на сервер только данные о движении, без исходной видеозаписи.
Модель переводит последовательность движений непосредственно в текст, минуя промежуточные обозначения жестов, или глоссы. По данным разработчиков, на тесте FLEURS-ASL она получила 70 баллов по шкале BLEURT.
При этом система пока имеет ограничения. Она может ошибаться при распознавании редких жестов, быстрой пальцевой азбуки и некоторых сложных конструкций, а также испытывать трудности с определением времени действия без дополнительного контекста.
Разработка велась при участии представителей глухого сообщества. Идея проекта принадлежит сотруднику Google Сэму Сепа, который сам является глухим. Представители сообщества участвовали в сборе данных и тестировании модели.
Источник: inform.kz
Фото создано с помощью ChatGPT