Исследователи Кембриджского университета создали носимое устройство Revoice, призванное вернуть беглую и эмоционально насыщенную речь пациентам с дизартрией после инсульта. Разработка представляет собой набор, который сочетает датчики вибрации мышц глотки и сигналы пульса сонной артерии с обработкой на основе большой языковой модели (ЛЯМ). Об этом сообщает журнал Nature Communications (NatCom).
Система опирается на сверхчувствительные текстильные датчики, закрепляемые на шее для сбора качественных сигналов. Последующая обработка выполняется системой искусственного интеллекта (ИИ), которая в реальном времени восстанавливает речь.
В испытаниях на пяти пациентах с дизартрией (нарушение речи после инсульта) модули системы исправляли ошибки токенов и повышали связность фраз, учитывая логическую последовательность и эмоциональную окраску. Авторы зафиксировали низкие показатели ошибок: 4,2% по словам (WER) и 2,9% по предложениям (SER), а также рост удовлетворенности пользователей на 55%. По замыслу разработчиков, платформа может найти применение при других неврологических состояниях и в многоязычных сценариях.
Исследователи отмечают, что опыт выполнен на небольшой выборке и с ограниченным словарем, а эмоции сейчас извлекаются из одного типа сигнала. В планах — расширение когорты пациентов, добавление новых языков, совершенствование мультимодального распознавания эмоций (например, путем подключения дополнительных сенсоров), облегчение аппаратной части (гибкая плата), перенос вычислений на edge-устройства и доработка механизма определения конца высказывания для тех, кто предпочитает более длинные фразы.
В работе также подчеркивается возможное влияние на качество жизни: восстановление коммуникации может уменьшать социальную изоляцию и содействовать реабилитации за счет более точной обратной связи между пациентом и терапевтом.
Журнал BBC Science Focus 9 января раскрыл неправильное понимание причин дислексии. Ранее считали, что основа расстройства — исключительно проблемы с фонологией или зрением. Новые исследования показывают, что это сложное нарушение обусловлено взаимодействием генетики, мозговых особенностей, восприятия, когнитивных функций и факторов окружающей среды.