Ученые Московского физико-технического института предложили новую концепцию для борьбы с одной из ключевых проблем в сфере искусственного интеллекта — так называемой «деменцией» нейросетей, при которой модели ИИ теряют ранее усвоенные знания при обучении новым задачам.
Исследователи создали оригинальную архитектуру памяти, опираясь на механизмы работы человеческого мозга. На текущем этапе идея воплощена в форме цифровой модели, а параллельно ведется разработка нейроморфного процессора, который позволит перенести эти решения в аппаратную плоскость.
«Возможно, мы нашли ответ на одну из главных загадок мозга: как он умудряется учиться новому, не стирая при этом старые «файлы». Всё дело в постоянной перестройке нейронных связей — ревайринге. Именно он превращает хрупкую кратковременную память в прочные долговременные воспоминания», — заявил ведущий научный сотрудник лаборатории нейробиоморфных технологий МФТИ Сергей Лобов.
По мнению авторов исследования, и биологические, и искусственные нейросети во время обучения оставляют особые «следы памяти», сравнимые с тропинками в лесу. Если траектории частo меняются, старые маршруты со временем исчезают, и связанные с ними знания утрачиваются. В нейросетях этот эффект называют «катастрофическим забыванием»: при усвоении новой информации предыдущие данные стираются из памяти алгоритма из-за постоянной корректировки параметров.
Чтобы снизить влияние такого явления, специалисты МФТИ адаптировали механизм ревайринга — перестроения связей между нейронами — в соответствии с тем, как он действует у человека. В комбинации с привычными методами обучения этот подход обеспечивает сети способность одновременно сохранять старые и вновь полученные сведения. Это уменьшает вероятность катастрофического забывания и открывает путь к непрерывному обучению ИИ в течение всего срока его работы.
Подробнее читайте в эксклюзивном материале «Известий»: