Российские ученые создали программное обеспечение, которое позволяет пользователям без навыков программирования разрабатывать модели машинного обучения, способные выявлять собственные сбои и ошибки. Ключевая особенность технологии — предиктивные механизмы: нейросети не только добавляют нужные функции по запросу пользователя, но и оценивают их эффективность. Фактически созданные с помощью нового ПО модели сами определяют уровень своей точности и при необходимости корректируют обнаруженные недочеты. Подробнее о разработке — в материале «Известий».Нейросети оценивают сами себяВ Центре НТИ «Цифровое материаловедение: новые материалы и вещества» МГТУ имени Баумана разработали программу, способную автоматически обучать модели машинного обучения и одновременно показывать уровень их уверенности в собственных прогнозах. Это позволит как исследователям, так и пользователям с базовыми компьютерными навыками создавать современные ML-модели и понимать, насколько достоверны их результаты.— Например, требуется определить по рентгеновскому снимку, является ли образование в легком злокачественным или доброкачественным. Модель машинного обучения анализирует тысячи изображений и для нового снимка выдает прогноз: рак это или нет. Допустим, в первом случае оценка уверенности составляет 51%, во втором — 49%. Если врач учтет такую неопределенность — а 49% всё же значимая доля, — пациенту не станут сразу назначать биопсию или дорогостоящие анализы, а направят на дополнительную диагностику, например КТ или ПЭТ-КТ. Либо специалист загрузит в систему более ранние снимки, и модель их сопоставит, что позволит принять более взвешенное и безопасное решение, — объяснил лаборант центра Иван Беспалов.Еще одна сфера применения — фармакология. При разработке новых лекарств необходимо оценивать их токсичность, и даже при ограниченном количестве данных ИИ способен прогнозировать, какой препарат потенциально опаснее. Однако стандартные модели выдают лишь само значение токсичности, не уточняя масштаб возможной ошибки. Например, одному пациенту алгоритм может определить дозу в 30 мг с погрешностью ±2 мг, а другому — 20 мг с погрешностью ±18 мг. Формально второе значение ниже, но из-за высокой неопределенности вывод может оказаться некорректным. Новый алгоритм позволяет учитывать такие погрешности, что дает пользователю возможность более точно интерпретировать результаты.— В данном примере предсказываемая неуверенность составляет почти 100% от самой величины (20 мг при погрешности 18 мг), — пояснил Иван Беспалов. — Это означает, что модель плохо понимает собственный результат и честно сообщает об этом. Соответственно, следовать такому прогнозу нельзя. Благодаря этому принимается более взвешенное и безопасное решение, а пациент избегает лишнего риска.Главным преимуществом он назвал то, что зарубежные аналоги не способны оценивать уверенность собственных предсказаний, а потому их сложнее применять в критически важных сферах, где цена ошибки может быть высокой. В новую систему достаточно будет загрузить Excel-файл с данными, после чего она самостоятельно проанализирует их с помощью методов машинного обучения. По его словам, даже пользователи без специальной подготовки смогут работать с ИИ, который сам оценивает точность своих выводов и указывает возможную погрешность.К концу 2026 года центр НТИ планирует регистрацию прав интеллектуальной собственности. Как повысить эффективность обучения ИИВ одном направлении с центром НТИ движется и новая разработка компании «Криптонит». Специалисты нашли способ обучать нейросети так, чтобы те могли распознавать миллионы различных объектов, оставаясь компактными и не требуя больших вычислительных ресурсов. Это позволяет существенно снизить риски зависаний, галлюцинаций и прочих ошибок. Пользователь заранее задает особую структуру скрытого пространства (LSC), благодаря чему нейросеть можно масштабировать даже в тех случаях, когда классическое обучение с учителем работает плохо или вовсе невозможно. При этом модель в процессе дообучения новыми объектами продолжает распознавать уже известные ей. Такой подход повышает качество анализа изображений и может применяться в самых разных сферах — от поиска патологий на медицинских снимках и оплаты по биометрии до распознавания товаров и определения состава материалов по фотографии.— Этот метод открывает дорогу для разработки более эффективных ИИ-систем, способных работать с гигантскими наборами категорий, что будет особенно важно при динамичном развитии рынка, — рассказал «Известиям» кандидат технических наук, эксперт отдела перспективных исследований и автор этой работы Никита Габдуллин.В традиционных методах распознавания чем больше объектов необходимо классифицировать, тем крупнее становится сама модель, что фактически ограничивает ее масштабируемость. Новый подход позволяет избежать этого: число параметров нейросети не растет вместе с количеством классов, при этом сохраняется высокая точность — 87,1% на базе 1,28 млн изображений. Кроме того, для работы модели требуется меньше видеопамяти, уточнили в пресс-службе компании.Несмотря на то что на рынке уже есть схожие российские решения, подход МГТУ выделяется именно глубокой интеграцией оценки уверенности. Это критично для задач с высокой ценой ошибки — в медицине, фарме, материаловедении. Возможность видеть, где модель «сомневается», превращает ИИ из «черного ящика» в помощника для принятия взвешенных решений, считает руководитель креативной группы агентства Milestone Денис Боков.— Перспективы у направления очень сильные. Такой инструмент снижает порог входа, позволяя профильным экспертам (врачам, химикам, инженерам) самостоятельно проверять гипотезы, не ожидая помощи IT-отделов и не тратя время на коммуникацию с разработчиками, — уточнил он.Само направление автоматизированного машинного обучения (AutoML), как в случае с продуктом МГТУ, весьма перспективно. Но его реальная ценность раскрывается только при глубокой интеграции в конкретные бизнес-процессы. Ключевым фактором успеха становится не сама модель, а экспертиза команды, способная учесть специфику данных и задач бизнеса, считает директор по продукту «Оператор Газпром ИД» Павел Боюка.— Это направление пользуется серьезной поддержкой на государственном уровне, оно приоритетно в рамках национальной стратегии по ИИ, а развивать его помогает сильная образовательная база ведущих вузов. Если эффективность AutoML будет подтверждена, следующий шаг — переход от автоматизации разработки моделей к созданию автономных, самоуправляемых ИИ-экосистем. Сегодня мы помогаем пользователю построить модель, а в перспективе система сможет взять на себя весь ее жизненный цикл, — отметил эксперт. В долгосрочной перспективе появятся автономные ИИ-агенты, способные самостоятельно ставить цели и управлять сложными бизнес-процессами. Нейросети, умеющие выявлять собственные ошибки и корректировать прогнозы, откроют эру «интеллектуального суверенитета», когда возможности ИИ станут по-настоящему доступным инструментом для каждого.
Российские ученые создали программное обеспечение, которое позволяет пользователям без навыков программирования разрабатывать модели машинного обучения, способные выявлять собственные сбои и ошибки. Ключевая особенность технологии — предиктивные механизмы: нейросети не только добавляют нужные функции по запросу пользователя, но и оценивают их эффективность. Фактически созданные с помощью нового ПО модели сами определяют уровень своей точности и при необходимости корректируют обнаруженные недочеты. Подробнее о разработке — в материале «Известий».
Нейросети оценивают сами себя
В Центре НТИ «Цифровое материаловедение: новые материалы и вещества» МГТУ имени Баумана разработали программу, способную автоматически обучать модели машинного обучения и одновременно показывать уровень их уверенности в собственных прогнозах. Это позволит как исследователям, так и пользователям с базовыми компьютерными навыками создавать современные ML-модели и понимать, насколько достоверны их результаты.
— Например, требуется определить по рентгеновскому снимку, является ли образование в легком злокачественным или доброкачественным. Модель машинного обучения анализирует тысячи изображений и для нового снимка выдает прогноз: рак это или нет. Допустим, в первом случае оценка уверенности составляет 51%, во втором — 49%. Если врач учтет такую неопределенность — а 49% всё же значимая доля, — пациенту не станут сразу назначать биопсию или дорогостоящие анализы, а направят на дополнительную диагностику, например КТ или ПЭТ-КТ. Либо специалист загрузит в систему более ранние снимки, и модель их сопоставит, что позволит принять более взвешенное и безопасное решение, — объяснил лаборант центра Иван Беспалов.
Еще одна сфера применения — фармакология. При разработке новых лекарств необходимо оценивать их токсичность, и даже при ограниченном количестве данных ИИ способен прогнозировать, какой препарат потенциально опаснее. Однако стандартные модели выдают лишь само значение токсичности, не уточняя масштаб возможной ошибки. Например, одному пациенту алгоритм может определить дозу в 30 мг с погрешностью ±2 мг, а другому — 20 мг с погрешностью ±18 мг. Формально второе значение ниже, но из-за высокой неопределенности вывод может оказаться некорректным. Новый алгоритм позволяет учитывать такие погрешности, что дает пользователю возможность более точно интерпретировать результаты.
— В данном примере предсказываемая неуверенность составляет почти 100% от самой величины (20 мг при погрешности 18 мг), — пояснил Иван Беспалов. — Это означает, что модель плохо понимает собственный результат и честно сообщает об этом. Соответственно, следовать такому прогнозу нельзя. Благодаря этому принимается более взвешенное и безопасное решение, а пациент избегает лишнего риска.
Главным преимуществом он назвал то, что зарубежные аналоги не способны оценивать уверенность собственных предсказаний, а потому их сложнее применять в критически важных сферах, где цена ошибки может быть высокой. В новую систему достаточно будет загрузить Excel-файл с данными, после чего она самостоятельно проанализирует их с помощью методов машинного обучения. По его словам, даже пользователи без специальной подготовки смогут работать с ИИ, который сам оценивает точность своих выводов и указывает возможную погрешность.
К концу 2026 года центр НТИ планирует регистрацию прав интеллектуальной собственности.
Как повысить эффективность обучения ИИ
В одном направлении с центром НТИ движется и новая разработка компании «Криптонит». Специалисты нашли способ обучать нейросети так, чтобы те могли распознавать миллионы различных объектов, оставаясь компактными и не требуя больших вычислительных ресурсов. Это позволяет существенно снизить риски зависаний, галлюцинаций и прочих ошибок. Пользователь заранее задает особую структуру скрытого пространства (LSC), благодаря чему нейросеть можно масштабировать даже в тех случаях, когда классическое обучение с учителем работает плохо или вовсе невозможно. При этом модель в процессе дообучения новыми объектами продолжает распознавать уже известные ей. Такой подход повышает качество анализа изображений и может применяться в самых разных сферах — от поиска патологий на медицинских снимках и оплаты по биометрии до распознавания товаров и определения состава материалов по фотографии.
— Этот метод открывает дорогу для разработки более эффективных ИИ-систем, способных работать с гигантскими наборами категорий, что будет особенно важно при динамичном развитии рынка, — рассказал «Известиям» кандидат технических наук, эксперт отдела перспективных исследований и автор этой работы Никита Габдуллин.
В традиционных методах распознавания чем больше объектов необходимо классифицировать, тем крупнее становится сама модель, что фактически ограничивает ее масштабируемость. Новый подход позволяет избежать этого: число параметров нейросети не растет вместе с количеством классов, при этом сохраняется высокая точность — 87,1% на базе 1,28 млн изображений. Кроме того, для работы модели требуется меньше видеопамяти, уточнили в пресс-службе компании.
Несмотря на то что на рынке уже есть схожие российские решения, подход МГТУ выделяется именно глубокой интеграцией оценки уверенности. Это критично для задач с высокой ценой ошибки — в медицине, фарме, материаловедении. Возможность видеть, где модель «сомневается», превращает ИИ из «черного ящика» в помощника для принятия взвешенных решений, считает руководитель креативной группы агентства Milestone Денис Боков.
— Перспективы у направления очень сильные. Такой инструмент снижает порог входа, позволяя профильным экспертам (врачам, химикам, инженерам) самостоятельно проверять гипотезы, не ожидая помощи IT-отделов и не тратя время на коммуникацию с разработчиками, — уточнил он.
Само направление автоматизированного машинного обучения (AutoML), как в случае с продуктом МГТУ, весьма перспективно. Но его реальная ценность раскрывается только при глубокой интеграции в конкретные бизнес-процессы. Ключевым фактором успеха становится не сама модель, а экспертиза команды, способная учесть специфику данных и задач бизнеса, считает директор по продукту «Оператор Газпром ИД» Павел Боюка.
— Это направление пользуется серьезной поддержкой на государственном уровне, оно приоритетно в рамках национальной стратегии по ИИ, а развивать его помогает сильная образовательная база ведущих вузов. Если эффективность AutoML будет подтверждена, следующий шаг — переход от автоматизации разработки моделей к созданию автономных, самоуправляемых ИИ-экосистем. Сегодня мы помогаем пользователю построить модель, а в перспективе система сможет взять на себя весь ее жизненный цикл, — отметил эксперт.
В долгосрочной перспективе появятся автономные ИИ-агенты, способные самостоятельно ставить цели и управлять сложными бизнес-процессами. Нейросети, умеющие выявлять собственные ошибки и корректировать прогнозы, откроют эру «интеллектуального суверенитета», когда возможности ИИ станут по-настоящему доступным инструментом для каждого.