Специалисты Московского физико-технического института вместе с зарубежными коллегами анонсировали новую разработку для компьютерного зрения — систему Un-ViTAStereo. Она способна с высокой точностью оценивать расстояние до предметов, не требуя применения дорогих лидаров или кропотливой ручной разметки изображений.
Представленная нейросеть демонстрирует отличные результаты в сложных ситуациях, где обычные методы дают сбой: в тумане, при работе с густой растительностью или однородными текстурами, такими как гладкие стены. Технология может найти применение в автопилотах транспортных средств и системах навигации для самостоятельных роботов.
В основе технологии лежит использование особого «учителя» для нейросети — модели Depth Anything V2. Изучая изображение с камеры, он не рассчитывал точные расстояния, но с большой уверенностью определял взаимное расположение объектов, принимая во внимание освещение и геометрию сцены. Процесс обучения учитывал лишь те данные, которые согласовывались с «суждением» этой модели-наставника, что существенно увеличило точность итоговой системы.
«Модель Depth Anything V2 постоянно передает подсказки стереосистеме. Например, «я не знаю, на сколько метров эта машина ближе дерева, но она точно ближе, и граница между ними должна быть резкой» или «на этой стене, где нет контраста, глубина должна меняться плавно», — пояснил руководитель проекта Научно-технического центра телекоммуникаций МФТИ Александр Дворкович.
Подобные системы работают по принципу человеческого зрения: две камеры выполняют роль глаз, а нейросети действуют как мозг, создающий объемную модель окружения. Однако раньше этот подход не справлялся со сложными участками — монотонными поверхностями или зонами с повторяющимся узором. Классическим решением проблемы была ручная разметка, при которой для каждого объекта указывалось точное расстояние. Но такой метод не всегда осуществим и экономически целесообразен.
Как заявляют создатели, новая разработка позволяет преодолеть эти трудности, гарантируя стабильную работу систем технического зрения в самых разных обстоятельствах.
Более детально с материалом можно ознакомиться в эксклюзивной статье «Известий»:
Программа — взгляд: стереозрение поможет роботам-курьерам ориентироваться в тумане