АО "РОМОНА"
ВИЗИОНЕР

Система семантической сегментации изображений с помощью технологий искусственного интеллекта (ИИ)

ВИЗИОНЕР - система анализа объектов на снимках, сделанных с применением беспилотных летательных аппаратов (БЛА).

Для реализации интеллектуального обнаружения объектов на снимках применяется семантическая сегментация.

Система позволяет автоматически обнаруживать и обозначать (подсвечивать) на снимках нужные объекты по заданным классам.

Благодаря применению нейронной модели, снимки и видео могут обрабатываться в режиме реального времени (в полете). Таким образом, при обнаружении нарушений, несанкционированных объектов или нештатных ситуаций могут быть оперативно приняты меры и при необходимости изменена траектория движения для более подробного изучения ситуации.

Методы определения объектов с помощью ИИ

В чем отличие применяемой семантической сегментации от других методов

Обнаружение объектов

— выделяются несколько объектов на изображении, посредством нахождения координат их ограничивающих рамок (прямоугольной формы) и классификации этих ограничивающих рамок из множества заранее известных классов.

Семантическая сегментация

— нейронная модель для каждого пикселя/вокселя изображения определяет принадлежность к определенной категории. Например, если в исходных данных расположена песчаная линза или разлом, то для каждого пикселя необходимо вывести, является ли этот пиксель частью структуры такого рода.

Семантическая сегментация с дифференцированием объектов

позволяет не только относить пиксели изображения к определенной категории, но и отделять объекты одной категории друг от друга (дифференцировать). Модели, решающие задачу сегментации экземпляров, применяются, в том числе, для учёта отдельных структур в геологических слоях, таких как песчаные линзы, разломы и пр.

Процесс работы в системе

Загрузка изображений в систему
Анализ изображений нейронной моделью - обнаружение объектов и ситуаций (границы и классы), поиск нарушений
Отображение найденных объектов и их границ в пользовательском интерфейсе
Работа с результатами анализа в пользовательском интерфейсе (при необходимости)
Формирование отчета проведения обследования

1.Загрузка изображений в систему

Изображения могут быть загружены в систему автоматически (даже в процессе полета БЛА), а также вручную пользователем: по одной фотографии или массово (путем указания папки-источника).

При загрузке происходит проверка на допустимость формата файла.

Существует возможность загрузки файлов с метаданными для автоматического разбора и сохранения в карточку изображения данных: дата и время полета, широта, долгота, высота, курс, фокусное расстояние, размер матрицы камеры и другие.

2. Анализ изображений нейронной моделью

Сразу после загрузки изображений система начинает анализ изображений: поиск на изображениях объектов (их границ и классов). То есть нейронная модель для каждого пикселя изображения определяет принадлежность к определенному классу.

На данный момент нейронная модель обучена автоматически находить на изображениях 17 классов объектов.

Модель может быть обучена на другие классы объектов, также существующие классы объектов могут быть декомпозированы.

Автоматизированный
поиск нарушений

Система позволяет задавать наборы правил для определения наличия или отсутствия нарушений в рассматриваемых объектах на изображениях.

Каждое правило собирается по принципу конструктора, путем последовательного выбора объектов (классов найденных объектов на изображениях) и задания форм их взаимоотношений относительно друг друга (пересечение, на расстоянии).

Система автоматически рассчитывает расстояния между объектами на изображении, исходя из высоты съемки и фокусного расстояния.

Для каждого правила реализована возможность настройки уведомления, а также признак включения такого нарушения в отчёт.

3. Отображение найденных объектов и их границ в пользовательском интерфейсе

В системе реализован функционал автоматического разбора файлов с метаданными изображений, а также координат объектов обследования. Таким образом, появляется возможность привязки объектов к геолокации и позиционирование на карте, в том числе с учетом близости расположения к самому объекту обследования (например, трубопроводу).
В настройках проекта можно задать ширину охранной зоны объекта обследования, что позволит пользователю увидеть на карте попадают ли объекты на изображении в охранную зону.
Метки снимков на карте отмечены разными цвета в зависимости от наличия или отсутствия нарушений, а также от класса влияния нарушения.
По клику на метку открывается карточка с краткой информацией об изображении и возможностью перехода в интерфейс работы с изображением (границами объектов и нарушениями).

4. Работа с результатами анализа

Система позволяет формировать выборки данных с помощью фильтров. Пользователь может просматривать изображения точечно – например, только с определенными классами (складирование, мусор, автомобили и так далее) или нарушениями.

Инструменты позволяют масштабировать изображение, выключать частично или полностью разметку, доразмечать изображения (изменять границы и классы объектов, которые обнаружила нейронная модель, или добавлять новые объекты). Пользователь может размечать объекты кистью или полигонами. Работа с доразметкой - не сложнее рисования кистью в самом простом графическом редакторе.

После определения объектов на изображении автоматически запускается процесс поиска нарушений, если в настройках проекта указаны правила. Все нарушения перечислены в интерфейсе работы с изображением, цветом обозначен класс влияния каждого нарушения. Пользователь может также добавлять нарушения вручную.

5. Формирование отчета проведения обследования

Система автоматически формирует отчёт на основе найденных объектов, загруженных метаданных, найденных нарушений.
Наборы правил используются для автоматизированного поиска нарушений, отслеживания различных объектов, анализа тех или иных изменений в заданных зонах, а также для оповещения о нарушениях - правила содержат информацию о каналах информирования.
Отчёт может быть сформирован, в том числе, и для целей оповещения по конкретным классам нарушений или по классам объектов с помощью фильтров.