ПАО "Газпром нефть"
Система корпоративного контроля

Система интеллектуального анализа текста документов для определения круга согласующих и распределения по соответствующим юридическим практикам для ПАО "Газпром нефть"

Система корпоративного контроля (СКК) предназначена для семантического анализа, автоматизации процесса извлечения структурированной информации и проверки документов на естественном языке с использованием современных технологий анализа текста на основе методов глубокого обучения (Deep Learning).

Функциональные возможности

Система корпоративного контроля позволяет автоматически обрабатывать различные типы текстовых документов:

Автоматическая классификация документов по стандартным типам на основе содержимого (например, договор, приказ, письмо и т.п.)
Автоматическая классификация документов на основе содержимого по заданным таксономиям типов для последующей маршрутизации
Определение иерархической структуры документов с последующей возможностью навигации по документу

Поиск и извлечение именованных сущностей, фактов, смыслов в массивах документов на естественном языке и визуализация их в документе
Определение взаимосвязей между документами
Проверка соблюдения заданных условий, норм и требований в документах и группах связанных документов
Технология дообучения системы для повышения качества выявления нарушений

Преимущества СКК

Использование новейших методов машинного обучения

Использование глубокого обучения и современных больших предтренированных моделей.
Механизмы повышения качества модели системы

Повышение качества модели за счет дообучения модели с помощью документов, исправленных пользователем системы.
Оптимизация рутинных процедур

Увеличение эффективности бизнес-процессов организации за счет сокращения времени на ручную обработку документов и повышения качества данных машинного обучения.
В месяц система проверяет и маршрутизирует в среднем 40 тысяч документов.
Упорядочивание процесса

Упрощение и упорядочивание процесса понимания и распределения документов и включения их в бизнес-процессы организации с помощью алгоритмов искусственного интеллекта, которые развиваются с использованием новейших методов машинного обучения.

Управление жизненным циклом моделей

Система представляет собой высоконфигурируемый программный комплекс, который состоит из конвейера обучения и среды функционирования.

Внесенные пользователем изменения сохраняются в системе и используются в дальнейших циклах дообучения нейронной модели, что повышает ее точность в будущем.

Весь конвейер обучения обеспечивается средствами MLOps: версионность данных и моделей, трекер экспериментов, оценка дрейфа данных, автоматизированное развёртывание.

Классификация документов по тематикам

1. Классификация документов

Система позволяет классифицировать документы на основе содержимого :

по заданным тематикам;
по стандартным типам документов.

Классификация происходит с помощью семантического анализа текста (понимания сути) – документы могут иметь любые названия и заголовки.

Классификация документов по типам

Из общего хранилища документов система разбирает (классифицирует) документы по типам. Например, устав, договор, соглашение, приложение, протокол и прочие.

Представление структуры документа в виде дерева ссылок и отражение ограничений, указанных в документе

2. Определение структуры

Система корпоративного контроля определяет структуру документа, выделяет разделы и отображает содержание документа в виде иерархического дерева с возможностью перехода к любой части документа

Найденные атрибуты и их значения подсвечены цветами

3. Извлечение сущностей и значений

Система корпоративного контроля осуществляет поиск и извлечение именованных сущностей, фактов, смыслов в массивах документов на естественном языке и визуализирует их в документе.

Отсутствующие атрибуты указаны в строке предупреждения.
Обработка одного документа занимает от нескольких секунд до 2 минут.
Пользователь при необходимости может вносить изменения в извлекаемые сущности. Таким образом происходит постоянное обучение системы пользователем в пассивном режиме.

Редактирование атрибутов

Редактирование атрибутов пользователем

При неверном определении атрибутов или их значений (при появлении уникальных примеров, на которых не была обучена система) пользователь может внести изменения через интерфейс и доразметить документ для дальнейшей работы.

Внесенные пользователем изменения сохраняются в системе и используются в дальнейших циклах дообучения нейронной модели.

Определение взаимосвязей

4. Определение взаимосвязей

Система корпоративного контроля выявляет взаимосвязи между документами как по извлеченным фактам, так и по смыслу, а также позволяет осуществлять переход на текст связанного документа. Это позволяет:
1. Проверку значений одних и тех же атрибутов в связанных документах.
2. Проверку соблюдения норм и требований в регламентирующих документах (например, положений устава).
3. Проверку наличия необходимых связанных документов (например, отсутствие доверенности или протокола коллегиального органа).

Диаграмма распределения документов по типам

5. Формирование отчетности

Система корпоративного контроля позволяет формировать отчеты о проведенных проверках в удобном формате: в виде графиков и диаграмм. Наглядность таких инструментов помогает быстро и эффективно принять верные управленческие решения.