Прежде чем система начнёт действовать сама, задача проходит четыре фильтра

Это не декларация о намерениях, а то, как устроен каждый запуск. Воронка сужается: первый фильтр отсекает задачи, которым модель вообще не нужна, последний — отдельные действия внутри уже работающей системы. Внутренний аудитор, который строит автоматизацию, знает, чем заканчиваются необратимые действия без контроля.

1. 01

   Сначала — код, а не модель

   Если задача решается кодом или обычной автоматизацией, её надо решать так: детерминированное решение стабильно и предсказуемо, модель — нет. Написать такую программу сегодня может и сам ИИ-агент.

2. 02

   PoC

   Если без модели всё же никак — проверяем, закрывает ли она задачу в принципе: прогон на реальных кейсах, подбор модели, замер на эталонном наборе. Не закрывает — проект не начинается, и это нормальный исход, а не провал.

3. 03

   Shadow-режим

   Две–четыре недели модель размечает поток параллельно с людьми и не делает ничего. Боевой запуск — только когда согласованность вышла на целевой уровень. Между первой разметкой и первым реальным действием может пройти месяц — главное не срок, а надёжность инструмента.

4. 04

   Human-in-the-loop

   Критичные и необратимые операции выполняются только по явному подтверждению человека. Разметка, подготовка, черновик — автоматически; отправка, удаление, закрытие — подтверждение рукой.

Задача → что построено → эффект

Классификация обращений горячей линии

в проде

Задача

Поток обращений на комплаенс-линию разбирал человек: прочитать письмо, открыть вложения, определить тему, проставить категорию, передать ответственному.

Построено

Не один n8n, а связка из трёх частей. Самописный сервис держит мост между почтовыми ящиками и пайплайном. Многоуровневое извлечение контента разбирает вложения любых форматов — документы, таблицы, сканы, изображения — через OCR и зрительную модель. n8n оркеструет классификацию в таксономию из десяти маршрутных категорий и интеграции с остальными enterprise-сервисами: категория уезжает обратно в Outlook пользователя, аддитивно, не затирая существующие. Параллельно в тени работает детектор аудит-сигналов — он ничего не отправляет, только собирает таблицу для ревью.

Эффект

• размечены все входящие обращения
• 97,5 % точности по ревью
• маршрутизация за 15 минут вместо суток

Мониторинг изменений законодательства ПОД/ФТ

в проде

Задача

Комплаенс вручную читал рассылки правовой системы и выбирал из них то, что действительно меняет требования 115-ФЗ.

Построено

Две линии обороны: словарный фильтр отвечает за полноту, вердикт языковой модели — за точность. Словарь и промпты лежат в таблице, которую правит сам комплаенс-офицер, без участия инженера. Ежедневный дайджест приходит в личные сообщения, подписка самообслуживаемая.

Эффект

• пропусков при сверке с ручным разбором не зафиксировано
• ложных детектов в дайджесте нет
• 25 изменений в месяц отлавливает инструмент

Сплошные проверки доступов в системы

в проде

Задача

Проверить, что каждая выданная роль подкреплена заявкой. Выборкой такое не ловится — аномалия живёт в одном дне из года.

Построено

Сплошная сверка всех грантов против тикетов и автоматическая коммуникация о проблемных кейсах: владелец узнаёт о разрыве сам, без отдельного запроса от аудита.

Эффект

Снижение ошибок выдачи доступов в 7,6 раза.

Регистрация рисков через чат

в проде

Задача

Сотрудник видит риск, но не знает, как его сформулировать и куда занести. Форма с двадцатью полями этот барьер не снимает.

Построено

Живой чат с ИИ-агентом: он в непринуждённой форме расспрашивает, что случилось, и сам собирает из ответов карточку риска. Как только набран минимально достаточный набор данных — показывает драфт человеку и только после этого регистрирует в системе.

Эффект

Экономия 200 часов в год работы риск-менеджера.

Просмотрщик рекомендаций аудита

в проде

Задача

Ответственный за устранение наблюдения часто не имеет доступа в GRC-систему и не видит, что на нём висит.

Построено

Сервис на Kubernetes: персональная ссылка по неугадываемому токену плюс кампании напоминаний в личные сообщения — просроченные, открытые, на тестировании.

Эффект

Мероприятие доходит до исполнителя, а не до его руководителя через квартал.

Мониторинг упоминаний бренда

пилот · shadow

Задача

Сейчас тональность упоминаний бренда анализируют люди.

Построено

Свой коллектор и классификатор. Сбор ссылок остаётся за подрядчиком, анализ отдан LLM.

Эффект

• ~10 тыс. упоминаний в сутки в контуре задачи
• цель — стоимость обработки ≤ 10 % от текущей
• цель — 5 мин p50 против ~15 минут ручного разбора

Кроме этого: мониторинг внешних рисков по новостному потоку, разбор проектных тикетов, агент для комплаенс-юриста с исполнением вердикта только по нажатию, сервис извлечения текста со страниц (85 % успешных извлечений, медиана 2,0 с).

Что стоит знать до того, как встраивать модель в процесс

Не выводы из отдельных проектов, а то, что повторяется от задачи к задаче — и что дешевле узнать заранее, чем на проде.

Не всякая задача решается моделью

Плохой сарказм в отзыве модель может не считать — и промптом это не лечится. Прежде чем строить пайплайн, надо убедиться, что задача вообще в зоне досягаемости. Иначе получится дорогая обёртка вокруг ответа, которому нельзя доверять.

Модель не знает, где ошиблась

Спрашивать у неё, насколько она уверена, бесполезно: она держится одинаково уверенно и когда права, и когда нет. Порог по этой оценке не строится — на ручной разбор уйдёт либо всё, либо ничего. Если цена ошибки высока, нужна внешняя проверка: вторая модель посильнее, перекрёстный прогон или детерминированное правило. Принцип ровно аудиторский — проверяющий не может быть тем же лицом, что и проверяемый.

Выбор модели важен, но важности промпта не отменяет

Крупные открытые модели и фронтиры вытягивают задачу более коротким промптом — это правда и это экономит время. Но стабильный результат даёт только отработанный промпт: смена его версии на тех же данных двигает метрику заметно сильнее, чем смена модели.

Полнота и точность тянут в разные стороны

Метрики обычного ML никуда не делись: recall и precision надо считать трезво и понимать, чем платишь за каждый процент. И держать наготове golden set — эталонный размеченный набор, на котором сразу видно, как новую версию промпта или новую модель ведёт по обеим метрикам сразу.

В критических процессах оставляй human-in-the-loop

Чем дороже ошибка и чем труднее её откатить, тем ближе к финалу должен стоять человек. Разметку, подготовку и уведомление автоматизируй смело; решение и необратимое действие оставляй людям — это не недоверие к модели, а нормальная конструкция контроля.

Знание, которое не уходит вместе с человеком

Скилл не сделал меня умнее. Он превратил знание в инструмент, который применяется автоматически и который — что критично — могут применять другие, не только я.

Данные не покидают периметр, действия обратимы, расход ограничен сверху

Свой контур

Модели с открытыми весами разворачиваются внутри периметра компании. Содержимое обращений, анкет и внутренних документов не уходит во внешний сервис.

Псевдонимизация

Где анализ не требует личности — идентификаторы хешируются с солью до обработки. Аналитик работает с псевдонимами, сопоставление обратно — отдельная процедура.

Prompt injection

Входной текст приходит от внешних отправителей, то есть является недоверенным по определению. Инструкции модели не смешиваются с данными, а критичные решения дублируются детерминированным правилом.

Необратимые действия

Разделены по уровню риска. Разметка и уведомление — автоматически; пересылка, удаление, закрытие обращения — по явному подтверждению человека.

Потолки расхода

Троттлинг и жёсткие лимиты на прогон — проектное решение, а не настройка. Пайплайн разбит так, чтобы платный шаг физически не мог обработать больше заданного числа записей за запуск.

Наблюдаемость

Отдельный диагностический контур только на чтение: показывает состояние очереди и разметки, но не пишет, не переразмечает и не рассылает.

• n8n
• LLM-шлюз
• модели с открытыми весами
• отказоустойчивость LLM
• зрительные модели · OCR
• PostgreSQL
• Python
• FastAPI
• Playwright
• Kubernetes
• Docker
• SQL
• RAG
• LLM-eval