Классификация входящих обращений с ИИ: категории, ошибки и ручная проверка

Поток писем и заявок удобно рассматривать как последовательность решений. Сначала компания определяет тему обращения, затем выбирает ответственного, срок реакции и следующее действие. ИИ может помогать на первом шаге: читать текст и предлагать категорию. Результат такого решения проверяют в работе очереди: измеряют время назначения, число передач между отделами и причины задержек.

Начать стоит с одного канала и одной команды. Например, выбрать письма действующих клиентов по оплате, поставке и документам. Для каждого сообщения сохранить исходный текст, правильный маршрут и объяснение выбора. Этот набор станет общей опорой для владельца процесса, разработчика и сотрудников, которые принимают результат.

Свяжите категории с действиями

Хорошая категория отвечает на практический вопрос: кто и что сделает с обращением дальше. Названия «прочее», «общий вопрос» и «срочное» требуют дополнительных договоренностей. Команда должна понимать, кто просматривает общую очередь, какие признаки определяют срочность и как обрабатывается письмо сразу с несколькими просьбами.

Полезно отдельно описать тему и приоритет. Сообщение об оплате может требовать обычной проверки либо срочной реакции перед отгрузкой. Если объединить эти признаки в одну длинную категорию, каталог быстро разрастется. Два понятных поля позволяют сохранить короткий список тем и отдельно управлять сроками.

Ниже приведен учебный пример для условной торговой компании. Категории и действия предложены для разбора метода.

Для каждой строки добавьте примеры пограничных случаев. Фраза «пришлите счет, чтобы забрать товар завтра» содержит запрос документа и срок. Правило может назначить основную категорию «Документы» и отметить дату как дополнительный признак. Выбранный порядок должен одинаково пониматься командой.

Соберите рабочий набор примеров

Возьмите обращения из реального процесса с разрешением на обработку. Подготовьте копии с заменой личных данных, если для проверки достаточно смысла сообщения. Сохраните полезные детали: разговорные сокращения, опечатки, порядок фраз, цитату прошлого письма и названия внутренних документов. Именно такие особенности встретятся в ежедневной работе.

В наборе должны присутствовать обычные письма, короткие сообщения, длинные цепочки и редкие темы. Частые категории полезны для оценки основного потока. Редкие категории помогают проверить отдельные риски: претензии, изменение платежных реквизитов, просьбы об отмене заказа. Для них можно выделить собственный маршрут ручной проверки.

Попросите двух сотрудников независимо разметить часть примеров. Сопоставьте их решения и обсудите расхождения. Если коллеги выбирают разные категории, начните с уточнения инструкции. Зафиксируйте итоговое правило рядом с примерами. Так компания получает воспроизводимое описание задачи еще до выбора модели.

Сравните ИИ с текущим способом

Опишите, как обращения распределяются сегодня. Это может быть ручная сортировка, правило по теме письма или очередь, которую разбирает координатор. Зафиксируйте время обработки, число переназначений и причины возврата задачи. Такой исходный способ часто называют baseline: с ним сравнивают новый вариант.

Для первого сравнения используйте один и тот же набор сообщений. Сохраните категории, которые предложили действующее правило и ИИ. Затем эксперт проверит результаты по единой инструкции. Если правила хорошо решают часть потока, их можно оставить на этом участке, а модели передать сообщения с более свободной формулировкой.

Сравнивайте полный маршрут обращения. Быстрая классификация приносит пользу, когда назначенная команда действительно принимает задачу. Добавьте в проверку создание карточки, передачу вложений, сохранение истории и возможность поправить категорию. Эти действия связывают AI-функцию с рабочим процессом компании.

Считайте ошибки отдельно по категориям

Для классификации полезны precision и recall. Precision показывает долю правильных назначений среди сообщений, которым система присвоила выбранную категорию. Recall показывает долю найденных обращений этой категории среди всех таких обращений в проверочном наборе. Определения и расчет по каждому классу приведены в документации scikit-learn.

Рассмотрим учебный расчет. В наборе есть 40 обращений по оплате. Система назначила эту категорию 38 письмам, из них 34 назначены правильно. Precision составит 34 / 38, примерно 89,5%. Recall составит 34 / 40, то есть 85%. Эти числа иллюстрируют метод и относятся только к условному примеру.

Руководителю полезно видеть и сами ошибки. Письмо, отправленное в соседний отдел, добавляет передачу между сотрудниками. Претензия, попавшая в обычную очередь, меняет время реакции. Поэтому для каждого типа ошибки укажите последствия и допустимый маршрут. Итоговая оценка должна учитывать содержание категории и цену ошибочного решения.

Настройте участие сотрудника

На пилоте ИИ может сначала предлагать категорию, а координатор подтверждать ее. Сотрудник видит исходное письмо, выбранную тему и краткое основание. Исправление категории сохраняется вместе с причиной. Так команда собирает материал для улучшения инструкции, правил и модели.

Определите условия автоматического маршрута на основе проверенного набора. Отдельно согласуйте темы, которые всегда просматривает человек. Если выбранный инструмент возвращает собственную оценку уверенности, проверьте ее связь с реальными ошибками на ваших примерах. Решение о маршруте должно опираться на измерение и правила процесса.

Сохраните понятную возможность возврата в общую очередь. Координатору нужны журнал назначения, автор исправления и текущий ответственный. При изменении списка категорий повторите проверку сохраненных примеров. Пересмотр регламента, новый продукт или другой канал связи могут изменить язык обращений.

Используйте паспорт пилота

Заполненный паспорт помогает согласовать объем работ. Он связывает модель с действиями команды и фиксирует, по каким наблюдениям заказчик примет решение о продолжении.

Обсудите паспорт с координатором и руководителями принимающих отделов. Уточните, какие категории дают понятный выигрыш в работе очереди. Затем подготовьте примеры, договоритесь о проверке и подключите выбранный сценарий через интеграции с рабочими системами. Такой старт дает компании конкретный предмет оценки: обращение прошло нужный маршрут, ответственный получил контекст, а исправление осталось в журнале.