Улучшение ИИ-системы начинается с разбора конкретных ответов. Иногда помощнику требуется точнее соблюдать формат. Иногда для ответа нужен свежий документ. В другом случае задача требует устойчиво применять специальную схему обработки текста. Эти причины ведут к разным экспериментам.
Соберите примеры, которые команда хочет улучшить, и опишите правильный результат. Для каждого примера укажите источник факта, правило действия и роль сотрудника. После этого можно выбирать способ изменения системы и заранее назначать проверку результата. Ниже приведена методика такого выбора для корпоративного проекта.
Разделите знание, поведение и действие
В рабочем задании полезно видеть три слоя. Первый содержит сведения: статус заказа, текст инструкции, характеристики товара. Второй описывает поведение: как оформить ответ, какую информацию запросить у пользователя, когда передать обращение специалисту. Третий задает действие: создать черновик, заполнить поле или отправить запрос в учетную систему.
Для каждого слоя назначьте владельца. Актуальность сведений подтверждает ответственное подразделение. Правила общения согласует владелец процесса. Права на действия определяет команда, которая отвечает за рабочие системы. Такое разделение помогает локализовать причину ошибки и выбрать адресное изменение.
Например, правильный статус заказа поступает из учетного источника. Инструкция определяет, как объяснить его клиенту. Интеграция получает запись и сохраняет черновик ответа. Когда команда оценивает весь маршрут, ей проще понять, какой компонент требует доработки.
Начните с ясной инструкции
Инструкция описывает задачу, входные данные и ожидаемый результат. Для первого эксперимента задайте роль помощника через действие: «Подготовь черновик ответа по предоставленным сведениям». Затем перечислите обязательные поля, стиль и способ указания источника.
Добавьте несколько примеров правильного выполнения. Выберите случаи с разной структурой входа: короткое сообщение, длинное письмо, запрос с уточнением. Для каждого покажите результат и объясните правило, которое он иллюстрирует. Все факты в примере должны соответствовать учебному источнику.
Проверьте инструкцию на отдельной подборке заданий. Сравните полноту ответа, правильность полей и соблюдение маршрута передачи сотруднику. В журнале изменений сохраните точный текст инструкции и результаты прогона. Так команда получает основание для следующего шага.
| Проблема в ответе | Первый эксперимент | Что сравнить |
|---|---|---|
| Формат меняется между ответами | Уточнить шаблон и добавить примеры | Соблюдение структуры |
| Пропущено обязательное поле | Описать перечень полей и проверку | Полноту результата |
| Нужен свежий факт | Подключить подходящий источник | Соответствие актуальной записи |
| Выбран другой документ | Настроить поиск и отбор источников | Попадание нужного материала |
| Сложно выдержать специальный стиль | Проверить инструкцию и подборку примеров | Оценку экспертов по шкале |
| Повторяется предметная ошибка | Исследовать данные и вариант обучения | Результат на контрольном наборе |
Подключите поиск, когда ответ зависит от источников
RAG связывает поиск материалов и формирование ответа языковой моделью. Сначала система находит сведения, затем передает их в контекст запроса и получает ответ. Microsoft описывает этот подход для работы с собственными и меняющимися данными; дообучение в том же сравнении связывается с поведением, стилем и выполнением задачи. Описание RAG.
Для бизнеса сначала определяют состав источников и правила выбора. Какая редакция инструкции действует, какой документ относится к подразделению, кто имеет право видеть материал? Эти решения входят в проектирование поиска. Права пользователя должны учитываться при выдаче документов в его рабочем сценарии.
Проверяйте поиск отдельно от текста ответа. Эксперт отмечает, найден ли нужный фрагмент, сохранился ли его контекст и доступна ли ссылка на оригинал. Затем оценивает сформулированный ответ. Два набора оценок помогают выбрать направление доработки: подготовку документов, поиск или инструкцию модели.
Для статусов, сумм и остатков рассмотрите прямое получение структурированных данных из учетной системы. Формат источника и требования к свежести определяют способ доступа. В одной задаче могут сочетаться поиск по инструкциям и запрос записи по идентификатору заказа.
Рассматривайте дообучение через измеримую задачу
Дообучение использует подготовленные примеры для изменения поведения модели. Для обсуждения проекта опишите, какое устойчивое улучшение ожидается: применение отраслевой разметки, заполнение специальной структуры или выполнение повторяющегося преобразования текста.
Существуют методы, при которых обучается небольшая часть параметров или дополнительные адаптеры. Документация Hugging Face PEFT показывает такой подход и отдельное сохранение обученных адаптеров. Конкретный метод выбирает техническая команда после оценки данных и среды запуска. Руководство PEFT.
До начала обучения проверьте качество примеров. Для каждого нужны согласованный вход, правильный результат и понятное происхождение. Разделите обучающий материал и контрольную подборку. Эксперт исследует спорные ответы и уточняет правила разметки. Этот этап дает проекту проверяемую цель.
Сравните обученный вариант с исходной моделью и настроенной инструкцией на одинаковых заданиях. Посмотрите результаты по группам, стоимость обработки и сопровождения. Решение о дальнейшем использовании опирается на измеренное преимущество в нужной операции.
Выберите один проверяемый шаг
Составьте карточку эксперимента: наблюдаемая проблема, предполагаемая причина, изменение, набор проверки и условие приемки. Для одного прогона меняйте согласованный компонент, а остальные настройки фиксируйте. Такая организация помогает объяснить результат.
В учебном сценарии помощник правильно находит инструкцию, но пропускает обязательную дату. Команда сначала уточняет шаблон ответа и добавляет проверку поля. Во втором учебном сценарии нужная редакция инструкции отсутствует в найденных материалах. Здесь эксперимент касается состава источников и поиска. Эти примеры иллюстрируют выбор действия, а фактический план строится по вашим данным.
После прогона разберите удачные и спорные случаи вместе. Ошибки объедините по причинам и назначьте следующие изменения. Сохраняйте исходные ответы, оценки экспертов и версию конфигурации. Тогда каждое решение можно связать с конкретным наблюдением.
Запланируйте обновление и поддержку
У источников появляются новые редакции, у процессов меняются правила, у модели выходят версии. Для каждого изменения назначьте владельца и порядок проверки. Полезно хранить связку из версии документов, инструкции, модели и контрольного набора.
В рабочем регламенте определите период проверки источников, способ сообщения об ошибке и маршрут исправления. Сотрудник должен уметь открыть использованный материал и передать спорный ответ ответственному. Руководитель получает отчет по причинам возврата и принятым изменениям.
Выбор подхода зафиксируйте в коротком документе. В нем должны быть задача, данные, результаты эксперимента и условия следующего этапа. Совместное применение нескольких методов обсуждайте после проверки роли каждого компонента в вашем процессе.
Для предметного разговора о разработке ИИ для бизнеса подготовьте подборку рабочих заданий и желаемых ответов. Если требуется получать данные из 1С, CRM или другого источника, добавьте схему интеграции систем. На этой основе команда сможет выбрать первый эксперимент и измерить его результат.