ИИ-агент для техподдержки в Admin24: как обучить и получить максимум пользы

Внедрение ИИ-агента в службу поддержки – это не просто тренд. Современные клиенты ожидают мгновенных и точных ответов. По данным Gartner, к 2026 году инвестиции в генеративный ИИ приведут к сокращению штата специалистов по обслуживанию и поддержке клиентов на 20-30%.

Однако внедрение ИИ-агента – это не просто установка ChatGPT в интерфейс. Это сложная система, где важна каждая деталь: от качества обучающих данных до интеграции в рабочие процессы сотрудников.

Более полугода назад мы выпустили тестовую версию ИИ-агента, который должен помогать обрабатывать заявки от клиентов, поступающие в Admin24. Мы приглашали наших клиентов протестировать возможности агента и помочь нам сделать его лучше. Одной из первых согласилась компания HDL Automation. В результате тестирования были сделаны некоторые интересные выводы, которыми мы готовы поделиться с вами.

1. Как происходило тестирование
2. Как отвечал ИИ-агент, если задан промт 1
3. Как отвечал ИИ-агент, если задан промт 2
4. Как отвечал ИИ-агент, если задан промт 3
5. Результаты тестирования
6. Как можно улучшить работу ИИ-агента

Были заданы требования к ответам:

• «Всегда обращай внимание на тип устройства, о котором идет речь. Если в запросе нет явного указания на устройство, запроси у пользователя его артикул».

• «Обращайся к пользователям исключительно на «Вы», чтобы сохранить профессиональный тон».

• «Отвечай кратко, но информативно. Если решение состоит из нескольких шагов, представляй их в виде списка».

• «Если запрос соответствует готовому ответу из базы, предоставь его сразу. Если информации недостаточно, уточни детали у пользователя».

• «Проверяй, есть ли аналогичные решенные тикеты, и используй в ответе актуальную информацию».

• «Если у пользователя возникли какие-либо проблемы с устройством, запроси фотографию наклейки с серийным номером и версией прошивки устройства (Если вопрос касается устройств KNX, запроси файл проекта)».

Это более обобщенный и отстраненный промт.

Для тестирования был составлен список из 6 вопросов, проверяющий корректность работы модели с разными источниками данных:

На портале присутствует небольшое количество обращений на эту тему, однако при самостоятельной формулировке, модель не справилась с задачей и ответила, опираясь на другие тикеты. При этом форматирование выполнено некорректно.

В связи с этим решили уточнить вопрос:

После уточнения о том, какое устройство должно участвовать в реализации логики, модель выдала корректный ответ, при этом форматирование выполнено грамотно.

Однако на примере следующего запроса можно увидеть, как ИИ нарушил рекомендуемую в промте структуру ответа. Если говорить о практической стороне, то есть небольшие расхождения с обычно предлагаемыми действиями:

Получили плохой ответ с просьбой прислать оборудование на диагностику без запроса дополнительной информации. Видно, что ответ взят из загруженной базы, однако инструкция «Если запрос соответствует готовому ответу из базы, предоставь его сразу. Если информация недостаточна, уточни детали у пользователя» из промта проигнорирована.

Также в ответе видно, что ссылка не была удалена, так как при загрузке собственной базы этого процесса не происходит. Вопрос задали еще раз:

Напоминаем, как выглядит промт: «Ты обрабатываешь пользовательские заявки.

Анализируй текст обращения и формируй ответ, основываясь на всей переписке в заявке. Структурируй информацию по сути: выделяй проблему, суть вопроса, действия и рекомендации. Если информации недостаточно, укажи это прямо и уточни, что нужно добавить. Если пользователь пишет вне рамок заявки (например, общие вопросы или дубли), корректно укажи на это.

Избегай шаблонов, если они не подходят – подбирай формулировки по ситуации. Будь конкретен. Поддерживай деловой и нейтральный стиль, не переходи на лишние объяснения, не добавляй ничего сверх запроса».

ИИ предоставил информацию по PI регулированию несмотря на то, что термин был записан кириллицей, однако присутствует проблемы с форматированием.

Ну и на финальный вопрос был получен хороший ответ:

Тестирование в Admin24 показало, что ИИ успешно справляется со:

Стандартными запросами (например, подбор оборудования по базе знаний). ИИ быстро находит ответы в базе знаний, если вопрос четко сформулирован и соответствует загруженным данным.
Перефразированными вопросами. Агент распознает перефразированные вопросы, если они семантически близки к существующим тикетам.

Некорректными запросами (вежливо отклоняет нерелевантные сообщения).

На текущий момент ИИ анализирует исключительно тему входящего письма и на ее основе формирует ответ. Однако он не учитывает дальнейшую переписку, что ограничивает его эффективность. В случаях, когда обсуждение переходит в уточняющие вопросы или дополнительные детали, ИИ не способен адаптироваться к контексту и продолжать диалог. Есть возможность вставить в поле ответ пользователя и сгенерировать новый ответ, однако это неудобно и не нативно.
Тестирование показало, что формулировка промта напрямую влияет на качество ответа:

Лучший результат показал промт 2 – он дает более структурированные ответы, но требует тонкой настройки.

Главные выводы: