Admin24

ИИ-агент для техподдержки в Admin24: как обучить и получить максимум пользы

Рассказываем, как заставить ИИ-агента в техподдержке работать на максимум, а не просто отвечать шаблонными фразами. Первую часть кейса уже разместили здесь.

ВРЕМЯ ПРОЧТЕНИЯ: 38 МИНУТ
Внедрение ИИ-агента в службу поддержки – это не просто тренд. Современные клиенты ожидают мгновенных и точных ответов. По данным Gartner, к 2026 году инвестиции в генеративный ИИ приведут к сокращению штата специалистов по обслуживанию и поддержке клиентов на 20-30%.

Однако внедрение ИИ-агента – это не просто установка ChatGPT в интерфейс. Это сложная система, где важна каждая деталь: от качества обучающих данных до интеграции в рабочие процессы сотрудников.

Более полугода назад мы выпустили тестовую версию ИИ-агента, который должен помогать обрабатывать заявки от клиентов, поступающие в Admin24. Мы приглашали наших клиентов протестировать возможности агента и помочь нам сделать его лучше. Одной из первых согласилась компания HDL Automation. В результате тестирования были сделаны некоторые интересные выводы, которыми мы готовы поделиться с вами.
  • Цель тестирования:
    Оценить работу ИИ при обработке заявок.
    Задача:
    Определить точность и релевантность предложенных решений, выявить ограничения.

Содержание

Как происходило тестирование

Система была протестирована с тремя разными промтами. Каждый из них был поочередно использован для тестирования работы искусственного интеллекта. Во вкладке «Тестирование» был задан ряд вопросов для оценки влияния заданного промта на итоговый ответ. Список использованных промтов доступен ниже:
Промт 1
«Ты сотрудник технической поддержки компании HDL. Помоги пользователю решить проблему».
Это базовый, предустановленный промт.
Промт 2
«Ты помощник специалиста технической поддержки. Твоя задача – максимально точно отвечать на вопросы пользователей, помогать им решать возникшие проблемы».
Были заданы требования к ответам:

  • «Всегда обращай внимание на тип устройства, о котором идет речь. Если в запросе нет явного указания на устройство, запроси у пользователя его артикул».

  • «Обращайся к пользователям исключительно на «Вы», чтобы сохранить профессиональный тон».

  • «Отвечай кратко, но информативно. Если решение состоит из нескольких шагов, представляй их в виде списка».

  • «Если запрос соответствует готовому ответу из базы, предоставь его сразу. Если информации недостаточно, уточни детали у пользователя».

  • «Проверяй, есть ли аналогичные решенные тикеты, и используй в ответе актуальную информацию».

  • «Если у пользователя возникли какие-либо проблемы с устройством, запроси фотографию наклейки с серийным номером и версией прошивки устройства (Если вопрос касается устройств KNX, запроси файл проекта)».
Пример хорошего ответа:
«Добрый день!

Для решения проблемы выполните следующие шаги:
Перезагрузите устройство.

Обновите драйверы, скачав их по ссылке [ссылка на драйверы]
Инструкция для обновления драйверов доступна по ссылке: [ссылка на инструкцию]».
Это более подробный промт с описанием условий и примером структуры ответа.
Промт 3
«Ты обрабатываешь пользовательские заявки.

Анализируй текст обращения и формируй ответ, основываясь на всей переписке в заявке. Структурируй информацию по сути: выделяй проблему, суть вопроса, действия и рекомендации. Если информации недостаточно, укажи это прямо и уточни, что нужно добавить. Если пользователь пишет вне рамок заявки (например, общие вопросы или дубли), корректно укажи на это.

Избегай шаблонов, если они не подходят – подбирай формулировки по ситуации. Будь конкретен. Поддерживай деловой и нейтральный стиль, не переходи на лишние объяснения, не добавляй ничего сверх запроса».
Это более обобщенный и отстраненный промт.

Для тестирования был составлен список из 6 вопросов, проверяющий корректность работы модели с разными источниками данных:
Из собственной базы данных: «Какой KNX датчик движения подходит для лестниц?».
Перефразированный вопрос из собственной базы данных: «Добрый день! Мне нужно подобрать датчик движения для лестниц, что можете предложить?».
Из тикета: «Модуль ввода M/S48.1. При нажатии на кнопку программирования не видится устройство».
Перефразированный запрос из тикета: «Здравствуйте. Не получается обнаружить физический адрес M/S48.1 в программе ETS. Как это можно исправить?».
Свой вопрос: «Как настроить включение света на разную яркость по времени?».
Некорректный запрос: «Двойную пиццу пепперони, пожалуйста».

Как отвечал ИИ-агент, если задан промт 1

Напоминаем, как выглядит промт: «Ты сотрудник технической поддержки компании HDL. Помоги пользователю решить проблему».

Вопрос 1

  • Вопрос:
    «Какой KNX датчик движения подходит для лестниц?»
  • Ответ:
    «Добрый день!

    Для лестниц обычно применяют датчики движения для штор и размещают на вертикальных или горизонтальных плоскостях в начале и конце лестниц.

    Для нижней ступени можно попробовать установить датчик M/IS05.1 и установить лепестковый ограничитель под линзу, оставив только один или два нижних сектора. Для верхних ступеней – развернуть сектор вверх для детекции движения при входе на лестницу сверху вниз».
Вывод: Модель выдала переформулированный ответ из загруженной базы данных.

Вопрос 2

  • Вопрос:
    «Добрый день! Мне нужно подобрать датчик движения для лестниц, что можете предложить?»
  • Ответ:
    «Добрый день!

    Для лестниц обычно применяют датчики движения для штор и размещают на вертикальных или горизонтальных плоскостях в начале и конце лестниц. Для нижней ступени можно попробовать установить датчик M/IS05.1 и установить лепестковый ограничитель под линзу, оставив только один или два нижних сектора. Для верхних ступеней – развернуть сектор вверх для детекции движения при входе на лестницу сверху вниз».
Вывод: Модель успешно сопоставила запросы и выдала переформулированный ответ из загруженной базы.

Вопрос 3

  • Вопрос:
    «Модуль ввода M/S48.1. При нажатии на кнопку программирования не видится устройство».
  • Ответ:
    «Здравствуйте!

    Для решения проблемы с модулем ввода M/S48.1, при которой устройство не определяется при нажатии на кнопку программирования, рекомендуется выполнить следующие шаги…

    Адрес и контакты сервисного центра: ООО «Ромашка», г. LOC, улица LOC, дом, строение, 3 этаж, офис В-1. Офис-менеджер, тел. PHONE.

    Обязательно позвоните заранее для согласования условий диагностики.

    С уважением,
    [Ваше имя]
    Специалист технической поддержки ООО “Ромашка”».
Вывод: Модель выдала ответ на основании другого тикета, при этом довольно старого. В ответ попали персональные данные, которая система удалила, в результате чего образовалась неинформативная строка. Сам ответ не имеет четкой структуры.

Вопрос 4

  • Вопрос:
    «Здравствуйте. Не получается обнаружить физический адрес M/S48.1 в программе ETS. Как это можно исправить?»
  • Ответ:
    «Здравствуйте!

    Для решения проблемы с обнаружением физического адреса M/S48.1 в программе ETS, пожалуйста, выполните следующие шаги:

    • Проверьте правильность подключения модуля M/S48.1 к шине KNX. Убедитесь, что подключение выполнено корректно.
    • Попробуйте сбросить модуль до заводских настроек и снова выполнить поиск устройства в программе ETS.
    • Убедитесь, что используется правильный интерфейс для подключения (Iridium или USB).
    • Если проблема сохраняется, возможно, потребуется диагностика модуля в сервисном центре. В этом случае необходимо заполнить рапорт из вложения и отправить устройство на диагностику. 

    Если у вас остались вопросы или вам нужна дополнительная помощь, пожалуйста, сообщите нам».
Вывод: Ответ не совсем верен, так как портал предоставляет возможность сгенерировать ответ лишь для первого вопроса со стороны техподдержки. Однако выполняется анализ всех ответов из-за чего, в данном случае, например, у клиента не запросили серийный номер устройства (фото стикера) и не предложили обновить прошивку.

Вопрос 5

  • Вопрос:
    «Как настроить включение света на разную яркость в дневное и ночное время используя датчик движения?»
  • Ответ:
    «Здравствуйте!
    Для настройки датчика движения KNX M/HSD24.1 таким образом, чтобы он выключал свет на разную яркость в дневное и ночное время, вам необходимо выполнить следующие шаги:

    1. **Настройка логики работы датчика**

    • Убедитесь, что датчик настроен на работу по логике «И»: движение и достаточный уровень освещенности должны быть условиями для включения света.»
    • Настройте датчик так, чтобы он постоянно обновлял таймер, если движение продолжается. Это позволит свету оставаться включенным, пока есть движение.
    • Если движения нет, свет должен отключаться по установленному времени.

    2. **Использование функции CONSTANT BRIGHTNESS FUNCTION**

    • Эта функция позволяет поддерживать постоянную яркость света независимо от уровня освещенности.
    • Вы можете настроить два групповых адреса (А и В) для управления яркостью света в зависимости от времени суток. Например, в дневное время яркость может быть ниже, а в ночное время – выше. 

    Если у вас возникнут дополнительные вопросы или потребуется помощь с настройкой, пожалуйста, обратитесь к технической документации или свяжитесь с нами».
На портале присутствует небольшое количество обращений на эту тему, однако при самостоятельной формулировке, модель не справилась с задачей и ответила, опираясь на другие тикеты. При этом форматирование выполнено некорректно.

В связи с этим решили уточнить вопрос:
  • Вопрос:
    «Как настроить включение света на разную яркость в дневное и ночное время используя датчик движения? На объекте нет модуля логики, есть шлюз MGWIP».
  • Ответ:
    «Здравствуйте!

    Для настройки включения света на разную яркость в дневное и ночное время с использованием датчика движения и шлюза MGWIP выполните следующие шаги:
    Создайте временные интервалы для датчика движения с помощью функции Automation. Интервалы необходимо создавать по отдельности для запуска и остановки в виде target для Universal Switch.

    Разделяйте временные интервалы по времени: окончание одного интервала не должно совпадать с началом следующего. Например, «ночь» заканчивается в 6:59, а «утро» начинается в 7:00. Минимальное время между интервалами – 1 секунда, но рекомендуется указывать не менее 5 секунд.

    Настройте логику «И» для включения света: сравните состояние UW 230 (временного интервала) и наличие движения (Movement).

    Настройте выключение света: сравните время отсутствия движения (No Movement) с задержкой 10 секунд.

    Если у вас возникнут дополнительные вопросы или потребуется помощь, пожалуйста, обратитесь».
Вывод: После уточнения о том, какое устройство должно участвовать в реализации логики, модель выдала корректный ответ, при этом форматирование выполнено грамотно.

Вопрос 6

  • Вопрос:
    «Двойную пиццу пепперони, пожалуйста».
  • Ответ:
    «Здравствуйте!

    Ваш запрос не относится к нашей деятельности. Пожалуйста, обратитесь в службу поддержки соответствующего сервиса или компании, которые предоставляют услуги по доставке еды.

    Если у вас возникнут вопросы по работе с устройствами ООО «Ромашка», буду рад помочь».
Вывод: ИИ грамотно ответил на запрос, выходящий за сферу деятельности компании.

Как отвечал ИИ-агент, если задан промт 2

Напоминаем, как выглядит промт: «Ты помощник специалиста технической поддержки. Твоя задача – максимально точно отвечать на вопросы пользователей, помогать им решать возникшие проблемы».

Вопрос 1

  • Вопрос:
    «Какой KNX датчик движения подходит для лестниц?»
  • Ответ:
    «Добрый день!

    Для лестниц обычно применяют ИК датчики с лепестковыми ограничителями линзы, чтобы сузить диапазон обнаружения движения и минимизировать ложные срабатывания.

    Для лестниц можно попробовать установить датчик M/IS05.1 и установить лепестковый ограничитель под линзу, оставив только один или два нижних сектора. Для верхних ступеней – развернуть сектор вверх для детекции движения при входе на лестницу сверху вниз».
Вывод: Несмотря на то, что мысль повторяется в двух абзацах, ответ корректный. Он взят из загруженной ранее базы данных.

Вопрос 2

  • Вопрос:
    «Добрый день! Мне нужно подобрать датчик движения для лестниц, что можете предложить?»
  • Ответ:
    «Добрый день!

    Для лестниц обычно применяют датчики движения для штор и размещают на вертикальных или горизонтальных плоскостях в начале и конце лестниц. Для нижней ступени можно попробовать установить датчик M/IS05.1 и установить лепестковый ограничитель под линзу, оставив только один или два нижних сектора. Для верхних ступеней – развернуть сектор вверх для детекции движения при входе на лестницу сверху вниз».
Вывод: Ответ корректный, за основу взят ответ из загруженной базы. идентичен тому, что получили с первым промтом.

Вопрос 3

  • Вопрос:
    «Модуль ввода M/S48.1. При нажатии на кнопку программирования не видится устройство».
  • Ответ:
    «Здравствуйте!

    Для решения проблемы с модулем ввода M/S48.1, при которой устройство не определяется при нажатии на кнопку программирования, рекомендуется выполнить следующие действия:

    • Убедитесь, что кнопка программирования нажата и светодиод на модуле горит.
    • Проверьте подключение модуля к системе и убедитесь, что оно выполнено правильно.
    • Перезагрузите систему и попробуйте снова войти в режим программирования.

    Если проблема не устраняется, пожалуйста, пришлите фотографию наклейки с серийным номерам и версией прошивки устройства, чтобы мы могли предоставить более точную помощь».
Вывод: За основу взяты те же ответы, что и при использовании первого промта, однако сам ответ имеет более правильную структуру. Исходная заявка была проигнорирована:

Вопрос 4

  • Вопрос:
    «Здравствуйте. Не получается обнаружить физический адрес M/S48.1 в программе ETS. Как это можно исправить?»
  • Ответ:
    «Добрый день!

    Для решения проблемы с обнаружением физического адреса M/S48.1 в программе ETS, пожалуйста, выполните следующие шаги:

    • Убедитесь, что устройство правильно подключено к шине KNX.
    • Проверьте подключение к шине через Iridium или USB-интерфейс.
    • Попробуйте сбросить устройство до заводских настроек.

    Если проблема не решится, пожалуйста, пришлите фотографию наклейки с серийным номером и версией прошивки устройства, а также файл проекта ETS. Это поможет нам более детально разобраться в ситуации».
Вывод: За основу взяты те же заявки, что говорит о том, что модель корректно сопоставила два запроса. Однако предложенные рекомендации не совсем точные.

Вопрос 5

  • Вопрос:
    «Как настроить включение света на разную яркость в дневное и ночное время используя датчик движения?»
  • Ответ:
    «Здравствуйте!

    Для настройки датчика движения KNX M/HSD24.1 и достижения желаемого функционала, пожалуйста, предоставьте файл проекта без пароля, чтобы мы могли детально рассмотреть настройки.

    На основании описанной Вами логики работы датчика движения, необходимо настроить его так, чтобы он постоянно обнулял таймер при продолжении движения и отключал свет по истечении заданного времени при отсутствии движения. Также важно понять функциональность CONSTANT BRIGHTNESS FUNCTION (А и В) и их влияние на общую логику работы с системой.

    После получения файла проекта мы сможем предоставить более точные рекомендации по настройке датчика движения».
Как и в предыдущем случае, модель сослалась на некорректный ответ. Вопрос уточнили:
  • Вопрос:
    «Как настроить включение света на разную яркость в дневное и ночное время используя датчик движения? Шлюз MGWIP».
  • Ответ:
    «Здравствуйте!

    Для настройки включения света на разную яркость в дневное и ночное время с использованием датчика движения и шлюза MGWIP выполните следующие шаги:

    1. Воспользуйтесь функцией Automation для создания временных интервалов для датчика движения. 
    2. Создайте отдельные интервалы для запуска и остановки в виде target для Universal Switch, который является одним из условий логики датчика движения.
    3. Если необходимо создать несколько временных интервалов, разделяйте их по времени: окончание одного интервала не должно совпадать с началом следующего. Например, «ночь» заканчивается в 6:59, а «утро» начинается в 7:00. Минимальное время между интервалами – 1 секунда, но рекомендуется указывать не менее 5 секунд.
    4. Для включения света используйте логику «И», которая сравнивает состояние UW 230 (временного интервала) и наличие движения (Movement). 
    5. Для выключения света используйте логику, которая сравнивает время отсутствия движения (No Movement) с задержкой 10 секунд».
После уточнения о том, какое устройство должно участвовать в реализации логики, модель выдала корректный ответ, при этом форматирование выполнено грамотно.

Однако на примере следующего запроса можно увидеть, как ИИ нарушил рекомендуемую в промте структуру ответа. Если говорить о практической стороне, то есть небольшие расхождения с обычно предлагаемыми действиями:
  • Вопрос:
    «Не могу выгрузить проект в облако».
  • Ответ:
    «Здравствуйте!

    Для решения проблемы с выгрузкой проекта в облако, пожалуйста, уточните некоторые детали:

    • Проверьте настройки шлюзов и убедитесь, что они корректны.
    • Если проект не загружается в облако, попробуйте выполнить следующие действия:
    • Зайдите в раздел Upgrade → Manual Upgrade.
    • Отключите питание от шлюза.
    • Зажмите кнопку Prog на 3-5 секунд.
    • Подключите питание.
    • Когда красным отобразится версия процесса устройства, нажмите «три точки» и выберите файл прошивки в соответствии с версией процессора.
    • Нажмите Upgrade и дождитесь окончания обновления.

    Если проблема сохраняется, пожалуйста, пришлите фотографию шильдика устройства, чтобы мы могли предоставить более точные рекомендации».
На следующем примере видно, что модель поняла запрос при указании «Пи регулирование» вместо «PI-регулирование»:
  • Вопрос:
    «Как настроить Пи регулирование».
  • Ответ:
    «Добрый день!

    Для настройки PI-регулирования необходимо провести много времени на объекте для анализа и подбора подходящих параметров.

    PI-регулирование может быть двух видов: непрерывное и ШИМ-регулирование (широтно-импульсная регуляция, PWM – Pulse Width Modulation). Выбор вида регулирования зависит от типа выходного сигнала ПИ-регулятора и исполнительных органов системы отопления.
    Для более полного понимания настроек необходимо изучить руководства по PI-регулированию.

    Если у вас остались вопросы или вам нужна дополнительная помощь, пожалуйста, сообщите нам».
Затем один и тот же запрос был передан с небольшими изменениями 3 раза, в результате чего, модель выдала 3 абсолютно разных ответа.
  • Вопрос:
    «При попытке чтения реле выдает тайм аут. К письму прикрепил фото».
  • Ответ:
    «Добрый день!

    Для решения проблемы с тайм-аутом при чтении реле, пожалуйста, предоставьте фотографию наклейки с серийным номером и версией прошивки устройства. Это поможет нам определить, какая именно модель у Вас и какие шаги нужно предпринять для устранения проблемы.

    Также, если у вас есть возможность, попробуйте выполнить следующие действия:
    1. Перезагрузите устройство.

    2. Проверьте правильность подключения проводов.
    3. Убедитесь, что не превышено потребление».
Этот ответ можно считать хорошим. Задали вопрос иначе:
  • Вопрос:
    «При попытке чтения устройства выдает тайм аут. К письму прикрепил фото».
  • Ответ:
    «Добрый день!

    Для выявления неисправности необходимо передать оборудование на диагностику. Пожалуйста, пришлите в ответном письме заполненный рапорт.

    Рапорт для заполнения по браку можно скачать по ссылке: https://drive.google.com/file/...
    Контактные данные и адреса сервисных центров указаны в рапорте. Пожалуйста, ответным письмом сообщите, в какой сервисный центр были отправлены устройства, чтобы мы смогли своевременно предупредить коллег о поступлении на диагностику. Спасибо за понимание!».
Получили плохой ответ с просьбой прислать оборудование на диагностику без запроса дополнительной информации. Видно, что ответ взят из загруженной базы, однако инструкция «Если запрос соответствует готовому ответу из базы, предоставь его сразу. Если информация недостаточна, уточни детали у пользователя» из промта проигнорирована.

Также в ответе видно, что ссылка не была удалена, так как при загрузке собственной базы этого процесса не происходит. Вопрос задали еще раз:
  • Вопрос:
    «При попытке поиска устройства выдает тайм аут. К письму прикрепил фото с серийным номером».
  • Ответ:
    «Добрый день!

    Для решения проблемы с тайм-аутом при поиске устройства, пожалуйста, предоставьте дополнительную информацию:

    1. Серийный номер устройства (Вы уже прикрепили фотографию, проверим).
    2. Версию прошивки устройства.
    3. Информацию о версии чипа (Hardware version).

    После получения этих данных мы сможем более точно определить причину проблемы и предложить дальнейшие шаги».
Ответ получился хорошим.
  • Вопрос:
    «Как настроить включение света на разную яркость в дневное и ночное время используя датчик движения? На объекте нет модуля логики, есть шлюз MGWIP».
  • Ответ:
    «Здравствуйте!

    Для настройки включения света на разную яркость в дневное и ночное время с использованием датчика движения и шлюза MGWIP выполните следующие шаги:

    1. Создайте временные интервалы для датчика движения с помощью функции Automation. Интервалы необходимо создавать по отдельности для запуска и остановки в виде target для Universal Switch.
    2. Разделяйте временные интервалы по времени: окончание одного интервала не должно совпадать с началом следующего. Например, «ночь» заканчивается в 6:59, а «утро» начинается в 7:00. Минимальное время между интервалами – 1 секунда, но рекомендуется указывать не менее 5 секунд
    3. Настройте логику «И» для включения света: сравните состояние UW 230 (временного интервала) и наличие движения (Movement). 
    4. Настройте выключение света: сравните время отсутствия движения (No Movement) с задержкой 10 секунд.

    Если у вас возникнут дополнительные вопросы или потребуется помощь, пожалуйста, обратитесь».
Вывод: После уточнения о том, какое устройство должно участвовать в реализации логики, модель выдала корректный ответ, при этом форматирование выполнено грамотно.

Вопрос 6

  • Вопрос:
    «Двойную пиццу пепперони, пожалуйста».
  • Ответ:
    «Добрый день!

    Ваш запрос не относится к сфере нашей компетенции. Пожалуйста, уточните, с какой проблемой вы столкнулись, и мы постараемся вам помочь».
Вывод: ИИ грамотно ответил на запрос, выходящий за сферу деятельности компании.

Как отвечал ИИ-агент, если задан промт 3

Напоминаем, как выглядит промт: «Ты обрабатываешь пользовательские заявки.

Анализируй текст обращения и формируй ответ, основываясь на всей переписке в заявке. Структурируй информацию по сути: выделяй проблему, суть вопроса, действия и рекомендации. Если информации недостаточно, укажи это прямо и уточни, что нужно добавить. Если пользователь пишет вне рамок заявки (например, общие вопросы или дубли), корректно укажи на это.

Избегай шаблонов, если они не подходят – подбирай формулировки по ситуации. Будь конкретен. Поддерживай деловой и нейтральный стиль, не переходи на лишние объяснения, не добавляй ничего сверх запроса».

Вопрос 1

  • Вопрос:
    «Какой KNX датчик движения подходит для лестниц?»
  • Ответ:
    «Для лестниц обычно применяют датчики движения для штор и размещают на вертикальных или горизонтальных плоскостях в начале и конце лестниц.

    Для нижней ступени можно попробовать установить датчик M/IS05.1 и установить лепестковый ограничитель под линзу, оставив только один или два нижних сектора. Для верхних ступеней развернуть сектор вверх для детекции движения при входе на лестницу сверху вниз.

    Также можно присмотреться к серии датчиков Creatrol. Для лестниц подойдут СВЧ или PIR датчики. PIR датчики чувствительны к изменению тепла, такие датчики не подойдут, если рядом находится рабочая вентиляция, форточка и т. д.».
Вывод: Ответ получен грамотный с использованием обоих баз.

Вопрос 2

  • Вопрос:
    «Добрый день! Мне нужно подобрать датчик движения для лестниц, что можете предложить?»
  • Ответ:
    «Добрый день!

    Для лестниц обычно применяют датчики движения для штор и размещают на вертикальных или горизонтальных плоскостях в начале и конце лестниц.

    Можно рассмотреть установку датчика M/IS05.1 с лепестковым ограничителем под линзу, оставив только один или два нижних сектора. Для верхних ступеней сектор можно развернуть вверх для детекции движения при входе на лестницу сверху вниз.

    Также рекомендуем присмотреться к серии датчиков Creatrol. Для лестниц Вы можете использовать СВЧ или PIR датчики. PIR датчики чувствительны к изменению тепла, но не подойдут, если рядом находится рабочая вентиляция, форточка и т. д.

    Для более точного подбора датчика движения, пожалуйста, уточните дополнительные требования и условия установки».
Вывод: Ответ хороший, верный.

Вопрос 3

Контекст:
Контекст поиска по базе знаний при помощи ии в Admin24
  • Вопрос:
    «Модуль ввода M/S48.1. При нажатии на кнопку программирования не видится устройство».
  • Ответ:
    «Здравствуйте!

    Для решения проблемы с модулем ввода М/S48.1, при которой устройство не определяется при нажатии на кнопку программирования, рекомендуется обратиться в техническую поддержку с подробным описанием ситуации и, при необходимости, предоставить дополнительные данные, такие как фото наклейки на устройстве или информацию о том, как именно проявляется неисправность.

    Вы можете связаться с поддержкой по телефону или электронной почте, указанным в вашем предыдущем общении. Пожалуйста, убедитесь, что задаете вопросы через новый тикет для каждого отдельного случая, чтобы обеспечить систематизацию ответов и улучшение сервиса».
Вывод: При ответе ИИ опирался на разные тикеты, при этом добавил формулировку «Вы можете связаться с технической поддержкой».

Вопрос 4

  • Вопрос:
    «Здравствуйте. Не получается обнаружить физический адрес M/S48.1 в программе ETS. Как это можно исправить?»
  • Ответ:
    «Здравствуйте, PER!

    Для решения проблемы с обнаружением физического адреса М/Ѕ48.1 в программе ЕTЅ необходимо уточнить серийный номер устройства. Пожалуйста, предоставьте его для дальнейшего анализа ситуации».
Вывод: Ответ получился хорошим.

Вопрос 5

  • Вопрос:
    «Как настроить включение света на разную яркость в дневное и ночное время используя датчик движения?»
  • Ответ:
    «Здравствуйте!

    Для настройки датчика движения KNX M/HSD24.1 на включение света с разной яркостью в дневное и ночное время необходимо уточнить некоторые параметры. В вашем запросе не указано, как именно вы хотите настроить яркость света.

    Судя по предоставленной информации, вам нужно настроить датчик движения по логике «И»: движение и освещенность. Также вас интересует функция CONSTANT BRIGHTNESS FUNCTION. Для более точных рекомендаций по настройке яркости света в зависимости от времени суток, пожалуйста, уточните, какие именно параметры вы хотите настроить.

    Рекомендую обратиться к технической документации или связаться с технической поддержкой компании «Интеллектуальные решения» для получения более детальных инструкций по настройке датчика движения и функции CONSTANT BRIGHTNESS FUNCTION».
Как и в предыдущих кейсах, модель не смогла подобрать оптимальный ответ. Был задан другой вопрос:
  • Вопрос:
    «Не работает устройство. Во вложении фото наклейки с версией прошивки».
  • Ответ:
    «Здравствуйте!

    Для дальнейшего решения проблемы с вашим устройством необходимо передать его на диагностику в сервисный центр. Пожалуйста, пришлите в ответном письме заполненный рапорт. Рапорт для заполнения по браку можно скачать по ссылке: [https://drive.google.com/file...](https://drive.google.com/file...).

    Контактные данные и адреса сервисных центров указаны в рапорте. Пожалуйста, сообщите в ответном письме, в какой сервисный центр вы отправили устройство, чтобы мы могли предупредить коллег о поступлении оборудования на диагностику.
    Спасибо за понимание!».
В случае выше модель не запросила никаких данных, хотя были найдены ответы с рекомендациями. Клиент продолжил задавать вопросы:
  • Вопрос:
    «Как настроить пи регулирование?».
  • Ответ:
    «Для настройки РІ-регулирования необходимо провести много времени на объекте для анализа и подбора подходящих параметров.

    **РІ-регулирование может быть двух видов: **

    1. **Непрерывное РІ-регулирование. ** Выходной сигнал показывает, на сколько процентов требуется открыть регулирующий клапан. Для такого типа регулирования требуются продвинутые исполнительные органы, которые могут находиться в промежуточных положениях.
    2. **ШИМ-регулирование (широтно-импульсная модуляция, PWM - Pulse Width Modulation). ** Выходной сигнал регулятора принимает только два значения для управления клапанами/устройствами, которые допускают только крайние положения (открыто-закрыто, включено-выключено и т. п.) без возможности промежуточных положений.

    **Control Cycle** - это временной цикл работы реле в замкнутом/разомкнутом состоянии для управления термоклапанами теплого пола. Например, при Цикле 10 мин и значении PWM (ШИМ) 10%, реле будет замкнуто 1 минуту, а остальные 9 минут разомкнуто.
    **DAY PWM** и **Night PWM** — это настройки переключения реле для поддержания температуры для ночного и дневного режимов.

    Для более полного понимания настроек необходимо изучить руководства по РІ регулированию».
ИИ предоставил информацию по PI регулированию несмотря на то, что термин был записан кириллицей, однако присутствует проблемы с форматированием.

Ну и на финальный вопрос был получен хороший ответ:
  • Вопрос:
    «Не могу выгрузить проект в облако».
  • Ответ:
    «Здравствуйте!
    Для решения проблемы с загрузкой проекта в облако необходимо уточнить некоторые детали. Судя по предоставленной информации, возможны следующие действия:

    1. Проверьте настройки шлюза и убедитесь, что они корректны.
    2. Попробуйте обновить драйверы шлюза, следуя инструкциям по обновлению.
    3. Если проблема не решена, предоставьте информацию о типе используемого шлюза и его настройках.

    Также убедитесь, что процесс передачи проекта заказчику не был отменен через «Delevery rollback» на сайте AloT, так как это может повлиять на возможность загрузки проекта в облако.

    Если у вас остались вопросы или нужна дополнительная помощь, пожалуйста, уточните детали».

Вопрос 6

  • Вопрос:
    «Двойную пиццу пепперони, пожалуйста».
  • Ответ:
    «Ваш запрос «Двойную пиццу пепперони, пожалуйста» не относится к теме обращений в данной заявке. Пожалуйста, уточните ваш вопрос или проблему, связанную с продукцией или услугами компании».
Вывод: Модель корректно ответила на не связанный со сферой деятельности компании запрос.

Результаты тестирования

Тестирование в Admin24 показало, что ИИ успешно справляется со:

Стандартными запросами (например, подбор оборудования по базе знаний). ИИ быстро находит ответы в базе знаний, если вопрос четко сформулирован и соответствует загруженным данным.
Перефразированными вопросами. Агент распознает перефразированные вопросы, если они семантически близки к существующим тикетам.

Некорректными запросами (вежливо отклоняет нерелевантные сообщения).

На текущий момент ИИ анализирует исключительно тему входящего письма и на ее основе формирует ответ. Однако он не учитывает дальнейшую переписку, что ограничивает его эффективность. В случаях, когда обсуждение переходит в уточняющие вопросы или дополнительные детали, ИИ не способен адаптироваться к контексту и продолжать диалог. Есть возможность вставить в поле ответ пользователя и сгенерировать новый ответ, однако это неудобно и не нативно.
Тестирование показало, что формулировка промта напрямую влияет на качество ответа:
Промт
Плюсы
Минусы
1
Простые ответы, но без структуры
Часто не хватает деталей
2
Четкая структура, запрос уточнений
Иногда игнорирует инструкции
3
Лучше учитывает контекст
Иногда случаются ошибки


Лучший результат показал промт 2 – он дает более структурированные ответы, но требует тонкой настройки.

Главные выводы:
  • ИИ уже может разгружать специалистов, беря на себя часть стандартных и повторяющихся запросов.
  • Качество ответов напрямую зависит от качества базы знаний и настроек промта.
  • Для полноценного эффекта нужно научить ИИ анализировать всю переписку по заявке и работать с контекстом.

Как можно улучшить работу ИИ-агента

По результатам тестирования клиентом были предложены доработки ИИ-агента, которые бы улучшили обработку запросов и повысили бы эффективность инструмента:
  • Доработать анализ всей переписки в рамках заявки
    Сейчас ИИ формирует ответ, в основном опираясь на тему письма или первый запрос. Клиентам важно, чтобы он учитывал всю цепочку сообщений. Такой функционал уже активно разрабатывается и совсем скоро появится в Admin24, что позволит ИИ давать еще более точные и релевантные ответы. Доработать алгоритм, чтобы ИИ мог учитывать всю цепочку переписки в рамках одной заявки. Это сделает ответы более точными и релевантными.
  • Добавить кнопку вызова ИИ
    Разместить кнопку вызова ИИ непосредственно рядом с полем ввода ответа, чтобы ускорить процесс и сделать его более интуитивным.
  • Добавить отдельную вкладку с ИИ на главный экран или в боковое меню
    Чтобы сотрудники могли задавать ему вопросы напрямую: по процессам, инструкциям, базе знаний и т. п. Это расширит функциональность ИИ и позволит использовать его как полноценного ассистента.
  • Унифицировать обработку ссылок
    Чтобы все полезные данные, независимо от способа загрузки, сохранялись и были доступны для дальнейшего использования.
  • Добавить фильтры и теги
    Добавить возможность фильтрации или тегирования заявок, предусмотреть загрузку кастомных наборов заявок (например, по типу устройств).
  • Добавить функционал импорта новых заявок по расписанию
    Важно, чтобы новые данные добавлялись постепенно и без дублирования старых, чтобы база оставалась актуальной и удобной для работы. Это напрямую повлияет на качество и точность генерируемых ответов.
  • Оценить, насколько модель реагирует на промт в технической реализации
    Возможно, потребуется доработка логики применения инструкций из промта в ранжировании знаний и поведении модели.
Поделиться статьёй
Рекомендуем почитать