Работа с ИИ-агентом. Выполнение запросов к нейросети

Параметры настройки запросов вполне очевидны и подробно описаны прямо на странице настроек приложения, поэтому здесь дублировать эту информацию не будем.

Делать запросы к НС можно либо со страниц тестирования, либо с детальной страницы заявки.

1. Выполнение запросов со страниц тестирования
2. Выполнение запросов к НС с детальной страницы заявки

Различаются они тем, что в промт-режиме не сохраняется контекст предыдущих запросов, а ассистент помнит предыдущий разговор.

В каждом режиме можно выбрать какой модели отправить запрос. Можно отправлять один и тот же запрос по очереди нескольким моделям и сравнивать результат.

Вкладка промпт-режима предельно простая: есть поле для ввода тестового запроса и возможность выбрать используемую нейросеть.

Остановимся на некоторых неочевидных моментах.

Тестировать можно как с чистого листа, так и загрузив диалог одной из имеющихся заявок. Для этого необходимо найти в списке заявок интересующую заявку и ввести ее номер.

Количество фраз, прикладываемых к диалогу, рассчитывается примерно следующим образом:

Для каждой модели во внутренних параметрах приложения задано максимальное количество блоков контекста отдаваемых под диалог. Эти параметры определяются по результатам внутренних тестов и недоступны для редактирования пользователями.

Для моделей Яндекса с ограниченным контекстом для диалога максимально выделяется 3 блока. Для Deepseek, у которого контекст намного больше, – максимально выделяется 30 блоков.

Если диалог не может заполнить все выделенные ему блоки, то оставшиеся блоки используются как дополнительные к блокам, получаемым из векторной БД.

Параллельно в интерфейсе задаются размер блока контекста в токенах и максимальная длина фразы в токенах.

Из этих двух параметров можно определить, сколько будет сообщений в одном блоке.

Затем полученное количество сообщений в одном блоке необходимо умножить на количество блоков – ориентировочно и получится максимальное количество сообщений, прикладываемых к диалогу.

Справочная информация о том, сколько ориентировочно сообщений попадет в контекст для выбранной модели, приведена на странице «Настройки» → «AI» → «Настройка» в разделе «Настройки индексирования».

Также еще раз повторим – прикладываются только текст заявки, сообщения заявителя и не внутренние сообщения специалиста. Системные и внутренние комментарии к контексту не прикладываются.

Сообщения, длина которых превышает заданную максимальную длину фразы, обрезаются до примерно заданной максимальной длины.

У сообщений диалога на странице тестирования также есть кнопки для оценки ответа «хороший ответ»/«неудачный ответ» и контекстное меню, которое различается для запросов и ответов моделей.

Результаты нажатия кнопок «хороший ответ»/«неудачный ответ» сохраняются в логе и могут быть в дальнейшем использованы для анализа насколько удачными были настройки и дальнейшей корректировки настроек.

Менять оценку можно в любое время даже после того, как она проставлена. Эта возможность доступна модераторам, администраторам, владельцу.

Для сообщений-запросов НС в контекстном меню доступны варианты «Удалить» и «Переспросить».

Кнопка «Переспросить» актуальна для случаев, когда требуется оценить ответ на тот же вопрос после каких-либо изменений в настройках или индексе. После переспрашивания все сообщения выше удаляются.

Примечание

Системный промпт, сообщения-запросы и сообщения-ответы в чате отображаются разными цветами: системный промпт – розовым, запросы – голубым, ответы – серым.

«Детальная информация» позволяет перейти на страницу детального лога запроса для анализа запроса и ответа (о логировании запросов будет рассказано ниже).

При удалении удаляется только текущее сообщение. Кнопка актуальна для случаев, когда необходимо протестировать ответ НС в зависимости от присутствия или отсутствия какого-то сообщения в диалоге.

Чтобы делать запросы к НС с детальной страницы заявок, необходимо, чтобы была установлена настройка «Доступно в заявках» на странице «Настройки» → «AI» → «Настройка».

Все запросы к НС с детальной страницы заявки также логируются в общем логе запросов, где их можно анализировать и проставлять оценки.

Ответы НС либо сами вставляются в поле ввода в редакторе комментариев, либо их можно вставить по кнопке. В редакторе ответы можно отредактировать и отправить вручную. В любом случае, в текущей версии ответы заявителю отправляются только вручную – автоматическая отправка пока не реализована.

Делать запросы к НС с детальной страницы заявки можно следующими способами:

• С помощью кнопки «Спросить у ИИ» в виде нескольких звездочек в самом редакторе сообщений комментариев. В этом случае ответ (или текст ошибки) вставляются непосредственно в поле редактора.

Текстом запроса в этом случае служит либо последнее сообщение заявителя, либо текст заявки, если от заявителя еще не было сообщений. Здесь же прямо в редакторе сразу после получения ответа можно поставить оценку – хороший был ответ или неудачный. После оценки кнопки оценки исчезнут, но, при необходимости, оценку можно изменить через общий лог запросов или лог запросов конкретной заявки.

При выполнении запроса с помощью этой кнопки используется режим ассистента, при котором в НС отправляется предыдущая история диалога.

• Через контекстное меню «Спросить у ИИ» у сообщения заявителя в истории сообщений на детальной странице заявки. Ответ при этом также сразу вставляется в редактор, где сразу после получения ответа его можно оценить. Текстом запроса в этом случае служит сообщение заявителя, из контекстного меню которого была нажата кнопка «Спросить у ИИ». При этом также используется режим ассистента.

• Через вкладку «Нейронная сеть» с иконкой в виде звездочек на детальной странице заявки. С этой вкладки можно делать запросы к НС как в промпт-режиме, так в режиме ассистента. В режиме ассистента при этом прикладывается диалог текущей заявки. Здесь можно выбирать модель НС к которой делается запрос. Вкладка позволяет делать произвольные запросы к НС, а не только в виде текста заявки или последнего сообщения заявителя.