Работа с ИИ-агентом.
Индексирование источников

В этой инструкции описан процесс индексирования данных – подготовки информации для поиска и использования нейросетью. Перечень самих настроек и справочная информация о них приведены непосредственно рядом с каждой из настроек на страницах приложения.

Здесь же мы собрали основные принципы устройства интеграции с нейронными сетями, более подробное объяснение подсказок, а также сделали справку по элементам управления, которую затруднительно отобразить непосредственно в интерфейсе:

1. Общая информация
2. Общие шаги индексирования для всех источников
3. Автоматическое обновление индекса

Как было указано в другой инструкции, в качестве контекста для нейросети (НС) можно использовать заявки с комментариями, произвольные тексты и текстовое содержимое произвольных статических сайтов.

В настоящее время Админ24 в качестве контекста и запросов для НС может использовать только текстовую информацию, но сейчас ведется активная работа по добавлению возможности использования также и изображений, как в контексте, так и самом запросе к НС.

Все источники в интерфейсе разбиты на блоки.

В каждом блоке можно следить за такими параметрами в процессе индексирования:

• На каком шаге находится индексирование.
• Сколько процентов текущего шага выполнено.
• Время/дата завершения шага.
• Количество элементов, получившихся в результате шага. Здесь под «количеством элементов» для большинства этапов подразумевается количество фрагментов текстов, но для некоторых этапов это может быть количество каких-то служебных данных, поэтому не нужно удивляться, если у некоторых этапов количество элементов будет 1 или какое-то другое значение.

Также для каждого шага имеется ссылка «Раскрыть результаты», по которой можно посмотреть сами текстовые фрагменты, получившиеся в результате шага, чтобы в дальнейшем, при необходимости, исправить исходные данные и параметры.

Вы также можете прервать процесс индексирования, кликнув по кнопке «Прервать», которая появится при запуске индексирования.

Прерывание процесса может занимать какое-то время (в самых сложных случаях до минуты). При этом нет необходимости дожидаться, когда закончит крутиться лоадер, – можно покинуть страницу, а процесс сам прервется через некоторое время.

Следующие этапы индексирования одинаковы для всех источников:

• Очистка от лишних символов и фраз: на этом этапе тексты очищаются от некоторых символов, ломающих дальнейшую обработку, группы пробелов и переносов строк сжимаются, удаляются символы и фразы из настройки «Исключаемые фразы».

• Очистка от персональных данных: здесь с помощью встроенного внутреннего сервиса Админ24 осуществляется очистка от ФИО, адресов почты России, email, номеров телефонов и кредитных карт. Очистка работает примерно на 90-95% (не очищаются сложные редко встречающиеся персональные данные). Данная очистка проводится собственным внутренним сервисом Админ24, представляет собой довольно тяжелую операцию, поэтому является самым длительным шагом индексирования.

• Фильтрация по количеству токенов: повторная более тщательная проверка фрагментов на размер, заданный в токенах, позволяет уменьшить количество ошибок на дальнейших этапах.

• Векторизация: каждый фрагмент отправляется в специальную НС (в настоящее время используется векторизатор от Яндекс), которая определяет вектор – для Яндекса это список из 256 чисел. Сам текст фрагмента и его вектор сохраняются в векторную БД. Когда придет запрос пользователя, для этого запроса также вычисляется вектор и векторная БД, сравнивая вектор запроса пользователя с векторами всех проиндексированных текстов, находит тексты, наиболее релевантные запросу. Затем эти тексты будут приложены к контексту.

• Заключительные операции: служебные операции, не имеющие прямого отношения к индексированию.

Для индексирования заявок реализован процесс обновления индекса при добавлении/удалении/изменении заявок и комментариев. Но этот процесс не мгновенный – прежде чем измененная заявка попадет в индекс, может пройти несколько минут.

Если потребуется отключить автоматическое переиндексирование, необходимо нажать у заявок «Переиндексировать новые» и, когда этот процесс запустится, нажать «Прервать».

Пока процесс будет находиться в прерванном состоянии, автоматическое обновление индекса не активно.

Чтобы снова активировать автоматическое обновление индекса, достаточно нажать «Продолжить» – текущий процесс завершится и в дальнейшем будет повторяться раз в минуту.