Работа с ИИ-агентом. Что такое токены и как с ними работать

важно!

Единицей измерения размера текста в контексте нейронных сетей является токен.

Токены используются при настройке:

• размера контекста;
• размера ответа нейросети;
• размера фрагментов текста при индексировании.

Напрямую количество токенов в количество символов не переводится – количество символов на токен зависит от используемой модели НС, самого символа (буква, цифра, пробел, знак препинания и т. п.), взаимного расположения символов и других параметров.

Даже ориентировочный расчет количества токенов в тексте требует довольно сложного алгоритма. Описывать подобный алгоритм, используемый при подготовке данных в Админ24, в рамках данной инструкции не имеет смысла.

Для «стандартных» текстов, можно очень грубо и условно обозначить, что токен содержит в среднем 3-4 символа. Т. е., чтобы поверхностно оценить размер какого-то текста в токенах, нужно разделить количество символов, включая пробелы, на 3 или на 4.