То́кен ( англ. token ) — объект , создающийся из лексемы в процессе лексического анализа («токенизации», от англ. tokenizing ).

В прикладном программировании понятие токена и его лексема могут не различаться.

Шаблон токена — формальное описание класса лексем, которые могут создать данный тип токена.

В статье не хватает ссылок на источники (см. рекомендации по поиску ). Информация должна быть проверяема , иначе она может быть удалена. Вы можете статью, добавив ссылки на авторитетные источники в виде сносок . ( 3 марта 2023 )