Индексирование в поисковых системах ( веб-индексирование ) — процесс добавления сведений (о сайте) роботом поисковой машины в базу данных , впоследствии использующуюся для ( полнотекстового ) поиска информации на проиндексированных сайтах .

В сведения о сайте чаще всего входят ключевые слова (алгоритм определения ключевых слов зависит от поисковой системы ), статьи, ссылки, документы, также могут индексироваться изображения, аудио и т. д.

Существуют некоторые ограничения на типы индексируемых данных ( javascript , flash-файлы).

Для управления индексацией (например, запрета индексации той или иной страницы) используется файл robots.txt и такие директивы как Disallow, Allow, User-agent, Crawl-delay и другие. Также, для управления индексацией применяют теги <noindex> и атрибут <nofollow> , закрывающие содержимое сайта от роботов Яндекса и Google соответственно ( Yahoo использует тег <nofollow>).

Методы

• Латентно-семантическое индексирование
• Вероятностный латентно-семантический анализ

См. также

• Полнотекстовый поиск
• Поисковый индекс