Латентно-семантический анализ (ЛСА) ( англ. Latent semantic analysis, LSA ) — это метод обработки информации на естественном языке , анализирующий взаимосвязь между библиотекой документов и терминами, в них встречающимися, и выявляющий характерные факторы ( тематики ), присущие всем документам и терминам.

В основе метода латентно-семантического анализа лежат принципы факторного анализа , в частности, выявление латентных связей изучаемых явлений или объектов. При классификации / кластеризации документов этот метод используется для извлечения контекстно-зависимых значений лексических единиц при помощи статистической обработки больших корпусов текстов .

История

ЛСА был запатентован в 1988 году , , George Furnas , , Thomas Landauer , и . В области информационного поиска данный подход называют латентно-семантическим индексированием (ЛСИ) .

Впервые ЛСА был применен для автоматического индексирования текстов, выявления семантической структуры текста и получения псевдодокументов . Затем этот метод был довольно успешно использован для представления баз знаний и построения когнитивных моделей .

В последние годы метод ЛСА часто используется для поиска информации ( ), классификации документов , и других областях, где требуется выявление главных факторов из массива информационных данных.

Описание работы ЛСА

ЛСА можно сравнить с простым видом нейросети , состоящей из трех слоев: первый слой содержит множество слов ( термов ), второй — некое множество документов, соответствующих определённым ситуациям, а третий, средний, скрытый слой представляет собой множество узлов с различными весовыми коэффициентами, связывающих первый и второй слои.

В качестве исходной информации ЛСА использует матрицу термы-на-документы , описывающую набор данных, используемый для обучения системы. Элементы этой матрицы содержат, как правило, веса, учитывающие частоты использования каждого терма в каждом документе и участие терма во всех документах ( TF-IDF ). Наиболее распространенный вариант ЛСА основан на использовании разложения матрицы по сингулярным значениям ( SVD — Singular Value Decomposition ). С помощью SVD-разложения любая матрица раскладывается во множество ортогональных матриц, линейная комбинация которых является достаточно точным приближением к исходной матрице.

Говоря более формально, согласно теореме о сингулярном разложении , любая вещественная прямоугольная матрица может быть разложена на произведение трех матриц:

${\displaystyle {\begin{matrix}A=USV^{T}\end{matrix}}}$ ,

где матрицы ${\displaystyle {\textbf {U}}}$ и ${\displaystyle {\textbf {V}}}$ — ортогональные, а ${\displaystyle {\textbf {S}}}$ — диагональная матрица, значения на диагонали которой называются сингулярными значениями матрицы ${\displaystyle {\textbf {A}}}$ . Буква Т в выражении ${\displaystyle {\textbf {V}}^{T}}$ означает транспонирование матрицы.

Такое разложение обладает замечательной особенностью: если в матрице ${\displaystyle {\textbf {S}}}$ оставить только ${\displaystyle {\textbf {k}}}$ наибольших сингулярных значений, а в матрицах ${\displaystyle {\textbf {U}}}$ и ${\displaystyle {\textbf {V}}}$ — только соответствующие этим значениям столбцы, то произведение получившихся матриц ${\displaystyle {\textbf {S}}}$ , ${\displaystyle {\textbf {U}}}$ и ${\displaystyle {\textbf {V}}}$ будет наилучшим приближением исходной матрицы ${\displaystyle {\textbf {A}}}$ к матрице ${\displaystyle {\hat {\textbf {A}}}}$ ранга ${\displaystyle {\textbf {k}}}$ :

${\displaystyle {\begin{matrix}{\hat {A}}\approx A=USV^{T}\end{matrix}}}$ ,

Основная идея латентно-семантического анализа состоит в том, что если в качестве матрицы ${\displaystyle {\textbf {A}}}$ использовалась матрица термы-на-документы , то матрица ${\displaystyle {\hat {\textbf {A}}}}$ , содержащая только ${\displaystyle {\textbf {k}}}$ первых линейно независимых компонент ${\displaystyle {\textbf {A}}}$ , отражает основную структуру различных зависимостей, присутствующих в исходной матрице. Структура зависимостей определяется весовыми функциями термов.

Таким образом, каждый терм и документ представляются при помощи векторов в общем пространстве размерности ${\displaystyle {\textbf {k}}}$ (так называемом пространстве гипотез). Близость между любой комбинацией термов и/или документов легко вычисляется при помощи скалярного произведения векторов.

Как правило, выбор ${\displaystyle {\textbf {k}}}$ зависит от поставленной задачи и подбирается эмпирически. Если выбранное значение ${\displaystyle {\textbf {k}}}$ слишком велико, то метод теряет свою мощность и приближается по характеристикам к стандартным векторным методам. Слишком маленькое значение k не позволяет улавливать различия между похожими термами или документами.

Применение

Существуют три основных разновидности решения задачи методом ЛСА:

• сравнение двух термов между собой;
• сравнение двух документов между собой;
• сравнение терма и документа.

Достоинства и недостатки ЛСА

Достоинства метода:

• метод является наилучшим для выявления латентных зависимостей внутри множества документов;
• метод может быть применен как с обучением, так и без обучения (например, для кластеризации );
• используются значения матрицы близости, основанной на частотных характеристиках документов и лексических единиц;
• частично снимается полисемия и омонимия .

Недостатки:

• Существенным недостатком метода является значительное снижение скорости вычисления при увеличении объёма входных данных (например, при SVD-преобразовании). Как показано в , скорость вычисления соответствует порядку ${\displaystyle {\textbf {N}}^{2*k}}$ , где ${\displaystyle {\textbf {N}}={\textbf {N}}_{doc}+{\textbf {N}}_{term}}$ — сумма количества документов и термов , ${\displaystyle {\textbf {k}}}$ — размерность пространства факторов.
• Вероятностная модель метода не соответствует реальности. Предполагается, что слова и документы имеют Нормальное распределение , хотя ближе к реальности Распределение Пуассона . В связи с этим для практических применений лучше подходит Вероятностный латентно-семантический анализ , основанный на мультиномиальном распределении .

Примечания

Ссылки

• - Readings in Latent Semantic Analysis for Cognitive Science and Education. — Сборник статей и ссылок о ЛСА.
• - сайт, посвященный моделированию ЛСА.