Поверхностно-синтаксический анализ ( англ. shallow parsing, chunking, light parsing ) — метод анализа предложений , в котором сначала идентифицируют составные части предложения (существительные, глаголы, прилагательные и т. п), а затем связывают их в элементы высшего порядка, которые имеют грамматическое значение ( именные группы или фразы, глагольные группы и т. п.).

В то время как простые алгоритмы поверхностно-синтаксического анализа связывают составные части, используя элементарные шаблоны поиска (например, регулярные выражения ), подходы на основе машинного обучения ( классификаторы , тематическое моделирование и т. п.) могут учитывать контекстную информацию и формировать фрагменты, лучше отражая семантические связи между основными словами . Таким образом, эти более совершенные методы решают проблему того, что сочетание элементарных составляющих может иметь разные значения на высшем уровне в зависимости от контекста предложения.

Схожий с лексическим анализом в компьютерных языках, этот метод широко применяется в обработке естественного языка .

Под названием «гипотеза поверхностной структуры» ( англ. Shallow Structure Hypothesis ), его используют, чтобы дать объяснение, почему люди, изучающие второй язык , часто не могут правильно разобрать сложные предложения .

См. также

• Синтаксический анализ

Примечания

Литература

• (неопр.) . . Дата обращения: 30 января 2016. 4 марта 2016 года. (англ.)
• (PDF) , Kluwer Academic Publishers, 1991, pp. 257—278 {{ citation }} : |first1= пропущен |last1= ( справка ) от 6 ноября 2020 на Wayback Machine . (англ.)

Ссылки

• от 13 апреля 2012 на Wayback Machine OpenNLP содержит реализацию поверхностного анализатора.
• от 2 мая 2012 на Wayback Machine содержит реализацию поверхностного анализатора.
• от 14 марта 2021 на Wayback Machine NLTK
• от 31 октября 2015 на Wayback Machine поверхностного анализатора