Интеллектуальный анализ текстов ( ИАТ , англ. text mining) — направление в искусственном интеллекте , целью которого является получение информации из , основываясь на применении эффективных в практическом плане методов машинного обучения и обработки естественного языка . Название «интеллектуальный анализ текстов» перекликается с понятием « интеллектуальный анализ данных » ( ИАД , англ. data mining), что выражает схожесть их целей, подходов к переработке информации и сфер применения; разница проявляется лишь в конечных методах, а также в том, что ИАД имеет дело с хранилищами и базами данных , а не электронными библиотеками и корпусами текстов .

Группы задач ИАТ

Ключевыми группами задач ИАТ являются: категоризация текстов, извлечение информации и информационный поиск , обработка изменений в коллекциях текстов, а также разработка средств представления информации для пользователя.

Категоризация документов заключается в отнесении документов из коллекции к одной или нескольким группам (классам, кластерам) схожих между собой текстов (например, по теме или стилю). Категоризация может происходить при участии человека, так и без него. В первом случае, называемом классификацией документов , система ИАТ должна отнести тексты к уже определённым (удобным для него) классам. В терминах машинного обучения для этого необходимо произвести обучение с учителем , для чего пользователь должен предоставить системе ИАТ как множество классов, так и образцы документов, принадлежащих этим классам.

Второй случай категоризации называется кластеризацией документов . При этом система ИАТ должна сама определить множество кластеров, по которым могут быть распределены тексты, — в машинном обучении соответствующая задача называется обучением без учителя . В этом случае пользователь должен сообщить системе ИАТ количество кластеров, на которое ему хотелось бы разбить обрабатываемую коллекцию (подразумевается, что в алгоритм программы уже заложена процедура).

Применение

В последнее время анализ текста привлекает всё больше внимания в различных областях, таких как безопасность, коммерция, наука.

В безопасности

Многие пакеты анализа текста, такие как и , нацелены на рынок приложений безопасности, в частности на анализ источников простого текста, например новостных сайтов.

В программном обеспечении

Исследования и разработки подразделений крупных компаний, таких как IBM , Apple и Microsoft , исследуют технологии анализа текста с целью будущей автоматизации процессов анализа и извлечения данных.

Примечания

Литература

На русском:

• Пескова О. В. Алгоритмы классификации полнотекстовых документов // Автоматическая обработка текстов на естественном языке и компьютерная лингвистика. — М. : МИЭМ (Московский государственный институт электроники и математики), 2011. — С. 170—212. — ISBN 978–5–94506–294–8.

На английском:

• Survey of Text Mining I: Clustering, Classification, and Retrieval / Ed. by M. W. Berry. — 2004. — Springer, 2003. — 261 p. — ISBN 0387955631 .
• Aggarwal C. C., Zhai C. Mining Text Data. — Springer, 2012. — 527 p. — ISBN 9781461432234 .
• Do Prado H. A. Emerging Technologies of Text Mining: Techniques and Applications / Ed. by H. A. Do Prado, E. Ferneda. — Idea Group Reference, 2007. — 358 p. — ISBN 1599043734 .