Ана́лиз тона́льности те́кста ( сентимент-анализ , англ. Sentiment analysis , англ. Opinion mining ) — класс методов контент-анализа в компьютерной лингвистике , предназначенный для автоматизированного выявления в текстах эмоционально окрашенной лексики и эмоциональной оценки авторов (мнений) по отношению к объектам, речь о которых идёт в тексте .

Тональность — это эмоциональное отношение автора высказывания к некоторому объекту (объекту реального мира, событию, процессу или их свойствам/атрибутам), выраженное в тексте. Эмоциональная составляющая, выраженная на уровне лексемы или коммуникативного фрагмента, называется лексической тональностью (или лексическим сентиментом). Тональность всего текста в целом можно определить как функцию (в простейшем случае сумму) лексических тональностей составляющих его единиц ( предложений ) и правил их сочетания .

Задачи

Основной целью анализа тональности является нахождение мнений в тексте и выявление их свойств. Какие именно свойства будут исследоваться, зависит уже от поставленной задачи. К примеру, целью анализа может быть автор, то есть лицо, которому принадлежит мнение.

Мнения делятся на два типа :

• непосредственное мнение;
• сравнение.

Непосредственное мнение содержит высказывание автора об одном объекте. Формальное определение непосредственного мнения выглядит так: "непосредственным мнением называется кортеж из пяти элементов (e, f, op, h, t) , где:

• ( e ntity , f eature ) — объект тональности e (сущность, насчет которой высказывается автор) или его свойства f (атрибуты, части объекта) ;
• o rientation или p olarity — тональная оценка (эмоциональная позиция автора относительно упомянутой темы);
• h older — субъект тональности (автор, то есть кому принадлежит это мнение);
• момент времени t ime , когда было оставлено мнение.

Примеры тональных оценок :

• позитивная;
• негативная;
• нейтральная.

Под «нейтральной» подразумевается, что текст не содержит эмоциональной окраски. Также могут существовать и другие тональные оценки .

Виды классификации

В современных системах автоматического определения эмоциональной оценки текста чаще всего используется одномерное эмотивное пространство: или (хорошо или плохо). Однако известны успешные случаи использования и многомерных пространств .

Основной задачей в анализе тональности является классификация полярности данного документа, то есть определение, является ли выраженное мнение в документе или предложении позитивным, негативным или нейтральным. Более развёрнуто, «вне полярности» классификация тональности выражается, например, такими эмоциональными состояниями , как «злой», «грустный» и «счастливый».

Классификация по бинарной шкале

Полярность документа можно определять по бинарной в шкале. В этом случае для определения полярности документа используется два класса оценок: позитивная или негативная. Одним из минусов данного подхода является то, что эмоциональную составляющую документа не всегда можно однозначно определить, то есть документ может содержать признаки как позитивной, так и негативной оценки . Ранние работы в этой области включают в себя труды Терни и Панга , которые применяют различные методы распознавания полярности обзоров товара и отзывов о фильмах соответственно. Это пример работы на уровне документа.

Классификация по многополосной шкале

Можно классифицировать полярность документа по многополосной шкале, что было предпринято Пангом и Снайдером (среди прочих). Ими была расширена основная задача классификации киноотзывов от оценки «положительный или отрицательный» в сторону прогнозирования рейтинга по 3-х или 4-балльной шкале. В то же время Снайдер провёл углублённый анализ обзоров ресторанов, предсказывая рейтинги их различных свойств, таких как еда и атмосфера (по 5-балльной шкале) .

Системы шкалирования

Другим методом определения тональности является использование систем шкалирования, посредством чего словам, обычно связанным с отрицательными, нейтральными или позитивными тональностями, ставятся в соответствии числа по шкале от −10 до 10 (от самого отрицательного к самому положительному). Вначале фрагмент неструктурированного текста исследуется с помощью инструментов и алгоритмов обработки естественного языка , а затем выделенные из этого текста объекты и термины анализируются с целью понимания значения этих слов. .

Субъективность/объективность

Другое исследовательское направление — это идентификация субъективности/объективности . Эта задача обычно определяется как отнесение данного текста в один из двух классов: или . Эта проблема иногда может быть более сложной, чем классификация полярности: субъективность слов и фраз может зависеть от их контекста , а объективный документ может содержать в себе субъективные предложения (например, новостная статья, цитирующая мнения людей). Более того, как упоминал Су , результаты в большей степени зависят от определения субъективности, употребляющейся в рамках аннотации текстов. Как бы то ни было, Панг показал, что удаление объективных предложений из документа перед классификацией полярности помогло повысить точность результатов.

Модель более подробного анализа называется анализом на основе функции/аспекта. Эта модель ссылается на определение мнений или настроений, выраженных различными функциями или аспектами сущностей, например, у сотового телефона, цифровой камеры или банка. Свойство/аспект — это атрибут или компонент сущности, исследуемой на тональность, например, экран сотового телефона или же качество съёмки камеры. Эта проблема требует решения ряда задач, например, идентификации актуальных сущностей, извлечения их функций/аспектов и определения, является ли мнение, высказанное по каждой функции/аспекту, положительным, отрицательным или нейтральным. Более подробные дискуссии на этот счёт могут быть найдены в справочнике по NLP , в главе «Анализ тональности и субъективности» .

Подходы к классификации тональности

Компьютеры могут выполнять автоматический анализ цифровых текстов, используя элементы машинного обучения , такие как скрытый семантический анализ, метод опорных векторов , « мешок слов » и семантическая направленность в этой области . Более сложные методы пытаются определить обладателя настроений (то есть человека) и цель (то есть сущность, в отношении которой выражаются чувства). Чтобы определить мнение с учётом контекста, используют грамматические отношения между словами .

Отношения грамматической связанности получают на основе глубокого структурного разбора текста. Анализ тональности может быть разделен на две отдельные категории :

• ручной (или анализ тональности экспертами);
• автоматизированный анализ тональности .

Наиболее заметные различия между ними лежат в эффективности системы и точности анализа. В компьютерных программах автоматизированного анализа тональности применяют алгоритмы машинного обучения, инструменты статистики и обработки естественного языка, что позволяет обрабатывать большие массивы текста, включая веб-страницы , онлайн-новости, тексты дискуссионных групп в сети Интернет, онлайн-обзоры, веб-блоги и социальные медиа .

Семантические тезаурусы

Существует ряд тезаурусов , специально размеченных с учётом эмоциональной составляющей. Такие словари, описанные далее, необходимы компьютерным программам при анализе тональности текста.

WordNet-Affect

Примером для разработки WordNet-Affect послужило многоязычное расширение WordNet , названное WordNet Domain . В расширении WordNet Domain каждому приписано не менее одной пометы предметной области (англ. «domain label»), например: спорт, политика, медицина. Всего в иерархически организованную структуру было включено около двухсот предметных помет .

WordNet-Affect — это семантический тезаурус, в котором понятия, связанные с эмоциями («эмоциональные концепты», англ. «affective concepts»), представлены с помощью слов, обладающих эмоциональной составляющей («эмоциональные слова», англ. «affective words») . WordNet-Affect состоит из такого подмножества синсетов WordNet, где каждый синсет, соответствующий «эмоциональному концепту», может быть представлен с помощью «эмоциональных слов» .

Таким образом, WordNet-Affect был создан на основе WordNet для английского языка (также существуют версии WordNet-Affect и для других языков ) путём выбора и отнесения наборов синонимов (синсетов) к различным эмоциональным понятиям. В частности, синсеты глаголов, существительных, прилагательных, наречий, которые представляют собой описание эмоций, были вручную размечены с помощью специальных эмоциональных меток (affective labels, A-labels) . Эти эмоциональные метки характеризуют различные состояния, выражающие настроения, эмоциональные отклики или ситуации, которые вызывают эмоции . Примеры таких эмоциональных меток приведены в следующей таблице

Эмоциональная метка	Пример
Эмоция (emotion)	сущ. гнев#1, гл. бояться#1 (fear)
Настроение (mood)	сущ. враждебность#1 (animosisy), прил. любезный#1J (amiable)
Особенность (trait)	сущ. агрессивность#1 (aggressiveness), прил. соперничающий#1 (competitive)
Когнитивное состояние (cognitive state)	сущ. замешательство#2 (confusion), прил. потрясенный#2 (dazed)
Физическое состояние (physical state)	сущ.хворь#1 ( llness), прил. выдохнувшийся#1 (all in)
Гедонический сигнал (gedonic signal)	сущ. боль#3(hurt), сущ. страдание#4 (suffering)
Ситуации, вызывающие эмоции (emotion-eliciting situation)	сущ. неловкость#3 (awkwardness), сущ. безопасность#1 (out of danger)
Эмоциональные отклики (emotional responses)	сущ. холодный пот#1 (cold sweat), гл. дрожать#2 (tremble)
Поступки (behaviour)	сущ. преступление#1 (offense), прил. заторможенный#1 (inhibited)
Отношение, позиция (attitude)	сущ. нетерпимость#1 (intolerance), сущ. оборонительная позиция#1 (defensive)
Чувство (sensation)	сущ. холод#1 (coldness), гл. чувствовать#3 (feel)

Также в WordNet-Affect используются дополнительные эмоциональные метки для того, чтобы разделять синсеты в соответствии с их эмоциональной валентностью. Для этого определяются четыре дополнительные эмоциональные метки: позитивная, негативная, неоднозначная и нейтральная . Первая соответствует положительным эмоциям, которые определяются как эмоциональные состояния, характеризующиеся наличием положительных гедонистических сигналов (или удовольствия). Она включает в себя такие синсеты как радость#1 или увлечение#1. Аналогично негативная метка идентифицирует негативные эмоции, характеризующиеся отрицательными гедонистическими сигналами (или болью), например, гнев#1 или печаль#1. Синсеты, представляющие эмоциональные состояния, валентность которых зависит от семантического контекста (например, удивление#1) помечаются как неоднозначные . Наконец, синсеты, определяющие психологические состояния и всегда рассматривающиеся как неоднозначные, но при этом не характеризующиеся валентностью, являются нейтральными .

Синсеты, помеченные эмоциональными метками, дополнительно переразмечаются шестью эмоциональными категориями: радость, страх, гнев, печаль, отвращение, удивление. Таким образом, физическая структура WordNet-Affect состоит из шести файлов: anger.txt, disgust.txt, fear.txt, joy.txt, sadness.txt, surprise.txt , где каждый файл представляет собой описание какой-либо категории . На данный момент WordNet-Affect содержит 2874 синсетов и 4787 слов .

Учёные Технического университета Молдовы перевели синсеты WordNet-Affect с английского на русский и румынский языки, выполнили их выравнивание: английский — румынский — русский . Ресурс доступен онлайн для исследовательских целей .

SentiWordNet

SentiWordNet — это лексический семантический тезаурус, первая версия которого была разработана в 2006 году. На данный момент самой последней версией SentiWordNet является SentiWordNet 3.0 , использование которой дает более чем 20 % прирост точности по сравнению с первой версией .

Данная система является результатом процесса автоматического аннотирования каждого WordNet синсета (набора синонимов) в соответствии с его степенью позитивности, негативности и объективности . Таким образом, каждому синонимическому ряду из WordNet присваивается три численных оценки, где каждая из этих оценок соответственно определяет объективную, позитивную или негативную составляющую синсета . Каждая из этих оценок принимает значения в интервале от 0 до 1, и в сумме они дают 1 (единицу), то есть каждая из этих оценок может иметь ненулевое значение . Термы, которые могут иметь различные значения, могут иметь и различные значения оценок .

Процесс обучения SentiWordNet состоял из двух шагов: .

1. На первом шаге разработки системы были использованы методы машинного обучения со слабым ( частичным участием учителя (semi-supervised learning)) для первичного наполнения. Вначале было выбрано небольшое множество синсетов, которому вручную были присвоены численные оценки. Затем на основе этого множества было обучено несколько классификаторов, задачей которых является определение степени позитивности, негативности, и объективности синсета. После этого, через полученные модели классификаторов, были определены численные оценки для каждого WordNet синсета.
2. К данным, полученным на первом шаге, была применена модель случайного блуждания (random-walk step), в результате работы которой были установлены окончательные оценки объективной, позитивной или негативной составляющих каждого синсета. Подробнее об этом этапе вы можете прочитать в следующей работе .

SentiWordNet распространяется по лицензии CC BY-SA 3.0 . Эта лицензия позволяет свободно использовать SentiWordNet в коммерческих и научных целях при условии указания имён создателей. Любой желающий может самостоятельно загрузить файлы SentiWordNet с официального сайта бесплатно. Также можно загрузить небольшой Java класс, демонстрирующий работу с SentiWordNet .

SenticNet

SenticNet представляет собой ещё один семантический тезаурус для работы с наборами эмоциональных понятий. SenticNet является проектом, запущенным в медиа-лаборатории Массачусетского технологического института в 2010 году . С тех пор, проект SenticNet получил дальнейшее развитие и применяется для проектирования интеллектуальных приложений, предназначенных для анализа эмоциональной составляющей текста и охватывающих спектр задач от data mining до организации взаимодействия человека с компьютером . Главным назначением SenticNet является упрощение процедуры машинного распознавания концептуальной и эмоциональной информации, передаваемой с помощью естественного языка . Если сравнить другие лексические тезаурусы, такие как SentiWordNet и WordNet-Affect с SenticNet, то их главным различием будет то, что SentiWordNet и WordNet-Affect обеспечивают связывание слов и эмоциональных понятий на синтаксическом уровне, не позволяя выявлять смысловую составляющую, например, «достижение цели», «нехорошее чувство», «отпраздновать особый случай», «потерять самообладание» или «быть на седьмом небе от счастья», в то время как SenticNet связывает понятия на семантическом уровне .

Последней версией является SenticNet 2 . В отличие от версии SenticNet 1 , которая просто присваивает значение тональности примерно 5700 понятиям из корпуса OpenMind, SenticNet 2 обеспечивает связывание семантики и «sentics» (то есть когнитивной и «эмоциональной» информации) с более чем 14000 понятий и позволяет проводить более глубокий и многогранный анализ текста на естественном языке по сравнению с SenticNet 1 . SenticNet 2 построен с помощью «sentic-вычислений», парадигмы, которая использует методы ИИ и семантической паутины для улучшения распознавания, интерпретации и обработки мнений на естественном языке .

«Sentic-вычисления» представляют собой междисциплинарный подход к анализу тональности текста на перекрестке между « » и «common sense computing» . Под термином «common sense computing» подразумевается ряд инициатив, направленных на то, чтобы в компьютерах были представлены знания об всём на свете в том виде, как их понимает человек, и чтобы компьютеры были в состоянии строить логические выводы на основе этих знаний . Такой междисциплинарный подход предполагает использование средств информационных и социальных наук для улучшения распознавания, интерпретации и обработки мнений и чувств . В частности, Sentic вычисления предполагают использование методов искусственного интеллекта и семантической паутины — для представления знаний и их вывода; математику — для решения таких задач как обработка графов и ; лингвистику — для дискурсивного анализа и прагматики; психологию — для познавательного и эмоционального моделирования; социологию — для понимания динамики социальных сетей и социального влияния; и наконец этику — для понимания природы ума и создания эмоциональных машин. «Sentic-вычисления» позволяют проводить анализ документов не только на уровне целых страниц и текстов, но и на уровне предложений, что позволяет оценивать тексты на более высоком уровне детализации .

Для того чтобы представить данные SenticNet в машиночитаемом виде, удобном для обработки компьютерными программами, данные кодируются в RDF -триплеты с использованием синтаксиса XML. Пример XML-файла для концепта «love» можно посмотреть на сайте проекта по следующей ссылке . Например, если в процессе работы приложения встретится такое понятие, как «день рождения», то SenticNet отнесёт его к понятию высокого уровня «события» и свяжет с набором семантически близких понятий, например, «сладкий», «дружеский сюрприз» или «клоун» (которые могут быть использованы в качестве источника дополнительной/контекстной информации, чтобы улучшить результаты поиска) . SenticNet также сопоставляет каждому понятию «sentic-вектор» с численными значениями таких величин, как Pleasantness (приятность), Attention (внимание), Sensitivity (чуткость) and Aptitude (способность) , а также величину тональности (для таких задач, как анализ тональности текста), основное и дополнительное настроение, а также набор эмоционально близких понятий, например, «праздник» или «особый случай» (для таких задач, как определение тональности текста) .

Любой желающий может свободно скачать SenticNet 2 с официального сайта .

Методы классификации тональности

Методы, основанные на правилах и словарях

Этот метод основан на поиске эмотивной лексики (лексической тональности) в тексте по заранее составленным тональным словарям и правилам с применением лингвистического анализа. По совокупности найденной эмотивной лексики текст может быть оценен по шкале, содержащей количество негативной и позитивной лексики. Данный метод может использовать как списки правил, подставляемые в регулярные выражения, так и специальные правила соединения тональной лексики внутри предложения. Чтобы проанализировать текст, можно воспользоваться следующим алгоритмом: сначала каждому слову в тексте присвоить его значение тональности из словаря (если оно присутствует в словаре), а затем вычислить общую тональность всего текста путём суммирования значения тональностей каждого отдельного предложения .

Основной проблемой методов, основанных на словарях и правилах, считается трудоёмкость процесса составления словаря. Для того, чтобы получить метод, классифицирующий документ с высокой точностью, термины словаря должны иметь вес, адекватный предметной области документа. Например, слово «огромный» по отношению к объёму памяти жёсткого диска является положительной характеристикой, но отрицательной по отношению к размеру мобильного телефона. Поэтому данный метод требует значительных трудозатрат, так как для хорошей работы системы необходимо составить большое количество правил. Существует ряд подходов, позволяющих автоматизировать составление словарей для конкретной предметной области (например, тематика ресторанов или тематика мобильных телефонов) .

Машинное обучение с учителем

В наше время наиболее часто используемыми в исследованиях методами являются методы на основе машинного обучения с учителем. Сутью таких методов является то, что на первом этапе обучается машинный классификатор (например, байесовский ) на заранее размеченных текстах, а затем используют полученную модель при анализе новых документов. Опишем краткий алгоритм :

1. вначале собирается коллекция документов, на основе которой обучается машинный классификатор;
2. каждый документ раскладывается в виде вектора признаков(аспектов), по которым он будет исследоваться;
3. указывается правильный тип тональности для каждого документа;
4. производится выбор алгоритма классификации и метод для обучения классификатора;
5. полученную модель используем для определения тональности документов новой коллекции.

Машинное обучение без учителя

В основе этого подхода лежит идея, что термины, которые чаще встречаются в этом тексте и в то же время присутствуют в небольшом количестве текстов во всей коллекции, имеют наибольший вес в тексте. Выделив данные термины, а затем определив их тональность, можно сделать вывод о тональности всего текста .

Метод, основанный на теоретико-графовых моделях

В основе этого метода используется предположение о том, что не все слова в текстовом корпусе документа равнозначны. Какие-то слова имеют больший вес и сильнее влияют на тональность текста. При использовании этого метода анализ тональности разбивается на несколько этапов:

1. построение графа на основе исследуемого текста;
2. ранжирование его вершин;
3. классификация найденных слов;
4. вычисление результата.

Подробнее о пунктах 1 и 2 вы можете прочитать в работе «Извлечение терминов из русскоязычных текстов при помощи графовых моделей» Д. А. Усталова .

Для классификации слов используется тональный словарь, в котором каждому слову соотносится оценка, например «положительная», «отрицательная» или «нейтральная». Для получения конечного результата нужно вычислить значения двух оценок: положительной составляющей текста и отрицательной. Для того, чтобы найти положительную составляющую текста необходимо найти сумму тональностей всех положительных терминов текста с учётом их веса. Значение отрицательной составляющей текста находится аналогичным образом. Для итоговой оценки тональности всего текста нужно вычислить отношение этих составляющих по формуле: ${\displaystyle T=P/N}$ , где T — итоговая оценка тональности, P — оценка положительной составляющей текста и N — негативная составляющая текста. В соответствии со статьёй Меньшикова , текст, в котором значение T близко к единице, будет считаться нейтральным, если немного превосходит 1 — положительным. Если сильно превосходит 1, то сильно положительным. Обратное верно и для текстов отрицательной тональности . Более подробно данный метод рассмотрен в работах Голдберга и Пономарёвой .

Оценка качества анализа тональности

Точность и качество системы анализа тональности текста оценивается тем, насколько хорошо она согласуется с мнением человека относительно эмоциональной оценки исследуемого текста. Для этого могут использоваться такие метрики как точность и полнота . Формула для нахождения полноты:

${\displaystyle R={\frac {\text{correctly extracted opinions}}{\text{total number of opinions}}}}$

где correctly extracted opinions — верно определённые мнения, total number of opinions — общее количество мнений(как найденных системой, так и не найденных) . Точность вычисляется по формуле :

${\displaystyle P={\frac {\text{correctly extracted opinions}}{\text{total number of opinions found by system}}}}$

где correctly extracted opinions — верно определённые мнения, total number of opinions found by system — общее количество мнений найденных системой . Таким образом, точность выражает количество исследуемых текстов, предложений или документов, в оценке которых мнение системы анализа тональности совпало с мнением эксперта. При этом, согласно исследованию, эксперты обычно соглашаются в оценках тональности конкретного текста в 79 % случаев . Следовательно, программа, которая определяет тональность текста с точностью 70 %, делает это почти так же хорошо, как и человек.

См. также

• Обработка естественного языка
• Компьютерная лингвистика
• Извлечение информации
• Контент-анализ

Примечания

Литература

• Stefano Baccianella. (англ.) // Proceedings of LREC : конференция. — 2010. — P. 2200–2204 .
• Victoria Bobicev, Victoria Maxim, Tatiana Prodan, Natalia Burciu, Victoria Angheluş. (англ.) : 2010, Iași , Romania. — 2010. — P. 1—10 .
• J.Bollen, H.Mao, X.-J.Zeng. (англ.) // JTechnical Report arXiv:1010.3003, CoRR : журнал. — 2010.
• Erik Cambria. (англ.) // Proceedings of AAAI FLAIRS : конференция. — 2012. — P. 202–207 .
• Erik Cambria, Amir Hussain, Catherine Havasi, and Chris Eckl. (англ.) // Biometric ID Management and Multimodal Communication Lecture Notes in Computer Science : журнал. — 2009. — P. 252—259 .

• Andrew Goldberg, Xiaojin Zhu. (англ.) // Proceedings of the First Workshop on Graph Based Methods for Natural Language Processing,Computer Sciences Department University of Wisconsin-Madison : конференция. — 2006. — P. 45—52 .
• Minqing Hu, Bing Liu. (англ.) // Proceedings of KDD : конференция. — 2004.
• Nozomi Kobayashi, Ryu Iida, Kentaro Inui, Yuji Matsumoto. (англ.) // Nara Institute of Science and Technology, Takayama, Ikoma, Nara 630-0192, Japan : конференция. — 2006. — P. 1—6 . 2 февраля 2014 года.
• Bing Liu. Sentiment Analysis and Subjectivity // (англ.) / под ред. N. Indurkhya и F. J. Damerau. — 2010.
• Bernardo Magnini, Gabriela Cavaglia. (англ.) : . — 2000.
• Bo Pang, Lillian Lee, Shivakumar Vaithyanathan. (англ.) // EMNLP. — 2002. — P. 79–86 .
• Bo Pang, Lillian Lee. (англ.) // Proceedings of the Association for Computational Linguistics (ACL) : журнал. — 2004. — P. 271–278 .
• Bo Pang, Lillian Lee. (англ.) // In Proceedings of the 43rd annual meeting of the Association for Computational Linguistics (ACL) : журнал. — University of Michigan, USA, 2005. — No. June 25–30 . — P. 115–124 .
• Bo Pang, Lillian Lee. (англ.) // Foundations and Trends in Information Retrieval : журнал. — 2008. — No. 2 . — P. 1—135 .
• Natalia Ponomareva, Mike Thelwall. (англ.) // Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and omputational Natural Language Learning : конференция. — 2012. — P. 655–665 .
• Benjamin Snyder, Regina Barzilay. (англ.) // Proceedings of the Joint Human Language Technology/North American Chapter of the ACL Conference (HLT-NAACL) : конференция. — 2007. — P. 300–307 .
• Carlo Strapparava, Alessandro Valitutti. (англ.) : . — 2004. — Vol. 4 . — P. 1083–1086 . 3 марта 2016 года.
• Fangzhong Su, Katja Markert. (англ.) // Proceedings of Coling, Manchester, UK. — 2008.
• Thelwall Mike, Buckley Kevan, Paltoglou Georgios, Cai Di, Kappas Arvid. (англ.) // Journal of the American Society for Information Science and Technology : журнал. — 2010. — P. 2544–2558 .
• Peter Turney. (англ.) // Proceedings of the Association for Computational Linguistics. — 2002. — P. 417–424 . — arXiv : . 3 февраля 2013 года.
• David Yarowsky. (англ.) // Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics. Cambridge : конференция. — 1995. 20 марта 2014 года.
• М. В. Клековкина, Е.В. Котельников. (рус.) // RCDL-2012, Переславль-Залесский, Россия : конференция. — 2012.
• Илья Меньшиков. (рус.) // УРФУ, Екатеринбург, Россия : конференция. — 2012. 15 декабря 2013 года.
• Анна Пазельская, Алексей Соловьев. // The international conference on computational linguistics and intellectual technologies “Dialogue 2011” : конференция. — Москва, 2011. — С. 510—522 .
• Дмитрий Усталов. (рус.) // УРФУ, Екатеринбург, Россия : конференция. — 2012. 2 сентября 2013 года.
• Ilia Chetviorkin, Natalia Loukachevitch. (англ.) // COLING : конференция. — 2012.

Ссылки

• Washington, Erin. (англ.) . Growing Social Media (14 ноября 2013). Дата обращения: 11 декабря 2013.

• Ogneva, M. (англ.) . Mashable (13 декабря 2012). Дата обращения: 11 декабря 2013.

• (англ.) .
• (англ.) .

• (англ.) .

• (англ.) .

• (англ.) .

• (англ.) .
• (рус.) .