Семантическая информация — смысловой аспект информации, отражающий отношение между формой сообщения и его смысловым содержанием.

Начиная с работ Клода Шеннона , принято считать , что понятие информации складывается из трёх аспектов: синтаксического , семантического и прагматического . Синтаксический связан с техническими проблемами хранения и передачи информации, семантический имеет отношение к смыслу и значению истинности сообщений, прагматический затрагивает вопросы влияния информации на поведение людей. Теория семантической информации исследует область человеческих знаний и является составной частью разработки искусственного интеллекта .

История

Формирование понятия семантической информации

Возникновение семиотики в 19 веке создало предпосылки для появления понятия семантической информации . Окончательно оно сложилось после появления Математической теории связи , созданной Клодом Шенноном в 1948 году . Теория Шеннона, рассматриваемая сейчас как теория синтаксической информации, полностью игнорирует смысл сообщения. Именно тогда была осознана необходимость создания теории семантической информации.

Теория Бар-Хиллела и Карнапа

В 1952 году Йегошуа Бар-Хиллелом и Рудольфом Карнапом была предложена теория семантической информации, основанная на понятии логических вероятностей . Семантическая информация трактуется авторами как синоним смыслового содержания, которым обладают как истинные, так и ложные выражения. Рассматриваются две основные меры количества семантической информации в предложении ${\displaystyle s}$ . Первая ${\displaystyle {\mbox{cont}}(s)}$ определяется так:

${\displaystyle {\mbox{cont}}(s)=1-q(s)}$ ,

где ${\displaystyle q(s)}$ — абсолютная логическая вероятность предложения ${\displaystyle s}$ . Вторая мера ${\displaystyle {\mbox{inf}}(s)}$ является нелинейной функцией первой:

${\displaystyle {\mbox{inf}}(s)=\log _{2}{\frac {1}{1-{\mbox{cont}}(s)}}=\log _{2}{\frac {1}{q(s)}}}$ .

Она интересна тем, что для двух логически независимых предложений ${\displaystyle s_{1}}$ и ${\displaystyle s_{2}}$ имеем неравенство: ${\displaystyle {\mbox{cont}}(s_{1})+{\mbox{cont}}(s_{2})>{\mbox{cont}}(s_{1}\land s_{2})}$ , где « ${\displaystyle \land }$ » — знак логической связки «И», тогда как:

${\displaystyle {\mbox{inf}}(s_{1})+{\mbox{inf}}(s_{2})={\mbox{inf}}(s_{1}\land s_{2})}$ , (*)

что больше подходит для меры количества информации.

Для определения величин логических вероятностей предложений Бар-Хиллел и Карнап конструируют формальный язык и составляют с его помощью описания всевозможных состояний универсума (так называемое « множество возможных миров »). Приведём пример простого языка, в котором имеется одна константа ${\displaystyle a}$ (под ней мы будем подразумевать девушку Алису) и два предиката : ${\displaystyle B}$ и ${\displaystyle W}$ , обозначающие свойства «красива» и «умна». Тогда выражение ${\displaystyle B(a)}$ означает предложение «Алиса красива», а выражение ${\displaystyle W(a)}$ — «Алиса умна». Теперь используем логическую связку «НЕ», которую обозначим символом: « ${\displaystyle \neg }$ ». Тогда выражение ${\displaystyle \neg B(a)}$ будет означать предложение «Алиса не красива», а выражение ${\displaystyle \neg W(a)}$ — «Алиса не умна». Теперь мы можем составить все возможные описания состояний универсума для нашего скромного языка. Всего их будет четыре.

${\displaystyle B(a)\land W(a)}$

${\displaystyle B(a)\land \neg W(a)}$

${\displaystyle \neg B(a)\land W(a)}$

${\displaystyle \neg B(a)\land \neg W(a)}$

Как можно видеть, каждый мир универсума состоит из логически независимых атомарных предложений (и их отрицаний), называемых базисными. Обычно в формальных языках используется множество констант и множество предикатов, причём, не обязательно одноместных . Так что количество миров может быть очень большим.

Если не заданы предварительные условия, то логические вероятности всех миров одинаковы. В этом случае величина абсолютной логической вероятности предложения ${\displaystyle s}$ равна отношению числа миров, в которых ${\displaystyle s}$ истинно, к общему числу миров в универсуме. В теории Бар-Хиллела и Карнапа величины логических вероятностей аналитических выражений одинаковы и равны единице (поскольку они истинны во всех мирах), а логическая вероятность противоречия равна нулю. Величины логических вероятностей синтетических выражений заключены в интервале от нуля до единицы.

Чем больше миров в универсуме, тем выше неопределённость (относительно того, какой мир является истинным). После получения сообщения ${\displaystyle s}$ неопределённость уменьшается, поскольку те миры, в которых ${\displaystyle s}$ ложно, можно исключить из рассмотрения. Семантическая информация в предложении ${\displaystyle s}$ понимается как множество исключённых миров (оно обозначается символом ${\displaystyle {\mbox{Cont}}(s)}$ ). По поводу этого определения авторы пишут, что оно согласуется с древним философским принципом « omnis determinatio est negatio » (« всякое определение является исключением »). Теперь для меры ${\displaystyle {\mbox{cont}}(s)}$ можем записать:

${\displaystyle {\mbox{cont}}(s)={\frac {|{\mbox{Cont}}(s)|}{|{\mbox{U}}|}}}$ ,

где ${\displaystyle |{\mbox{Cont}}(s)|}$ — мощность множества ${\displaystyle {\mbox{Cont}}(s)}$ , ${\displaystyle |{\mbox{U}}|}$ — мощность множества всех миров универсума ${\displaystyle {\mbox{U}}}$ .

Количество семантической информации в сообщении ${\displaystyle s}$ относительно знаний получателя ${\displaystyle e}$ определяется следующим образом:

${\displaystyle {\mbox{inf}}(s/e)={\mbox{inf}}(s\land e)-{\mbox{inf}}(e)=\log _{2}{\frac {q(e)}{q(s\land e)}}=\log _{2}{\frac {1}{q(s/e)}}}$ ,

где ${\displaystyle q(s/e)}$ — относительная (условная) логическая вероятность истинности высказывания ${\displaystyle s}$ при условии истинности выражения ${\displaystyle e}$ .

Замечательно, что чисто внешне формулы теории Бар-Хиллела и Карнапа похожи на формулы теории Шеннона. И там, и здесь мы имеем логарифмы и вероятности . Только у Шеннона все вероятности — статистические (то есть эмпирические ), а не логические.

Если логическая вероятность выражения ${\displaystyle s\land e}$ меньше логической вероятности выражения ${\displaystyle e}$ , то сообщение ${\displaystyle s}$ несёт новую информацию получателю, обогащая, таким образом, его знания. Если ${\displaystyle e}$ имплицирует ${\displaystyle s}$ , то ${\displaystyle s\land e}$ эквивалентно ${\displaystyle e}$ и сообщение ${\displaystyle s}$ не несёт информации адресату (поскольку в нём для него нет ничего нового). Если выражение ${\displaystyle s\land e}$ является противоречием, то ${\displaystyle q(s\land e)=0}$ . Количество семантической информации в противоречии по Бар-Хиллелу и Карнапу равно бесконечности . Этот парадоксальный результат впоследствии послужил поводом для критики со стороны Лучано Флориди.

Альтернативные идеи

Хотя теория Бар-Хиллела и Карнапа до сих пор пользуется вниманием исследователей, она вызвала поток новых идей. Александр Харкевич предложил измерять ценность информации по изменению вероятности достижения определённой цели, возникающему под воздействием данного сообщения . Юлий Шрейдер полагал, что количество семантической информации в послании любой природы можно оценивать как степень изменения системы знаний адресата в результате восприятия сообщения . Идея о семантическом аспекте связи информации и энтропии была впервые предложена в 1966 советским философом и логиком Евгением Казимировичем Войшвилло в работе « Попытка семантической интерпретации статистических понятий информации и энтропии ».

Современные теории семантической информации

Теория Флориди

В своей работе 2004 года Лучано Флориди с первой строки обрушивается на теорию Бар Хиллела и Карнапа: « „Треугольник имеет четыре стороны“: согласно классической теории семантической информации в этом противоречии заключено больше смыслового содержания, чем в условно истинном утверждении „Земля имеет только одну Луну“ » . Флориди назвал это « парадоксом Бар-Хиллела-Карнапа ». Решение этого парадокса он видит в том, что количество семантической информации в сообщениях должно зависеть не только от заключённого в них смыслового содержания, но и от значения истинности этих сообщений. Флориди ввёл понятие условно ложного предложения ( contingently false sentence ), представляющего собой конъюнкцию двух его составных частей, одна из которых истинная, а вторая — ложная. Примером такого предложения может служить высказывание: «Луна вращается вокруг Земли и внутри она полая». Такое предложение одновременно несёт информацию (тем, кто не знает, что Луна вращается вокруг Земли) и дезинформацию (в обычной жизни часто приходится встречаться с подобным — дезинформацию легче продвигать, если она дополняется некоторой долей информации).

С точки зрения классической логики условно ложное предложение является просто ложным и несёт только дезинформацию. Однако приведённый пример показывает, что на самом деле это не так. Первоначальная теория Бар-Хиллела и Карнапа не в состоянии решить эту антиномию . Поэтому Флориди отверг её (как «слабую» теорию) и создал свою собственную — «сильную». Он отказался от использования логических вероятностей и заявил, что теория семантической информации не должна быть похожей на теорию Шеннона . В его собственной интерпретации количество семантической информации в сообщении определяется степенью соответствия этого сообщения ситуации (то есть тому, что происходит в данном месте и в данное время). Несоответствие возникает либо в результате бессодержательности сообщения, либо в результате его неточности. В своей теории Флориди непосредственно не использует понятие дезинформации, вместо этого он вводит понятие степени неточности условно ложных предложений. Степень неточности в условно ложном предложении ${\displaystyle s}$ равна:

${\displaystyle -v(s)=-{\frac {f(s)}{l(s)}}}$ ,

где ${\displaystyle f(s)}$ — число ложных атомарных выражений в ${\displaystyle s}$ ; ${\displaystyle l(s)}$ — общее число атомарных предложений в ${\displaystyle s}$ . Для определения истинности атомарных предложений требуется принять принцип априорного всезнания. Степень бессодержательности истинного предложения ${\displaystyle s}$ рассчитывается по формуле:

${\displaystyle +v(s)={\frac {m(s)}{n}}}$ ,

где ${\displaystyle m(s)}$ — число миров универсума, в которых ${\displaystyle s}$ истинно; ${\displaystyle n}$ — общее число миров универсума (заметим, что, согласно этому определению, величина ${\displaystyle +v(s)}$ в точности равна величине логической вероятности ${\displaystyle q(s)}$ ). Далее Флориди вводит понятие функции степени информативности:

${\displaystyle i(s)=1-v^{2}(s)}$ .

Количество семантической информации ${\displaystyle i^{*}(s)}$ в сообщении ${\displaystyle s}$ равно определённому интегралу от функции степени информативности ${\displaystyle i(s)}$ :

${\displaystyle i^{*}(s)={\frac {3}{2}}\int \limits _{v(s)}^{1}(1-x^{2})\mathrm {d} x=1-{\frac {3v(s)}{2}}+{\frac {v^{3}(s)}{2}}}$ .

Несмотря на все отличия между классической теорией и теорией Флориди, в них есть нечто общее. Если ${\displaystyle s}$ является истинным предложением, то величина ${\displaystyle +v(s)}$ равна величине логической вероятности ${\displaystyle q(s)}$ . Мера ${\displaystyle i^{*}(s)}$ подобна мере ${\displaystyle {\mbox{cont}}(s)}$ , но в отличие от последней, является нелинейной функцией ${\displaystyle v(s)}$ . К сожалению, в теории Флориди нет ничего похожего на меру ${\displaystyle {\mbox{inf}}(s)}$ , обладающую замечательным свойством (*) для логически независимых предложений.

Теория семантической информации и дезинформации

Поднятая Флориди проблема может быть решена в рамках теории, основанной на логических вероятностях. Необходимо отметить, что к началу текущего века у некоторых учёных сформировалось скептическое отношение к индуктивной логике Карнапа . Однако современные математики смогли изменить ситуацию, модифицировав эту теорию . Благодаря этому интерес к логическим вероятностям вновь возродился.

В работе предлагается модифицировать классическую теорию семантической информации, включив в неё понятие дезинформации, которую несёт ложное сообщение. В новой теории, как и в теории Флориди, рассматривается множество различных ситуаций (точек пространства-времени). Одно и то же предложение языка может быть истинным в одной ситуации и ложным в другой. Поскольку получатель сообщений не может быть застрахован от ошибок при оценке их истинности, количество семантической информации оценивается отдельно с точки зрения получателя и с точки зрения всезнающего эксперта.

В каждой конкретной ситуации истинное сообщение несёт только информацию, а абсолютно ложное — одну только дезинформацию. Условно ложное предложение ${\displaystyle s}$ рассматривается как конъюнкция : ${\displaystyle s_{T}\land s_{F}}$ , где ${\displaystyle s_{T}}$ — истинная часть сообщения, ${\displaystyle s_{F}}$ — ложная часть сообщения. При этом требуется, чтобы ${\displaystyle s_{T}}$ и ${\displaystyle s_{F}}$ были логически независимыми (это нужно, в частности, для того, чтобы противоречие не оказалось условно ложным предложением). Тогда ненормализованные меры количества информации ${\displaystyle {\mbox{in}}_{E}(s)}$ и количества дезинформации ${\displaystyle {\mbox{mi}}_{E}(s)}$ в условно ложном предложении ${\displaystyle s}$ с точки зрения эксперта определяются следующим образом:

${\displaystyle {\mbox{in}}_{E}(s)={\mbox{cont}}(s_{T})}$ ,

${\displaystyle {\mbox{mi}}_{E}(s)={\mbox{cont}}(s_{F})}$ .

Индекс « ${\displaystyle E}$ », которым помечены символы « ${\displaystyle {\mbox{in}}}$ » и « ${\displaystyle {\mbox{mi}}}$ » в формулах, указывает на то, что рассматриваются количества информации и дезинформации с точки зрения эксперта. Нормализованные меры количества семантической информации ${\displaystyle {\mbox{inf}}_{E}(s)}$ и дезинформации ${\displaystyle {\mbox{mis}}_{E}(s)}$ в условно ложном предложении ${\displaystyle s}$ с точки зрения эксперта:

${\displaystyle {\mbox{inf}}_{E}(s)=\log _{2}{\frac {1}{1-{\mbox{cont}}(s_{T})}}=\log _{2}{\frac {1}{q(s_{T})}}}$ ,

${\displaystyle {\mbox{mis}}_{E}(s)=\log _{2}{\frac {1}{1-{\mbox{cont}}(s_{F})}}=\log _{2}{\frac {1}{q(s_{F})}}}$ .

Противоречие с точки зрения эксперта несёт нулевое количество информации и бесконечное количество дезинформации. Таким образом решается парадокс Бар-Хиллела-Карнапа. Бесконечное количество дезинформации объясняется тем, что, если бы противоречие вдруг кому-то показалось истиной, то мир изменился бы для него до неузнаваемости. Двумя словами это не описать. Предположим, что получатель информации имеет условно ложные знания ${\displaystyle e}$ , эквивалентные конъюнкции: ${\displaystyle e_{T}\land e_{F}}$ , где ${\displaystyle e_{T}}$ — истинная часть его знаний, ${\displaystyle e_{F}}$ — заблуждения. Тогда с точки зрения эксперта, получив условно ложное сообщение ${\displaystyle s}$ , адресат реально имеет семантическую информацию и дезинформацию в следующих количествах:

${\displaystyle {\mbox{inf}}_{E}(s/e)=\log _{2}{\frac {q(e_{T})}{q(s_{T}\land e_{T})}}=\log _{2}{\frac {1}{q(s_{T}/e_{T})}}}$ ,

${\displaystyle {\mbox{mis}}_{E}(s/e)=\log _{2}{\frac {q(e_{F})}{q(s_{F}\land e_{F})}}=\log _{2}{\frac {1}{q(s_{F}/e_{F})}}}$ .

Если получатель воспринимает ${\displaystyle s}$ как истинное предложение и конъюнкция ${\displaystyle s\land e}$ не является противоречием, то с его точки зрения он получил следующее количество информации:

${\displaystyle {\mbox{inf}}_{R}(s/e)=\log _{2}{\frac {1}{q(s/e)}}={\mbox{inf}}_{E}(s/e)+{\mbox{mis}}_{E}(s/e)}$ .

Индекс « ${\displaystyle R}$ » обозначает оценку адресата. Очевидно, что точное количество информации (и дезинформации) в пришедшем сообщении может определить только эксперт, а получатель способен лишь на более-менее точные оценки.

Теория универсальной семантической информации

Формальное описание семантической информации, применимое для всех видов физических систем (живых и неживых) дано математиком Дэвидом Волпертом ( ) в его работе "Semantic information, agency, and nonequilibrium statistical physics": синтаксическая информация, которой обладает физическая система об окружающей среде, и которая казуально необходима системе для поддержания собственного существования в состоянии низкой энтропии.

Казуальная необходимость определяется в терминах гипотетических вмешательств (counter-factual interventions), которые рандомизируют корреляции между системой и внешней средой. Критерием степени автономности физической системы является объём имеющейся семантической информации.

Примечания