Шеннон, Билл
- 1 year ago
- 0
- 0
Клод Э́лвуд Ше́ннон ( англ. Claude Elwood Shannon ; 30 апреля 1916 (1916-04-30) , Петоски , Мичиган , США — 24 февраля 2001 , Медфорд , Массачусетс , США ) — американский инженер , криптоаналитик и математик . Считается «отцом информационного века » .
Является основателем теории информации , нашедшей применение в современных высокотехнологических системах связи. Предоставил фундаментальные понятия, идеи и их математические формулировки, которые в настоящее время формируют основу для современных коммуникационных технологий. В 1948 году предложил использовать слово « бит » для обозначения наименьшей единицы информации (в статье « Математическая теория связи »). Кроме того, понятие энтропии было важной особенностью теории Шеннона. Он продемонстрировал, что введённая им энтропия эквивалентна мере неопределённости информации в передаваемом сообщении. Статьи Шеннона «Математическая теория связи» и « Теория связи в секретных системах » считаются основополагающими для теории информации и криптографии . Клод Шеннон был одним из первых, кто подошёл к криптографии с научной точки зрения, он первым сформулировал её теоретические основы и ввёл в рассмотрение многие основные понятия. Шеннон внёс ключевой вклад в теорию вероятностных схем, теорию игр , теорию автоматов и теорию систем управления — области наук, входящие в понятие « кибернетика ».
Клод Шеннон родился 30 апреля 1916 года в городе Петоски (штат Мичиган , США ). Отец его, Клод-старший (1862—1934), был бизнесменом, добившимся успеха своими собственными силами, адвокатом и в течение некоторого времени судьёй. Мать Шеннона, Мейбел Вулф Шеннон (1890—1945), была преподавателем иностранных языков и впоследствии стала директором Гэйлордской средней школы. Отец Шеннона обладал математическим складом ума. Любовь к науке была привита Шеннону его дедушкой. Дед Шеннона был изобретателем и фермером. Он изобрёл стиральную машину наряду с другой полезной в сельском хозяйстве техникой . Томас Эдисон был дальним родственником Шеннонов .
Первые шестнадцать лет своей жизни Клод провёл в Гэйлорде (Мичиган), где в 1932 году окончил Гэйлордскую общеобразовательную среднюю школу. В юности он работал курьером службы Western Union . Молодой Клод увлекался конструированием механических и автоматических устройств. Он собирал модели самолётов и радиотехнические цепи, создал радиоуправляемую лодку и телеграфную систему между домом друга и своим домом. Временами ему приходилось ремонтировать радиостанции для местного универмага .
Шеннон, по собственным словам, был аполитичным человеком и атеистом .
В 1932 году Шеннон был зачислен в Мичиганский университет , где на одном из курсов познакомился с работами Джорджа Буля . В 1936 году Клод окончил Мичиганский университет , получив степень бакалавра по двум специальностям (математик и электротехник), и устроился в Массачусетский технологический институт (MIT), где работал ассистентом-исследователем. Он выполнял обязанности оператора на механическом вычислительном устройстве, аналоговом компьютере , называемом «дифференциальный анализатор», разработанным его научным руководителем Вэниваром Бушем . Изучая сложные, узкоспециализированные электросхемы дифференциального анализатора , Шеннон увидел, что концепции Буля могут получить достойное применение. После того, как он проработал лето 1937 года в Bell Telephone Laboratories , он написал основанную на своей магистерской работе того же года статью «Символический анализ релейных и переключательных схем». контролировал магистерскую диссертацию, давал полезные советы и критику. Сама статья была опубликована в 1938 году в издании (AIEE) . В этой работе Шеннон показал, что переключающиеся схемы могут быть использованы для замены схем с электромеханическими реле, которые использовались тогда для маршрутизации телефонных вызовов. Затем он расширил эту концепцию, показав, что эти схемы могут решить все проблемы, которые позволяет решить Булева алгебра . Также, в последней главе он представляет заготовки нескольких схем, например, 4-разрядного сумматора . За эту статью Шеннон был награждён Премией имени Альфреда Нобеля Американского института инженеров-электриков в 1940 году. Доказанная возможность реализовывать любые логические вычисления в электрических цепях легла в основу проектирования цифровых схем. А цифровые цепи — это, как известно, основа современной вычислительной техники, таким образом, результаты его работ являются одними из наиболее важных научных результатов XX столетия. Говард Гарднер из Гарвардского университета отозвался о работе Шеннона, как о «возможно, самой важной, а также самой известной магистерской работе столетия».
По совету Буша Шеннон решил работать над докторской диссертацией по математике в MIT . Буш был назначен президентом Института Карнеги в Вашингтоне и предложил Шеннону принять участие в работе по генетике, которую вела . Именно генетика, по мнению Буша, могла послужить предметом приложения усилий Шеннона. Сам Шеннон, проведя лето в , заинтересовался нахождением математического фундамента для законов наследования Менделя . Докторская диссертация Шеннона, получившая название «Алгебра теоретической генетики», была завершена весной 1940 года . Однако эта работа не была выпущена в свет вплоть до 1993 года, пока она не появилась в сборнике Шеннона «Collected Papers». Его исследования могли стать весьма важными в противном случае, но бо́льшая часть этих результатов была получена независимо от него. Шеннон получает докторскую степень по математике и степень магистра по электротехнике. После этого он не возвращался к исследованиям в биологии .
Шеннон также был заинтересован в применении математики в информационных системах, таких как системы связи. После очередного лета, проведённого в Bell Labs , в 1940 году Шеннон на один академический год стал научным сотрудником в Институте перспективных исследований в Принстоне , штат Нью-Джерси , США . Там он работал под руководством известного математика Германа Вейля , а также имел возможность обсудить свои идеи с влиятельными учёными и математиками, среди которых был Джон фон Нейман . Он также имел случайные встречи с Альбертом Эйнштейном и Куртом Гёделем . Шеннон свободно работал в различных дисциплинах, и эта способность, возможно, способствовала дальнейшему развитию его математической теории информации .
Весной 1941 года он возвращается в компанию Bell Labs в рамках контракта с секцией D-2 (секция систем управления) Национального исследовательского комитета обороны США (NDRC), где он проработает до 1956 года. Со вступлением США во Вторую мировую войну Т. Фрай возглавил работу над программой для систем управления огнём для противовоздушной обороны. Шеннон присоединился к группе Фрая и работал над устройствами обнаружения самолётов противника и наведения на них зенитных установок, также он разрабатывал криптографические системы, в том числе и правительственную связь, которая обеспечивала переговоры Черчилля и Рузвельта через океан. Как говорил сам Шеннон, работа в области криптографии подтолкнула его к созданию теории информации.
Также в лаборатории Белл Шеннон, исследуя переключающие цепи, обнаруживает новый метод их организации, который позволяет уменьшить количество контактов реле, необходимых для реализации сложных логических функций. Он опубликовал доклад, названный «Организация двухполюсных переключающих цепей». В конце 1940 года Шеннон получил Национальную научно-исследовательскую премию.
Шеннону приписывают изобретение сигнальных ориентированных графов в 1942 году. Он вывел предельную формулу усиления при исследовании функциональной работы аналогового компьютера .
В начале 1943 года Шеннон вступил в контакт с ведущим британским математиком Аланом Тьюрингом . Тьюринг прибыл в Вашингтон, чтобы поделиться с криптоаналитической службой США методами, использующимися тогда в в центре правительственной связи , в Блетчли-парке , чтобы раскрыть шифр, используемый на подводных лодках Кригсмарине в северной части Атлантического океана . Он также заинтересовался шифрованием речи и с этой целью уделил некоторое время « Bell Labs ». Шеннон и Тьюринг встретились за чашкой чая . Тьюринг показал Шеннону документ, который теперь известен как « Универсальная машина Тьюринга » . Это впечатлило Шеннона, так как многие из идей Тьюринга дополняли его собственные идеи.
В 1945 году, когда война подходила к концу, Национальный исследовательский комитет обороны США выпускал сводку технических отчётов в качестве последнего шага до своего окончательного закрытия. В нём присутствовало специальное эссе под названием «Усреднение данных и прогнозирование для систем управления огнём» совместного соавторства Шеннона, и , формально относящееся к проблеме усреднения данных в системах управления огнём по аналогии с «проблемой разделения сигнала от помех в системах связи.» Другими словами, они моделировали эту проблему с точки зрения обработки данных и сигналов и тем самым возвестили приход Информационного Века .
В конце войны он подготовил секретный меморандум для Bell Labs под названием «Математическая теория криптографии», датированный сентябрём 1945 года. Эта статья была рассекречена и опубликована в 1949 году как « » в Bell System Technical Journal. Не будет преувеличением сказать, что эта статья своим появлением обозначила переход криптографии из искусства в полноценную науку . Шеннон доказал, что криптосистемы одноразовых блокнотов нерушимы с криптографической точки зрения. Он также доказал, что любая криптографически нерушимая система должна иметь по существу те же характеристики, что и одноразовый блокнот: ключ должен быть выбран случайным образом, причём должен быть столь же большим как открытый текст, а также должен никогда не использоваться повторно полностью или частично, и, конечно, храниться в секрете . Теория связи и криптография развивались одновременно, и «они были так близко друг к другу, что невозможно разделить их» . Шеннон объявил о своём намерении «развивать эти результаты… в предстоящем меморандуме о передаче информации» .
В 1948 году обещанный меморандум появился как в двух частях, соответственно, в июле и октябре в Bell System Technical Journal. Эта работа посвящена проблеме кодирования передаваемой информации. В этой фундаментальной работе Шеннон использовал инструменты теории вероятностей, разработанные Норбертом Винером , которые находились в зарождающейся стадии относительно их применения к теории связи в то время. Также Шеннон ввёл важное определение информационной энтропии как меры неопределённости информации в сообщениях. Эта статья по сути положила начало такой науке, как теория информации .
После 1948 года Шеннон провёл много значимых исследований в теории информации.
Шеннон также занимался изучением теории игр. Он пытался создать всевозможные машины, которые всегда должны были следовать наиболее выигрышным стратегиям. Например, Шеннон занимался разработкой принципов построения шахматных программ (задолго до того, как такие программы начали практически реализовываться специалистами различных стран) . В конце 1940-х — начале 1950-х годов он предложил две стратегии поиска наилучшего хода в данной позиции. Одна определяла тотальный перебор возможных ходов с построением разветвлённого дерева вариантов, а вторая — использование шахматных знаний для отсечения малоперспективных вариантов .
Ещё одной сферой приложений интересов Клода Шеннона в теории игр являлась игра в рулетку . Совместно с Эдом Торпом , профессором MIT , Шеннон в 1961 году создал аналоговое вычислительное устройство размером с пачку сигарет, управляемое четырьмя кнопками для ввода информации о скорости вращения колеса рулетки, которое помогало игроку „правильно“ сделать ставку. По утверждению Эда Торпа, это устройство было испытано ими в 1961 году в казино Лас Вегас, обеспечив выигрыш в 44 % (при этом сам факт существования такого устройства авторы хранили в секрете до 1966 года). Некоторые (однако, далеко не все) детали этого устройства были описаны в статье, опубликованной в Review of the Statistical Institute, 1969, vol. 37:3 .
В те же 1950-е годы Шеннон создал машину, которая „читала мысли“ при игре в „монетку“: человек загадывал „орёл“ или „решку“, а машина отгадывала с вероятностью выше 1/2, потому что человек никак не может избежать каких-либо закономерностей, которые машина может использовать .
С 1950 по 1956 год Шеннон занимался теорией игр, в том числе созданием логических машин, таким образом, продолжая начинания фон Неймана и Тьюринга . В 1952 году Шеннон разработал обучаемую механическую мышку, которая могла находить выход из лабиринта . Также он реализовал шуточную машину „Ultimate Machine“, другое имя которой — „Useless Machine“. Идея этой машины — при переключении выключателя в положение „On“ появляется „палец“, который возвращает этот тумблер в первоначальное положение „Off“ . Дополнительно он построил устройство, которое может собирать кубик Рубика .
Шеннон также считается основоположником идеи сжатия информации без потерь и её распаковки. Он разрабатывал теории, которые позволяют убрать всю ненужную избыточность в сообщениях адресанта. Причём, если они отправляются через зашумлённый канал, то всевозможная информация, направленная только на нахождение ошибок при передаче сообщения, может добавиться обратно к сообщению.
Шеннон уходит из Bell Labs в 1956 году, но он продолжает консультировать их. Интересуется приложением теории информации к теории игр и к финансовой математике. Он также продолжает работу в MIT до 1978 года. Шеннон оставил после себя школу учеников. Существовала группа, усердно занимающаяся теорией информации в MIT, которых курировал Шеннон. Студенты видели в нём кумира. Однако Шеннон не преподавал университетские курсы лекций, но довольно часто проводил семинары, на которых он также не любил давать стандартные, изученные им самим вещи. Однако он импровизировал на них и каждый раз получал что-то новое или рассматривал старые задачи с другой, новой стороны . Кстати говоря, Шеннон не любил писать научные статьи по той же самой причине, однако понимал, что это необходимо делать для развития науки .
В конце 1960-х — 1970-е годы он плодотворно занимался финансовой математикой . Сначала он изучал опубликованные данные о пенсионных и других фондах и в итоге собрал электрическую цепь, которая показывала „денежное течение“ в США. Но особенно его заинтересовала теория выбора инвестиционного портфеля . В этой дисциплине Шеннон вместе с пытался решить проблему распределения активов , сущность которой состоит в следующем: „Как лучше всего диверсифицировать инвестиционный портфель при различных возможностях инвестирования“.
Выйдя на пенсию в 1978 году, Шеннон много времени уделял своему давнему увлечению — жонглированию. Он построил несколько жонглирующих машин и даже создал общую теорию жонглирования (ещё в 1940-х годах он катался, одновременно жонглируя, на одноколёсном велосипеде по коридорам Bell Labs ) . Например, в 1983 году Шеннон сконструировал машину-жонглёра, сделанную буквально из подручных средств, которая была одета так, чтобы быть похожей на Филдса Уильяма . Машина умела жонглировать тремя металлическими шариками .
В 1985 году Клод Шеннон со своей супругой Бетти посещает Международный симпозиум по теории информации в Брайтоне. Шеннон довольно долго не посещал международные конференции, и сначала его даже не узнали. На банкете Клод Шеннон произнёс короткую речь, пожонглировал тремя мячиками, а затем раздал сотни и сотни автографов изумлённым его присутствием учёным и инженерам, отстоявшим длиннейшую очередь, испытывая трепетные чувства по отношению к великому учёному. Один из участников тогда сказал: „Это было, как если бы сэр Исаак Ньютон появился на конференции по физике“ .
В 1993 году выпустил сборник Collected Papers, в которых он собирает 127 написанных им статей с 1938 до 1982 года .
У Шеннона развилась болезнь Альцгеймера , и последние несколько лет своей жизни он провёл в доме престарелых в штате Массачусетс. За ним ухаживала вся семья . Клод Шеннон ушёл из жизни 24 февраля 2001 года. Его жена, Мэри Элизабет Мур Шеннон, заявила в своём некрологе, что если бы это не было необходимо для исследования способов лечения болезни Альцгеймера, то „Он был бы смущён“ всем этим .
27 марта, 1949 года, Шеннон женился на Мэри Элизабет Мур Шеннон . Он встретил её, когда она работала аналитиком в Bell Labs . У Мэри и Клода было трое детей: Роберт Джеймс, Андрю Мур и Маргарита Катерина.
Работа Шеннона „ Теория связи в секретных системах “ (1945) с грифом „секретно“, которую рассекретили и опубликовали лишь в 1949 году, послужила началом обширных исследований в теории кодирования (шифрования) и передачи информации. Именно Клод Шеннон впервые начал изучать криптографию, применяя научный подход. В этой статье системы связи описываются с математической стороны и это имело огромный успех в криптографии .
Также в статье Шеннон определил основополагающие понятия теории криптографии, без которых криптография уже немыслима. Важной заслугой Шеннона являются исследования абсолютно криптостойких систем и доказательство их существования, а также существование криптостойких шифров и требуемые для этого условия . Шеннон также сформулировал основные требования, предъявляемые к надёжным шифрам. Он ввёл ставшие уже привычными понятия рассеивания и перемешивания, а также методы создания криптостойких систем шифрования на основе простых операций.
Статья „ Математическая теория связи “ была опубликована в 1948 году и сделала Клода Шеннона всемирно известным. В ней Шеннон изложил свои идеи, ставшие впоследствии основой современных теорий и техник обработки, передачи и хранения информации. Перед написанием статьи Шеннон ознакомился с работами Хартли и Найквиста . В статье Шеннон обобщил их идеи, ввёл понятие информации, содержащейся в передаваемых сообщениях. В качестве меры информации передаваемого сообщения , Хартли и Найквист предлагали использовать логарифмическую функцию .
Шеннон разделил системы связи на несколько частей следующим образом :
Шеннон группировал системы связи в три категории: дискретные, непрерывные и смешанные, причём утверждая, что дискретный случай — основа остальных двух, но имеет бо́льшее применение .
Шеннон первым начал рассматривать передаваемые сообщения и шумы в каналах связи с точки зрения статистики, рассматривая как конечные, так и непрерывные множества сообщений. Шеннон стал рассматривать источник сообщений как множество всех возможных сообщений, а канал — как множество всевозможных шумов .
Шеннон ввёл понятие информационной энтропии , аналогичное энтропии из термодинамики , которое является мерой неопределённости информации. Также Шеннон определил бит как количество полученной информации (или уменьшенной энтропии) при нахождении ответа на вопрос, в котором возможны только два варианта ответа (например, „да“ или „нет“), причём оба — с одинаковой вероятностью (если нет — то количество полученной информации будет меньше одного бита) .
Первая теорема в его статье описывает связь по зашумлённому каналу следующим образом :
Пусть источник сообщений имеет энтропию (бит на символ), а — пропускная способность канала (бит в секунду). Тогда возможно такое кодирование информации, при котором средняя скорость передачи через данный канал будет равняться символов в секунду, где — сколь угодно малая величина. Дополнительно, средняя скорость передачи данных не может быть больше
Главная идея этой теоремы состоит в том, что количество информации, которое возможно передать, зависит от энтропии или, другими словами, случайности сообщений источника. Следовательно, основываясь на статистической характеристике источника сообщений, возможно кодировать информацию так, чтобы достичь максимальную скорость, которую позволяет достичь канал, то есть желаемую пропускную способность канала. Это было революционное утверждение, так как инженеры ранее полагали, что максимум информации исходного сигнала, которое можно передать через среду, зависит от таких факторов, как, например, частота, но никак не свойства сигнала .
Вторая теорема Шеннона описывает связь в зашумлённом канале. Шеннон утверждает :
Пусть источник сообщений имеет энтропию на одну секунду, а — пропускная способность канала. Если , то возможно такое кодирование информации, при котором данные источника будут переданы через канал со сколь угодно малым количеством ошибок. Если , то возможно кодирование, при котором неоднозначность полученной информации будет меньше, чем , где — сколь угодно малая величина. Дополнительно, не существует методов кодирования, которые дадут неоднозначность меньше чем .
Идея, которую высказал Шеннон, заключается в том, что не важно, как „шумит“ канал, всё равно существует способ кодирования, позволяющий безошибочно передать информацию через канал (пока выполняется ). И эта идея является революционной, поскольку люди до этого считали, что существует какой-то порог значения шума в канале, что передача желаемой информации становится невозможна .
Он вывел формулу для скорости передачи информации источником сообщений и для пропускной способности канала , размерность каждой скорости — бит в секунду . Как следствие из предыдущей теоремы верно следующее утверждение:
Пусть — скорость передачи информации источником сообщений, а — пропускная способность канала. Тогда , и что возможно такое кодирование информации, при котором будет меньше любой заранее выбранной положительной константы . В его доказательстве фигурирует множество всевозможных кодирований сообщений источника в потоки бит, и он показал, что случайно выбранное из этого множества кодирование будет обладать желаемым указанным выше свойством с высокой вероятностью
.
Другими словами: любой канал с шумом характеризуется максимальной скоростью передачи информации, этот предел назван в честь Шеннона. При передаче информации со скоростями, превышающими этот предел, происходят неизбежные искажения данных, но снизу к этому пределу можно приближаться с необходимой точностью, обеспечивая сколь угодно малую вероятность ошибки передачи информации в зашумлённом канале.
После опубликования этой статьи учёные старались найти такие кодирования, которые работают так же хорошо, как и „случайное кодирование Шеннона“ . Конечно же, в настоящее время существуют кодирования, дающие пропускную способность, близкую к пределу Шеннона.
Развитая Шенноном теория информации помогла решить главные проблемы, связанные с передачей сообщений, а именно: устранить избыточность передаваемых сообщений, произвести кодирование и передачу сообщений по каналам связи с шумами. Решение проблемы избыточности подлежащего передаче сообщения позволяет максимально эффективно использовать канал связи. К примеру, современные повсеместно используемые методы снижения избыточности в системах телевизионного вещания на сегодняшний день позволяют передавать до шести цифровых программ телевидения в полосе частот, которую занимает обычный сигнал аналогового телевидения .
Решение проблемы передачи сообщения по каналам связи с шумами при заданном соотношении мощности полезного сигнала к мощности сигнала помехи в месте приёма позволяет передавать по каналу связи сообщения со сколь угодно малой вероятностью ошибочной передачи. Также, это отношение определяет пропускную способность канала. Это обеспечивается применением кодов, устойчивых к помехам, при этом скорость передачи сообщений по данному каналу должна быть ниже его пропускной способности .
В своих работах Шеннон доказал принципиальную возможность решения обозначенных проблем, это явилось в конце 1940-х годов настоящей сенсацией в научных кругах. Данная работа, как и работы, в которых исследовалась потенциальная помехоустойчивость, дали начало огромному числу исследований, продолжающихся и по сей день, уже более полувека. Учёные из СССР и США (СССР — Пинскер , Хинчин , Добрушин , Колмогоров ; США — Галлагер , ,) дали строгую трактовку изложенной Шенноном теории .
На сегодняшний день все системы цифровой связи проектируются на основе фундаментальных принципов и законов передачи информации, разработанных Шенноном. В соответствии с теорией информации, вначале из сообщения устраняется избыточность, затем информация кодируется при помощи кодов, устойчивых к помехам, и лишь потом сообщение передаётся по каналу потребителю. Именно благодаря теории информации была значительно сокращена избыточность телевизионных, речевых и факсимильных сообщений .
Большое количество исследований было посвящено созданию кодов, устойчивых к помехам, и простых методов декодирования сообщений. Исследования, проведённые за последние пятьдесят лет, легли в основу созданной Рекомендации МСЭ по применению помехоустойчивого кодирования и методов кодирования источников информации в современных цифровых системах .
В теории информации, по традиции, утверждения типа „для любого кода имеет место некоторое свойство“ называются обратными теоремами, а утверждения типа „ Существует код с заданным свойством“ — прямыми теоремами .
Виктор Шестаков из МГУ сформулировал теорию релейно-контактных схем, основанную на Булевой алгебре, в 1935 году, раньше Шеннона. Однако публикация трудов Шестакова состоялась в 1941 году, то есть позже публикаций тезисов Шеннона (1938 год) .
Весьма дрянным будет сравнение Шеннона с Эйнштейном. Вклад Эйнштейна выглядит устрашающим. Однако мы не живём в веке релятивизма, но в веке информации. Шеннон оставил свой след в каждом цифровом устройстве, которым мы пользуемся, в каждом мониторе, в который мы смотрим, во всех средствах цифровой связи. Он один из тех людей, которые меняют мир настолько, что, после перемен, старый мир становится всеми забыт .
Оригинальный текст (англ.) [ показать скрыть ]It would be cheesy to compare him to Einstein. Einstein looms large, and rightly so. But we’re not living in the relativity age, we’re living in the information age. It’s Shannon whose fingerprints are on every electronic device we own, every computer screen we gaze into, every means of digital communication. He’s one of these people who so transform the world that, after the transformation, the old world is forgotten.
Джеймс Глеик, The New Yorker
Клод Шеннон был больше инженером, чем математиком, и многие его работы имели скорее физическое, чем математическое обоснование. В СССР работы Шеннона были отнесены к разделам кибернетики, которая считалась тогда „лженаукой мракобесов“. Даже публикация переводов потребовала немалых усилий. Но великий математик А. Н. Колмогоров был в восхищении после прочтения работ Шеннона и организовал неформальный семинар, посвящённый идеям Шеннона, в 1954 году . В предисловии к русскому переводу работ Шеннона А. Н. Колмогоров писал :
Значение работ Шеннона для чистой математики не сразу было достаточно оценено. Мне вспоминается, что ещё на международном съезде математиков в Амстердаме (1954 г.) мои американские коллеги, специалисты по теории вероятностей, считали мой интерес к работам Шеннона несколько преувеличенным, так как это более техника, чем математика. Сейчас такие мнения вряд ли нуждаются в опровержении. Правда, строгое математическое «обоснование» своих идей Шеннон в сколько-нибудь трудных случаях предоставил своим продолжателям. Однако, его математическая интуиция изумительно точна… Андрей Николаевич Колмогоров