Эпсилон - энтропия или ε-энтропия — термин, введённый А. Н. Колмогоровым для характеристики классов функций. Он определяет меру сложности функции , минимальное количество знаков, необходимое для задания функции с точностью ${\displaystyle \varepsilon }$ .

Введение в понятие

Рассмотрим компактное метрическое пространство ${\displaystyle M}$ и зададим в нём эпсилон-сеть , то есть такое конечное (состоящее из ${\displaystyle N(\varepsilon )}$ точек) множество, что шары радиуса ${\displaystyle \varepsilon }$ с центрами в этих точках целиком покрывают всё ${\displaystyle M}$ . Тогда для задания любого элемента ${\displaystyle M}$ с точностью ${\displaystyle \varepsilon }$ (то есть, по сути, выбора одного из узлов сети) достаточно порядка ${\displaystyle \log _{2}N(\varepsilon )}$ знаков ( бит ).

Для отрезка ${\displaystyle M=[0,\;1]}$ величина ${\displaystyle N}$ растёт при уменьшении ${\displaystyle \varepsilon }$ как ${\displaystyle 1/\varepsilon }$ , для квадрата как ${\displaystyle 1/{\varepsilon ^{2}}}$ и т. д. Тем самым показатель определяет размерность Минковского множества ${\displaystyle M}$ .

В случае пространства ${\displaystyle M}$ гладких функций (на компактном кубе в ${\displaystyle n}$ -мерном пространстве и с ограниченными константой производными до порядка ${\displaystyle p}$ , чтобы это пространство было компактным) размерность пространства бесконечна, но число ${\displaystyle N(\varepsilon )}$ элементов сети конечно, хотя оно и растёт быстрее любой (отрицательной) степени величины ${\displaystyle \varepsilon }$ .

Колмогоров доказал, что логарифм числа ${\displaystyle N(\varepsilon )}$ точек минимальной ${\displaystyle \varepsilon }$ -сети растёт в этом случае как ${\displaystyle (1/\varepsilon )^{n/p}}$ .

Применение

Введение понятия эпсилон-энтропии позволило понять и решить 13-ю проблему Гильберта .

Если бы функции ${\displaystyle k}$ переменных, участвующие в суперпозиции, имели гладкость ${\displaystyle p}$ , то с их помощью можно было бы получить для представляемых функций сеть, логарифм числа точек которой был бы порядка ${\displaystyle (1/\varepsilon )^{k/p}}$ . Если это число меньше минимально возможного для функций ${\displaystyle n}$ переменных гладкости ${\displaystyle p}$ , то, значит, предполагавшееся представление суперпозициями функций столь большой гладкости невозможно.

Потом Колмогоров показал, что если отказаться от гладкости и допускать к участию в суперпозиции все непрерывные функции, то любая непрерывная функция от ${\displaystyle n}$ переменных представляется суперпозицией непрерывных функций от всего трёх переменных, а после этого его студент, В. И. Арнольд представил их и суперпозициями непрерывных функций двух переменных. В итоге теорема Колмогорова содержала единственную функцию двух переменных — сумму, а все остальные непрерывные функции, из которых составляется представляющая все непрерывные функции от ${\displaystyle n}$ переменных суперпозиция, зависят каждая лишь от одной переменной.

Это заготовка статьи по математике . Помогите Википедии, дополнив её.

В статье не хватает ссылок на источники (см. рекомендации по поиску ). Информация должна быть проверяема , иначе она может быть удалена. Вы можете статью, добавив ссылки на авторитетные источники в виде сносок . ( 19 июня 2018 )