В статистической термодинамике энтропия Цаллиса — обобщение стандартной энтропии Больцмана—Гиббса , предложенное Константино Цаллисом (Constantino Tsallis) в 1988 г. для случая неэкстенсивных (неаддитивных) систем. Его гипотеза базируется на предположении, что сильное взаимодействие в термодинамически аномальной системе приводит к новым степеням свободы, к совершенно иной статистической физике небольцмановского типа.

Определение и основные сведения

Пусть ${\displaystyle P}$ — распределение вероятностей и ${\displaystyle \mu }$ — любая мера на ${\displaystyle X}$ , для которой существует абсолютно непрерывная относительно ${\displaystyle \mu }$ функция ${\displaystyle p={\frac {dP}{d\mu }}}$ . Тогда энтропия Цаллиса определяется как

${\displaystyle S_{q}(P)={k \over q-1}\left(1-\int \limits _{X}^{}{p^{q}}d\mu \right).}$

В частности, для дискретной системы, находящейся в одном из ${\displaystyle N}$ доступных состояний с распределением вероятностей ${\displaystyle P=\{p_{i}\,|\,i=1,2,...,N\}}$ ,

${\displaystyle S_{q}(P)={k \over q-1}\left(1-\sum _{i=1}^{N}p_{i}^{q}\right)}$ .

В случае лебеговой меры ${\displaystyle \mu =x}$ , т.е. когда ${\displaystyle P}$ — непрерывное распределение с плотностью ${\displaystyle p(x)}$ , заданной на множестве ${\displaystyle X}$ ,

${\displaystyle S_{q}(P)={k \over q-1}\left(1-\int \limits _{X}^{}{p^{q}(x)}dx\right)}$ .

В этих формулах ${\displaystyle k}$ — некоторая положительная константа, которая определяет единицу измерения энтропии и в физических формулах служит для связки размерностей, как, например, постоянная Больцмана . С точки зрения задачи оптимизации энтропии данная константа является несущественной, поэтому для простоты часто полагают ${\displaystyle k=1}$ .

Параметр ${\displaystyle q}$ — безразмерная величина ( ${\displaystyle q\in R}$ ), которая характеризует степень неэкстенсивности (неаддитивности) рассматриваемой системы. В пределе при ${\displaystyle q\to 1}$ , энтропия Цаллиса сходится к энтропии Больцмана—Гиббса . При ${\displaystyle q>0}$ энтропия Цаллиса является вогнутым функционалом от распределения вероятностей и, как обычная энтропия , достигает максимума при равномерном распределении . При ${\displaystyle q<0}$ функционал является выпуклым и при равномерном распределении достигает минимума. Поэтому для поиска равновесного состояния изолированной системы при ${\displaystyle q>0}$ энтропию Цаллиса нужно максимизировать, а при ${\displaystyle q<0}$ — минимизировать . Значение параметра ${\displaystyle q=0}$ — это вырожденный случай энтропии Цаллиса, когда она не зависит от ${\displaystyle P}$ , а зависит лишь от ${\displaystyle \mu (X)}$ , т.е. от размера системы (от ${\displaystyle N}$ в дискретном случае).

В непрерывном случае иногда требуют, чтобы носитель случайной величины ${\displaystyle X}$ был безразмерным . Это обеспечивает корректность функционала энтропии с точки зрения размерности.

Исторически первыми выражение для энтропии Цаллиса (точнее, для частного её случая при ${\displaystyle k={q-1 \over 1-2^{1-q}}}$ ) получили Дж. Хаврда и Ф. Чарват (J. Havrda and F. Charvát) в 1967 г. Вместе с тем при ${\displaystyle q>0}$ энтропия Цаллиса является частным случаем f -энтропии (при ${\displaystyle q<0}$ f -энтропией является величина, противоположная энтропии Цаллиса).

Некоторые соотношения

Энтропия Цаллиса может быть получена из стандартной формулы для энтропии Больцмана—Гиббса путём замены используемой в ней функции ${\displaystyle \ln x}$ на функцию

${\displaystyle \ln _{q}x={x^{q-1}-1 \over q-1}}$

— так называемый q -деформированный логарифм или просто q -логарифм (в пределе при ${\displaystyle q\to 1}$ совпадающий с логарифмом) . К. Цаллис использовал несколько иную формулу q -логарифма, которая сводится к приведённой здесь заменой параметра ${\displaystyle q}$ на ${\displaystyle 2-q}$ .

Ещё один способ получить энтропию Цаллиса основан на соотношении, справедливом для энтропии Больцмана—Гиббса :

${\displaystyle S(P)=-k\lim _{t\rightarrow 1}{\frac {d}{dt}}\sum _{i=1}^{N}p_{i}^{t}}$ .

Нетрудно видеть, что если заменить в этом выражении обычную производную на q -производную (известную также как производная Джексона), получается энтропия Цаллиса:

${\displaystyle S_{q}(P)=-k\lim _{t\rightarrow 1}\,\left({\frac {d}{dt}}\right)_{q}\sum _{i=1}^{N}p_{i}^{t}}$ .

Аналогично для непрерывного случая:

${\displaystyle S_{q}(P)=-k\lim _{t\rightarrow 1}\,\left({\frac {d}{dt}}\right)_{q}\int \limits _{X}^{}{p^{t}(x)}dx}$ .

Альтернативное определение

Оригинальное определение энтропии Цаллиса является не очень удачным из-за необходимости по-разному работать с функционалом в зависимости от знака ${\displaystyle q}$ , а также из-за того, что при ${\displaystyle q<0}$ не выполняется базовое свойство возрастания энтропии при приближении системы к равновесному состоянию. В связи с этим более удобным является следующее определение энтропии Цаллиса, известное также как α-энтропия , являющаяся частным случаем f -энтропии :

${\displaystyle S_{q}(P)={k \over q(q-1)}\left(1-\int \limits _{X}^{}{p^{q}}d\mu \right).}$

α-энтропия в пределе при ${\displaystyle q\rightarrow 0}$ с точностью до несущественного слагаемого эквивалентна энтропии Берга

${\displaystyle S_{0}(P)=k\int \limits _{X}^{}{\ln p\,d\mu }.}$

Нетрудно видеть, что оригинальное и альтернативное определение энтропии Цаллиса эквивалентны с точностью до значения ${\displaystyle k}$ , кроме случая ${\displaystyle q=0}$ .

Неэкстенсивность (неаддитивность)

Пусть имеются две независимых системы ${\displaystyle A}$ и ${\displaystyle B}$ , т.е. такие системы, что в дискретном случае совместная вероятность появления двух любых состояний ${\displaystyle a\in A}$ и ${\displaystyle b\in B}$ в этих системах равна произведению соответствующих вероятностей:

${\displaystyle \operatorname {Prob} (a,b)=\operatorname {Prob} (a)\operatorname {Prob} (b)}$ ,

а в непрерывном — совместная плотность распределения вероятностей равна произведению соответствующих плотностей:

${\displaystyle p_{AB}(x,y)=p_{A}(x)p_{B}(y)}$ ,

где ${\displaystyle x\in X}$ , ${\displaystyle y\in Y}$ — области значений случайной величины в системах ${\displaystyle A}$ и ${\displaystyle B}$ соответственно.

В отличие от энтропии Больцмана—Гиббса и энтропии Реньи , энтропия Цаллиса, вообще говоря, не обладает аддитивностью , и для совокупности систем справедливо

${\displaystyle S_{q}(AB)=S_{q}(A)+S_{q}(B)+{1-q \over k}S_{q}(A)S_{q}(B)}$ .

Поскольку условие аддитивности для энтропии имеет вид

${\displaystyle S(AB)=S(A)+S(B)}$ ,

отклонение параметра ${\displaystyle q}$ от ${\displaystyle 1}$ характеризует неэкстенсивность (неаддитивность) системы. Энтропия Цаллиса является экстенсивной только при ${\displaystyle q=1}$ .

Дивергенция Цаллиса

Наряду с энтропией Цаллиса, рассматривают также семейство несимметричных мер расхождения (дивергенций) Цаллиса между распределениями вероятностей с общим носителем. Для двух дискретных распределений с вероятностями ${\displaystyle A=\{a_{i}\}}$ и ${\displaystyle B=\{b_{i}\}}$ , ${\displaystyle i=1,2,...,N}$ , дивергенция Цаллиса определяется как

${\displaystyle D_{q}(A,B)={k \over q-1}\left(\sum _{i=1}^{N}a_{i}^{q}b_{i}^{1-q}-1\right)}$ .

В непрерывном случае, если распределения ${\displaystyle A}$ и ${\displaystyle B}$ заданы плотностями ${\displaystyle a(x)}$ и ${\displaystyle b(x)}$ соответственно, где ${\displaystyle x\in X}$ ,

${\displaystyle D_{q}(A,B)={k \over q-1}\left(\int \limits _{X}^{}{a^{q}(x)b^{1-q}(x)}dx-1\right)}$ .

В отличие от энтропии Цаллиса, дивергенция Цаллиса определена при ${\displaystyle q>0}$ . Несущественная положительная константа ${\displaystyle k}$ в этих формулах, как и для энтропии, задаёт единицу измерения дивергенции и часто опускается (полагается равной ${\displaystyle 1}$ ). Дивергенция Цаллиса является частным случаем α-дивергенции (с точностью до несущественной мультипликативной константы) и, как α-дивергенция, является выпуклой по обоим аргументам при всех ${\displaystyle q>0}$ . Дивергенция Цаллиса также является частным случаем f -дивергенции . α-дивергенция может служить обобщением дивергенции Цаллиса на все ${\displaystyle q\in R}$ .

Дивергенция Цаллиса может быть получена из формулы для дивергенции Кульбака—Лейблера путём подстановки в неё q -деформированного логарифма, определённого выше, вместо функции ${\displaystyle \ln x}$ . В пределе при ${\displaystyle q\to 1}$ дивергенция Цаллиса сходится к дивергенции Кульбака—Лейблера .

Связь формализмов Реньи и Цаллиса

Энтропия Реньи и энтропия Цаллиса эквивалентны с точностью до монотонного преобразования, не зависящего от распределения состояний системы. То же касается соответствующих дивергенций. Рассмотрим, к примеру, энтропию Реньи для системы ${\displaystyle P}$ с дискретным набором состояний ${\displaystyle \{p_{i}|i=1,2,...,N\}}$ :

${\displaystyle {\widetilde {S}}_{q}(P)={{\widetilde {k}} \over 1-q}\ln \sum _{i=1}^{N}p_{i}^{q}}$ , ${\displaystyle q\geq 0}$ .

Дивергенция Реньи для дискретных распределений с вероятностями ${\displaystyle A=\{a_{i}\}}$ и ${\displaystyle B=\{b_{i}\}}$ , ${\displaystyle i=1,2,...,N}$ :

${\displaystyle {\widetilde {D}}_{q}(A,B)={{\widetilde {k}} \over q-1}\ln \sum _{i=1}^{N}a_{i}^{q}b_{i}^{1-q}}$ , ${\displaystyle q>0}$ .

В этих формулах положительная константа ${\displaystyle {\widetilde {k}}}$ имеет тот же смысл, что и ${\displaystyle k}$ в формализме Цаллиса.

Нетрудно видеть, что

${\displaystyle S_{q}(P)=T_{2-q}({\widetilde {S}}_{q}(P))}$ ,

${\displaystyle D_{q}(A,B)=T_{q}({\widetilde {D}}_{q}(A,B))}$ ,

где функция

${\displaystyle T_{q}(x)=k{\exp(x(q-1)/{\widetilde {k}})-1 \over q-1}}$

определена на всей числовой оси и непрерывно возрастает по ${\displaystyle x}$ (при ${\displaystyle q=1}$ полагаем ${\displaystyle T_{q}(x)={k \over {\widetilde {k}}}x}$ ). Приведённые соотношения имеют место и в непрерывном случае.

Несмотря на наличие этой связи, следует помнить, что функционалы в формализмах Реньи и Цаллиса обладают разными свойствами:

• энтропия Цаллиса, вообще говоря, не аддитивна, тогда как энтропия Реньи аддитивна при всех ${\displaystyle q>0}$ ;
• энтропия и дивергенция Цаллиса являются вогнутыми или выпуклыми (кроме ${\displaystyle q=0}$ ), тогда как энтропия и дивергенция Реньи, вообще говоря, не обладают ни тем, ни другим свойством .

Примечания