Interested Article - Среднее степенное взвешенное

Среднее степенное взвешенное — разновидность среднего значения . Для набора положительных вещественных чисел с параметром и неотрицательными весами определяется как

.

Если веса нормированы к единице (то есть их сумма равна единице), то выражение для среднего степенного взвешенного принимает вид

.

Свойства

Связь с энтропией Реньи

Информационную энтропию некоторой системы можно определить как логарифм числа доступных состояний системы (или их эффективного количества, если состояния не равновероятны). Учтём, что вероятности пребывания системы в состоянии с номером ( ) нормированы к . Если состояния системы равновероятны и имеют вероятность , то . В случае разных вероятностей состояний определим эффективное количество состояний как среднее степенное взвешенное от величин с весами и параметром (где ):

.

Отсюда получаем выражение для энтропии

,

совпадающее с выражением для энтропии Реньи . Нетрудно видеть, что в пределе при (или ) энтропия Реньи сходится к энтропии Шеннона (при том, что среднее степенное взвешенное — к среднему геометрическому взвешенному ). По определению энтропии Реньи должно соблюдаться дополнительное ограничение (или ).

Примечания

  1. , с. 108—125.

Литература

  • Зарипов Р. Г. Новые меры и методы в теории информации. — Казань: Изд-во Казан. гос. техн. ун-та, 2005. — 364 с.
Источник —

Same as Среднее степенное взвешенное