Среднее степенное взвешенное

Среднее степенное взвешенное — разновидность среднего значения. Для набора положительных вещественных чисел ${\displaystyle x_{1},\ldots ,x_{n}}$ с параметром ${\displaystyle q\neq 0}$ и неотрицательными весами ${\displaystyle w_{1},\ldots ,w_{n}}$ определяется как

${\displaystyle {\bar {x}}=\left({\frac {\sum _{i=1}^{n}w_{i}x_{i}^{q}}{\sum _{i=1}^{n}w_{i}}}\right)^{1/q}}$.

Если веса ${\displaystyle w_{1},\ldots ,w_{n}}$ нормированы к единице (то есть их сумма равна единице), то выражение для среднего степенного взвешенного принимает вид

${\displaystyle {\bar {x}}=\left(\sum _{i=1}^{n}w_{i}x_{i}^{q}\right)^{1/q}}$.

Свойства

• В том случае, если все веса ${\displaystyle w_{i}}$ равны между собой, среднее степенное взвешенное равно среднему степенному.
• Среднее арифметическое взвешенное и среднее гармоническое взвешенное являются частными случаями среднего степенного взвешенного при соответственно ${\displaystyle q=1}$ и ${\displaystyle q=-1}$.
• В пределе при ${\displaystyle q\to 0}$ среднее степенное взвешенное сходится к среднему геометрическому взвешенному.

Связь с энтропией Реньи

Информационную энтропию некоторой системы можно определить как логарифм числа доступных состояний системы (или их эффективного количества, если состояния не равновероятны). Учтём, что вероятности ${\displaystyle p_{i}}$ пребывания системы в состоянии с номером ${\displaystyle i}$ (${\displaystyle i=1,\ldots ,N}$) нормированы к ${\displaystyle 1}$. Если состояния системы равновероятны и имеют вероятность ${\displaystyle p}$, то ${\displaystyle N=1/p}$. В случае разных вероятностей состояний ${\displaystyle p_{i}}$ определим эффективное количество состояний ${\displaystyle {\overline {N}}}$ как среднее степенное взвешенное от величин ${\displaystyle x_{i}=1/p_{i}}$ с весами ${\displaystyle p_{i}}$ и параметром ${\displaystyle q=1-\alpha }$ (где ${\displaystyle \alpha \neq 1}$):

${\displaystyle {\overline {N}}=\left(\sum _{i=1}^{N}p_{i}x_{i}^{q}\right)^{1/q}=\left(\sum _{i=1}^{N}p_{i}(1/p_{i})^{1-\alpha }\right)^{\frac {1}{1-\alpha }}=\left(\sum _{i=1}^{N}p_{i}^{\alpha }\right)^{\frac {1}{1-\alpha }}}$.

Отсюда получаем выражение для энтропии

${\displaystyle H=\log {\overline {N}}=\log \left(\sum _{i=1}^{N}p_{i}^{\alpha }\right)^{\frac {1}{1-\alpha }}={\frac {1}{1-\alpha }}\log \sum _{i=1}^{N}p_{i}^{\alpha }}$,

совпадающее с выражением для энтропии Реньи^[1]. Нетрудно видеть, что в пределе при ${\displaystyle \alpha \to 1}$ (или ${\displaystyle q\to 0}$) энтропия Реньи сходится к энтропии Шеннона (при том, что среднее степенное взвешенное — к среднему геометрическому взвешенному). По определению энтропии Реньи должно соблюдаться дополнительное ограничение ${\displaystyle \alpha \geq 0}$ (или ${\displaystyle q\leq 1}$).

Примечания

Литература

• Зарипов Р. Г. Новые меры и методы в теории информации. — Казань: Изд-во Казан. гос. техн. ун-та, 2005. — 364 с.

Эта страница в последний раз была отредактирована 6 декабря 2023 в 17:26.