Избыточность информации — термин из теории информации, означающий превышение количества информации, используемой для передачи или хранения сообщения, над его информационной энтропией. Для уменьшения избыточности применяется сжатие данных без потерь, в то же время контрольная сумма применяется для внесения дополнительной избыточности в поток, что позволяет производить исправление ошибок при передаче информации по каналам, вносящим искажения (спутниковая трансляция, беспроводная передача и т. д.).
Энциклопедичный YouTube
-
1/3Просмотров:16 3484542 753
-
Информационная энтропия (видео 14) | Теория информации | Программирование
-
Что такое избыточность данных и почему этого важно избегать
-
Сергей Переслегин. Избыточность сложности вселенной
Субтитры
Количественное определение
Информационное содержание одного сообщения в потоке, в наиболее общем случае, определяется как:
- ,
где — условная энтропия, а — математическое ожидание.
Обозначим как R логарифм числа символов в алфавите сообщений:
Абсолютная избыточность может быть определена как разность этих двух величин:
Соотношение называется относительной избыточностью и дает математическую оценку максимальной степени сжатия, на которую может быть уменьшен размер файла.
Другие определения избыточности
Мера избыточности между двумя случайными величинами — взаимная информация.
См. также
Обычно почти сразу, изредка в течении часа.