Комментарии 1
Для понимания природы энтропии мне когда-то удалось придумать простой эксперимент.
Вам нужно передать с Марса на Землю запись очень длинной последовательности очень редких событий случайного эксперимента, вероятности которых имеют близкий порядок по логарифмической шкале. О способе кодирования с землянами можно договориться заранее.
Пронумеруем все события, но вместо того, чтобы передавать последовательность их номеров, поступим похожим образом на то, как хранят двоичные слова с редким вхождением единиц: выпишем первую позицию, а затем в порядке следования число позиций между всеми соседними вхождениями события номер один, потом то же самое проделаем для события номер два и так далее для всех событий. Если вероятность события под номером i равна Pi, то характерное расстояние между его соседними вхождениями в последовательность есть 1/Pi, длина числа, необходимого для записи этого расстояния есть log (1/Pi), а количество вхождений равно N*Pi, где N — длина последовательности. В итоге на землю будет передано сообщение длиной N * ΣPi*log (1/Pi). Чтобы по переданному сообщению можно было легко восстановить последовательность событий, все числа, кодирующие сдвиги, стоит использовать одной длины. От перерасхода эфирного времени на «дополнение» чисел нулями вас спасет ограничение на малость и соизмеримость вероятностей передаваемых событий. Рассуждения можно превратить в точное определение энтропии, как асимптотически наименьшей длины сообщения.
Вам нужно передать с Марса на Землю запись очень длинной последовательности очень редких событий случайного эксперимента, вероятности которых имеют близкий порядок по логарифмической шкале. О способе кодирования с землянами можно договориться заранее.
Пронумеруем все события, но вместо того, чтобы передавать последовательность их номеров, поступим похожим образом на то, как хранят двоичные слова с редким вхождением единиц: выпишем первую позицию, а затем в порядке следования число позиций между всеми соседними вхождениями события номер один, потом то же самое проделаем для события номер два и так далее для всех событий. Если вероятность события под номером i равна Pi, то характерное расстояние между его соседними вхождениями в последовательность есть 1/Pi, длина числа, необходимого для записи этого расстояния есть log (1/Pi), а количество вхождений равно N*Pi, где N — длина последовательности. В итоге на землю будет передано сообщение длиной N * ΣPi*log (1/Pi). Чтобы по переданному сообщению можно было легко восстановить последовательность событий, все числа, кодирующие сдвиги, стоит использовать одной длины. От перерасхода эфирного времени на «дополнение» чисел нулями вас спасет ограничение на малость и соизмеримость вероятностей передаваемых событий. Рассуждения можно превратить в точное определение энтропии, как асимптотически наименьшей длины сообщения.
Зарегистрируйтесь на Хабре , чтобы оставить комментарий
Ричард Хэмминг: Глава 13. Теория информации